CN113409399A - 一种双相机联合标定方法、系统及装置 - Google Patents

一种双相机联合标定方法、系统及装置 Download PDF

Info

Publication number
CN113409399A
CN113409399A CN202110646576.5A CN202110646576A CN113409399A CN 113409399 A CN113409399 A CN 113409399A CN 202110646576 A CN202110646576 A CN 202110646576A CN 113409399 A CN113409399 A CN 113409399A
Authority
CN
China
Prior art keywords
camera
checkerboard
coordinate system
right camera
left camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110646576.5A
Other languages
English (en)
Other versions
CN113409399B (zh
Inventor
闫琳
李淼
张少华
黄捷
付中涛
于天水
鲁阳
章楚
李必强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Cobot Technology Co ltd
Original Assignee
Wuhan Cobot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Cobot Technology Co ltd filed Critical Wuhan Cobot Technology Co ltd
Priority to CN202110646576.5A priority Critical patent/CN113409399B/zh
Publication of CN113409399A publication Critical patent/CN113409399A/zh
Application granted granted Critical
Publication of CN113409399B publication Critical patent/CN113409399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及一种双相机联合标定方法、系统及装置,其方法包括,根据左、右两个相机拍摄的棋盘格图像,建立棋盘格角点分别到左、右两个相机的像素坐标系的关系以及左、右两个相机之间的位置关系;将棋盘格角点到左相机的像素坐标系的关系进行齐次变换,求解出左相机的外参;根据棋盘格角点到右相机的像素坐标系的关系、左相机的外参以及左、右两个相机之间的位置关系,对右相机的内参进行联合优化,得到右相机的内参的最优解;基于左、右两个相机之间的位置关系,根据左相机的外参,计算出右相机的外参。本发明采用一个内参已知的标准的左相机对待标定的右相机进行标定,在标定的过程中对右相机的内参进行联合优化,标定方法简单且标定精度高。

Description

一种双相机联合标定方法、系统及装置
技术领域
本发明涉及相机标定领域,具体涉及一种双相机联合标定方法、系统及装置。
背景技术
在图像测量过程以及机器视觉应用中,为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系,必须建立相机成像的几何模型,这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到,这个求解参数的过程就称之为相机标定。无论是在图像测量或者机器视觉应用中,相机参数的标定都是非常关键的环节,其标定结果的精度及算法的稳定性直接影响相机工作产生结果的准确性。因此,做好相机标定是做好后续工作的前提,提高标定精度是科研工作的重点所在。
但是现有的相机标定方法大多比较复杂,且标定精度不够高,无法满足现有的应用需求。
发明内容
本发明所要解决的技术问题是提供一种双相机联合标定方法、系统及装置,标定过程简单且标定精度高。
本发明解决上述技术问题的技术方案如下:一种双相机联合标定方法,包括以下步骤,
S1,控制左、右两个相机同时拍摄标定板上的棋盘格图像,并根据左、右两个相机拍摄的棋盘格图像,建立棋盘格角点分别到左、右两个相机拍摄的棋盘格图像的像素坐标系的关系以及左、右两个相机之间的位置关系;其中,左相机为内参已知的标准相机;
S2,基于标定板坐标系的z方向,将棋盘格角点到左相机拍摄的棋盘格图像的像素坐标系的关系进行齐次变换,并根据左相机已知的内参以及齐次变换后的棋盘格角点到左相机拍摄的棋盘格图像的像素坐标系的关系,求解出左相机的外参;
S3,根据棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的关系、左相机的外参以及左、右两个相机之间的位置关系,对右相机的内参进行联合优化,得到右相机的内参的最优解;
S4,基于左、右两个相机之间的位置关系,根据左相机的内参与外参,计算出右相机的外参。
基于上述一种双相机联合标定方法,本发明还提供一种双相机联合标定系统。
一种双相机联合标定系统,包括支架、左相机、右相机、带有棋盘格的标定板以及联合标定子系统;
所述左相机为内参已知的标准相机,所述左相机和所述右相机分别固定在所述支架的左、右两侧,所述标定板固定放置在所述左相机和所述右相机的视野范围内的任一点上;
所述联合标定子系统包括关系建立模块、左相机外参标定模块、右相机内参标定模块和右相机外参标定模块;
所述关系建立模块,其用于控制左、右两个相机同时拍摄标定板上的棋盘格图像,并根据左、右两个相机拍摄的棋盘格图像,建立棋盘格角点分别到左、右两个相机拍摄的棋盘格图像的像素坐标系的关系以及左、右两个相机之间的位置关系;
所述左相机外参标定模块,其用于基于标定板坐标系的z方向,将棋盘格角点到左相机拍摄的棋盘格图像的像素坐标系的关系进行齐次变换,并根据左相机已知的内参以及齐次变换后的棋盘格角点到左相机拍摄的棋盘格图像的像素坐标系的关系,求解出左相机的外参;
所述右相机内参标定模块,其用于根据棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的关系、左相机的外参以及左、右两个相机之间的位置关系,对右相机的内参进行联合优化,得到右相机的内参的最优解;
所述右相机外参标定模块,其用于基于左、右两个相机之间的位置关系,根据左相机的外参,计算出右相机的外参。
基于上述一种双相机联合标定方法,本发明还提供一种双相机联合标定装置。
一种双相机联合标定装置,包括处理器、存储器以及存储在所述存储器内的计算机程序,所述计算机程序被所述处理器执行时实现如上述所述的双相机联合标定方法。
本发明的有益效果是:本发明一种双相机联合标定方法、系统及装置采用一个内参已知的标准的左相机对待标定的右相机进行标定,标定方法简单,且在标定的过程中对右相机的内参进行联合优化,得到的右相机的内参的最优解,提高标定精度。
附图说明
图1为本发明一种双相机联合标定方法的流程图;
图2为本发明一种双相机联合标定系统中标定结构示意图;
图3为本发明一种双相机联合标定系统中联合标定子系统的结构框图。
附图中,各标号所代表的部件列表如下:
1、左相机,2、右相机,3、标定板。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
如图1所示,一种双相机联合标定方法,包括以下步骤,
S1,控制左、右两个相机同时拍摄标定板上的棋盘格图像,并根据左、右两个相机拍摄的棋盘格图像,建立棋盘格角点分别到左、右两个相机拍摄的棋盘格图像的像素坐标系的关系以及左、右两个相机之间的位置关系;其中,左相机为内参已知的标准相机。
棋盘格角点到左相机拍摄的棋盘格图像的像素坐标系的关系为,
Figure BDA0003110013110000041
棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的关系为,
Figure BDA0003110013110000042
左、右两个相机之间的位置关系为,
Figure BDA0003110013110000043
其中:
Pw为棋盘格角点在标定板坐标系内的坐标向量,且Pw=[xw,yw,zw]T,xw为棋盘格角点在标定板坐标系内x方向上的分量,yw为棋盘格角点在标定板坐标系内y方向上的分量,zw为棋盘格角点在标定板坐标系内z方向上的分量;
Figure BDA0003110013110000044
为棋盘格角点在左相机拍摄的棋盘格图像的像素坐标系内的坐标向量,且
Figure BDA0003110013110000045
为棋盘格角点在左相机坐标系内z方向上的分量,
Figure BDA0003110013110000046
为棋盘格角点在左相机拍摄的棋盘格图像的像素坐标系内u方向上的分量,
Figure BDA0003110013110000051
为棋盘格角点在左相机拍摄的棋盘格图像的像素坐标系内v方向上的分量;
MsI为左相机的内参相关矩阵,且
Figure BDA0003110013110000052
u0s、v0s、αs和βs均为左相机的已知的内参;
MsE为左相机的外参矩阵,且
Figure BDA0003110013110000053
Rs和ts均为左相机的外参,具体的,Rs为3×3的旋转矩阵,ts为3×1的平移向量;
Figure BDA0003110013110000054
为棋盘格角点在右相机拍摄的棋盘格图像的像素坐标系内的坐标向量,且
Figure BDA0003110013110000055
Figure BDA0003110013110000056
为棋盘格角点在右相机坐标系内z方向上的分量,
Figure BDA0003110013110000057
为棋盘格角点在右相机拍摄的棋盘格图像的像素坐标系内u方向上的分量,
Figure BDA0003110013110000058
为棋盘格角点在右相机拍摄的棋盘格图像的像素坐标系内v方向上的分量;
MbI为右相机的内参相关矩阵,且
Figure BDA0003110013110000059
u0b、v0b、αb和βb均为右相机的内参;
MbE为右相机的外参矩阵,且
Figure BDA00031100131100000510
Rb和tb均为右相机的外参,具体的,Rb为3×3的旋转矩阵,tb为3×1的平移向量。
Tb为右相机的位置矩阵,且
Figure BDA00031100131100000511
Ts为左相机的位置矩阵,且
Figure BDA00031100131100000512
T为左、右两个相机之间的位置关系矩阵,且
Figure BDA00031100131100000513
R和t均为左、右两个相机之间的外参。
S2,基于标定板坐标系的z方向,将棋盘格角点到左相机拍摄的棋盘格图像的像素坐标系的关系进行齐次变换,并根据左相机已知的内参以及齐次变换后的棋盘格角点到左相机拍摄的棋盘格图像的像素坐标系的关系,求解出左相机的外参。
所述S2具体为,
S21,令棋盘格角点在标定板坐标系内z方向上的分量zw=0,并将棋盘格角点到左相机拍摄的棋盘格图像的像素坐标系的关系进行齐次变换(即将式(1)变换为成齐次形式),得到齐次变换关系,所述齐次变换关系具体为,
Figure BDA0003110013110000061
其中,H为本征矩阵,且
Figure BDA0003110013110000062
h1、h2和h3为本征矩阵H的三个列向量,根据式(4)可以求得3×3的本征矩阵H,再根据H=[h1 h2 h3]可求出本征矩阵H的3个列向量h1、h2、h3
r1和r2为左相机的外参Rs的前两列的列向量,λ为待估计参数;
S22,根据本征矩阵H以及左相机的内参,计算出左相机的外参Rs和ts
由于左相机的内参已知,故左相机的内参矩阵
Figure BDA0003110013110000063
已知,在式(5)中,r1和r2为左相机的外参Rs的前两列的列向量,即Rs=[r1 r2 r3],根据式(5)可求出:
Figure BDA0003110013110000064
Figure BDA0003110013110000065
Figure BDA0003110013110000066
r3=r1×r2, (9)
Figure BDA0003110013110000067
Rs=[r1 r2 r3]; (11)
其中,
Figure BDA0003110013110000068
为待估计参数λ的估计值。
S3,根据棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的关系、左相机的外参以及左、右两个相机之间的位置关系,对右相机的内参进行联合优化,得到右相机的内参的最优解。
所述S3具体为,
S31,将左、右两个相机之间的位置关系代入棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的关系中,并基于左相机的外参Rs和ts对棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的关系进行变换,得到棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的变换关系;
即将式(3)代入式(2),并基于式(10)和式(11)可得棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的变换关系;
棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的变换关系为,
Figure BDA0003110013110000071
Figure BDA0003110013110000072
其中,
Figure BDA0003110013110000073
x′w为棋盘格角点由标定板坐标系变换至左相机坐标系时在x方向上的变换分量,y′w为棋盘格角点由标定板坐标系变换至左相机坐标系时在y方向上的变换分量,z′w为棋盘格角点由标定板坐标系变换至左相机坐标系时在z方向上的变换分量;
S32,根据棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的变换关系,推演出棋盘格角点由左相机坐标系变换至右相机坐标系的变换方程,且所述变换方程为,
Figure BDA0003110013110000074
其中,P为棋盘格角点,x″w为棋盘格角点由左相机坐标系变换至右相机坐标系时在x方向上的变换分量,y″w为棋盘格角点由左相机坐标系变换至右相机坐标系时在y方向上的变换分量,z″w为棋盘格角点由左相机坐标系变换至右相机坐标系时在z方向上的变换分量;
S33,对所述变换方程进行归一化处理,得到半径为r圆的轨迹,且该半径为r圆的轨迹为,
r2=x2+y2; (15)
其中:
x=x″w/z″w,y=y″w/z″w, (16)
x为该半径为r圆的轨迹在右相机坐标系的x方向上的分量,y为该半径为r圆的轨迹在右相机坐标系的y方向上的分量;
S34,将该半径为r圆的轨迹在笛卡尔空间内进行Brown畸变,得到Brown畸变模型,所述Brown畸变模型为,
xc=x(1+k1r2+k2r4+k3r6)+2p1xy+p2(r2+2x2), (17)
yc=y(1+k1r2+k2r4+k3r6)+2p2xy+p1(r2+2y2); (18)
其中,k1、k2、k3为径向畸变系数,p1和p2为切向畸变系数,记畸变系数d=(k1 k2 k3p1 p2)T;xc为Brown畸变模型在笛卡尔空间的x方向上的分量,yc为Brown畸变模型在笛卡尔空间的y方向上的分量;
S35,基于小孔成像原理,将所述Brown畸变模型投影到右相机拍摄的棋盘格图像的像素平面中,得到棋盘格角点在右相机拍摄的棋盘格图像的像素平面内的投影坐标,且棋盘格角点在右相机拍摄的棋盘格图像的像素平面内的投影坐标表达式为,
Figure BDA0003110013110000081
Figure BDA0003110013110000082
其中,
Figure BDA0003110013110000083
为棋盘格角点在右相机拍摄的棋盘格图像的像素坐标系内u方向上的投影分量,
Figure BDA0003110013110000091
为棋盘格角点在右相机拍摄的棋盘格图像的像素坐标系内v方向上的投影分量;
S36,根据右相机的内参、畸变系数d以及左、右两个相机之间的外参R和t,对棋盘格角点在右相机拍摄的棋盘格图像的像素坐标以及像素平面内的投影坐标进行联合优化,使棋盘格角点在右相机拍摄的棋盘格图像的像素坐标与像素平面内的投影坐标之间的误差最小,取棋盘格角点在右相机拍摄的棋盘格图像的像素平面内的像素坐标与投影坐标之间误差最小时的右相机的内参作为右相机的内参的最优解;
对棋盘格角点在右相机拍摄的棋盘格图像的像素坐标以及像素平面内的投影坐标进行联合优化的公式为,
Figure BDA0003110013110000092
其中,右边相机的内参矩阵
Figure BDA0003110013110000093
记a=(αb βb u0b v0b)T
S4,基于左、右两个相机之间的位置关系,根据左相机的外参,计算出右相机的外参。
由于左相机的外参已知,则根据式(3)可以直接求出右相机的外参。
需要说明的是,在本发明中,右相机可以是内参已知的标准相机,左相机为待标定的相机;本发明中的左和右,并不代表对位置的限定。
基于上述一种双相机联合标定方法,本发明还提供一种双相机联合标定系统。
如图2所示,一种双相机联合标定系统,包括支架、左相机1、右相机2、带有棋盘格的标定板3以及联合标定子系统;
所述左相机1为内参已知的标准相机,所述左相机1和所述右相机2分别固定在所述支架的左、右两侧,所述标定板3固定放置在所述左相机1和所述右相机2的视野范围内的任一点上;
如图3所示,所述联合标定子系统包括关系建立模块、左相机外参标定模块、右相机内参标定模块和右相机外参标定模块;
所述关系建立模块,其用于控制左、右两个相机同时拍摄标定板上的棋盘格图像,并根据左、右两个相机拍摄的棋盘格图像,建立棋盘格角点分别到左、右两个相机拍摄的棋盘格图像的像素坐标系的关系以及左、右两个相机之间的位置关系;
所述左相机外参标定模块,其用于基于标定板坐标系的z方向,将棋盘格角点到左相机拍摄的棋盘格图像的像素坐标系的关系进行齐次变换,并根据左相机已知的内参以及齐次变换后的棋盘格角点到左相机拍摄的棋盘格图像的像素坐标系的关系,求解出左相机的外参;
所述右相机内参标定模块,其用于根据棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的关系、左相机的外参以及左、右两个相机之间的位置关系,对右相机的内参进行联合优化,得到右相机的内参的最优解;
所述右相机外参标定模块,其用于基于左、右两个相机之间的位置关系,根据左相机的外参,计算出右相机的外参。
另外,关系建立模块、左相机外参标定模块、右相机内参标定模块和右相机外参标定模块的具体功能参见一种双相机联合标定方法中对应步骤的技术特征。
基于上述一种双相机联合标定方法,本发明还提供一种双相机联合标定装置。
一种双相机联合标定装置,包括处理器、存储器以及存储在所述存储器内的计算机程序,所述计算机程序被所述处理器执行时实现如上述所述的双相机联合标定方法。
本发明一种双相机联合标定方法、系统及装置采用一个内参已知的标准的左相机对待标定的右相机进行标定,标定方法简单,且在标定的过程中对右相机的内参进行联合优化,得到的右相机的内参的最优解,提高标定精度。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种双相机联合标定方法,其特征在于:包括以下步骤,
S1,控制左、右两个相机同时拍摄标定板上的棋盘格图像,并根据左、右两个相机拍摄的棋盘格图像,建立棋盘格角点分别到左、右两个相机拍摄的棋盘格图像的像素坐标系的关系以及左、右两个相机之间的位置关系;其中,左相机为内参已知的标准相机;
S2,基于标定板坐标系的z方向,将棋盘格角点到左相机拍摄的棋盘格图像的像素坐标系的关系进行齐次变换,并根据左相机已知的内参以及齐次变换后的棋盘格角点到左相机拍摄的棋盘格图像的像素坐标系的关系,求解出左相机的外参;
S3,根据棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的关系、左相机的外参以及左、右两个相机之间的位置关系,对右相机的内参进行联合优化,得到右相机的内参的最优解;
S4,基于左、右两个相机之间的位置关系,根据左相机的外参,计算出右相机的外参。
2.根据权利要求1所述的双相机联合标定方法,其特征在于:在所述S1中,棋盘格角点到左相机拍摄的棋盘格图像的像素坐标系的关系为,
Figure FDA0003110013100000011
棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的关系为,
Figure FDA0003110013100000012
其中:Pw为棋盘格角点在标定板坐标系内的坐标向量,且Pw=[xw,yw,zw]T,xw为棋盘格角点在标定板坐标系内x方向上的分量,yw为棋盘格角点在标定板坐标系内y方向上的分量,zw为棋盘格角点在标定板坐标系内z方向上的分量;
Figure FDA0003110013100000021
为棋盘格角点在左相机拍摄的棋盘格图像的像素坐标系内的坐标向量,且
Figure FDA0003110013100000022
Figure FDA0003110013100000023
为棋盘格角点在左相机坐标系内z方向上的分量,
Figure FDA0003110013100000024
为棋盘格角点在左相机拍摄的棋盘格图像的像素坐标系内u方向上的分量,
Figure FDA0003110013100000025
为棋盘格角点在左相机拍摄的棋盘格图像的像素坐标系内v方向上的分量;
MsI为左相机的内参相关矩阵,且
Figure FDA0003110013100000026
u0s、v0s、αs和βs均为左相机的已知的内参;
MsE为左相机的外参矩阵,且
Figure FDA0003110013100000027
Rs和ts均为左相机的外参,具体的,Rs为3×3的旋转矩阵,ts为3×1的平移向量;
Figure FDA0003110013100000028
为棋盘格角点在右相机拍摄的棋盘格图像的像素坐标系内的坐标向量,且
Figure FDA0003110013100000029
Figure FDA00031100131000000210
为棋盘格角点在右相机坐标系内z方向上的分量,
Figure FDA00031100131000000211
为棋盘格角点在右相机拍摄的棋盘格图像的像素坐标系内u方向上的分量,
Figure FDA00031100131000000212
为棋盘格角点在右相机拍摄的棋盘格图像的像素坐标系内v方向上的分量;
MbI为右相机的内参相关矩阵,且
Figure FDA00031100131000000213
u0b、v0b、αb和βb均为右相机的内参;
MbE为右相机的外参矩阵,且
Figure FDA00031100131000000214
Rb和tb均为右相机的外参,具体的,Rb为3×3的旋转矩阵,tb为3×1的平移向量。
3.根据权利要求2所述的双相机联合标定方法,其特征在于:左、右两个相机之间的位置关系为,
Figure FDA00031100131000000215
其中,Tb为右相机的位置矩阵,且
Figure FDA00031100131000000216
Ts为左相机的位置矩阵,且
Figure FDA00031100131000000217
T为左、右两个相机之间的位置关系矩阵,且
Figure FDA00031100131000000218
R和t均为左、右两个相机之间的外参。
4.根据权利要求3所述的双相机联合标定方法,其特征在于:所述S2具体为,
S21,令棋盘格角点在标定板坐标系内z方向上的分量zw=0,并将棋盘格角点到左相机拍摄的棋盘格图像的像素坐标系的关系进行齐次变换,得到齐次变换关系,所述齐次变换关系具体为,
Figure FDA0003110013100000031
其中,H为本征矩阵,且
Figure FDA0003110013100000032
h1、h2和h3为本征矩阵H的三个列向量,r1和r2为左相机的外参Rs的前两列的列向量,λ为待估计参数;
S22,根据本征矩阵H以及左相机的内参,计算出左相机的外参Rs和ts,且Rs=[r1 r2r3],
Figure FDA0003110013100000033
其中,A1为左相机的内参矩阵,且
Figure FDA0003110013100000034
Figure FDA0003110013100000035
为待估计参数λ的估计值,且
Figure FDA0003110013100000036
Figure FDA0003110013100000037
r3=r1×r2
5.根据权利要求4所述的双相机联合标定方法,其特征在于:所述S3具体为,
S31,将左、右两个相机之间的位置关系代入棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的关系中,并基于左相机的外参Rs和ts对棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的关系进行变换,得到棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的变换关系,棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的变换关系为,
Figure FDA0003110013100000041
其中,
Figure FDA0003110013100000042
x′w为棋盘格角点由标定板坐标系变换至左相机坐标系时在x方向上的变换分量,y′w为棋盘格角点由标定板坐标系变换至左相机坐标系时在y方向上的变换分量,z′w为棋盘格角点由标定板坐标系变换至左相机坐标系时在z方向上的变换分量;
S32,根据棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的变换关系,推演出棋盘格角点由左相机坐标系变换至右相机坐标系的变换方程,且所述变换方程为,
Figure FDA0003110013100000043
其中,P为棋盘格角点,x″w为棋盘格角点由左相机坐标系变换至右相机坐标系时在x方向上的变换分量,y″w为棋盘格角点由左相机坐标系变换至右相机坐标系时在y方向上的变换分量,z″w为棋盘格角点由左相机坐标系变换至右相机坐标系时在z方向上的变换分量;
S33,对所述变换方程进行归一化处理,得到半径为r圆的轨迹,且该半径为r圆的轨迹为,
r2=x2+y2
其中,x=x″w/z″w,y=y″w/z″w,x为该半径为r圆的轨迹在右相机坐标系的x方向上的分量,y为该半径为r圆的轨迹在右相机坐标系的y方向上的分量;
S34,将该半径为r圆的轨迹在笛卡尔空间内进行Brown畸变,得到Brown畸变模型,所述Brown畸变模型为,
xc=x(1+k1r2+k2r4+k3r6)+2p1xy+p2(r2+2x2),
yc=y(1+k1r2+k2r4+k3r6)+2p2xy+p1(r2+2y2);
其中,k1、k2、k3为径向畸变系数,p1和p2为切向畸变系数,记畸变系数d=(k1 k2 k3 p1p2)T;xc为Brown畸变模型在笛卡尔空间的x方向上的分量,yc为Brown畸变模型在笛卡尔空间的y方向上的分量;
S35,基于小孔成像原理,将所述Brown畸变模型投影到右相机拍摄的棋盘格图像的像素平面中,得到棋盘格角点在右相机拍摄的棋盘格图像的像素平面内的投影坐标,且棋盘格角点在右相机拍摄的棋盘格图像的像素平面内的投影坐标表达式为,
Figure FDA0003110013100000051
Figure FDA0003110013100000052
其中,
Figure FDA0003110013100000053
为棋盘格角点在右相机拍摄的棋盘格图像的像素坐标系内u方向上的投影分量,
Figure FDA0003110013100000054
为棋盘格角点在右相机拍摄的棋盘格图像的像素坐标系内v方向上的投影分量;
S36,根据右相机的内参、畸变系数d以及左、右两个相机之间的外参R和t,对棋盘格角点在右相机拍摄的棋盘格图像的像素坐标以及像素平面内的投影坐标进行联合优化,使棋盘格角点在右相机拍摄的棋盘格图像的像素坐标与像素平面内的投影坐标之间的误差最小,取棋盘格角点在右相机拍摄的棋盘格图像的像素平面内的像素坐标与投影坐标之间误差最小时的右相机的内参作为右相机的内参的最优解。
6.根据权利要求5所述的双相机联合标定方法,其特征在于:在所述S36中,对棋盘格角点在右相机拍摄的棋盘格图像的像素坐标以及像素平面内的投影坐标进行联合优化的公式为,
Figure FDA0003110013100000055
其中,a=(αb βb u0b v0b)T
7.一种双相机联合标定系统,其特征在于:包括支架、左相机、右相机、带有棋盘格的标定板以及联合标定子系统;
所述左相机为内参已知的标准相机,所述左相机和所述右相机分别固定在所述支架的左、右两侧,所述标定板固定放置在所述左相机和所述右相机的视野范围内的任一点上;
所述联合标定子系统包括关系建立模块、左相机外参标定模块、右相机内参标定模块和右相机外参标定模块;
所述关系建立模块,其用于控制左、右两个相机同时拍摄标定板上的棋盘格图像,并根据左、右两个相机拍摄的棋盘格图像,建立棋盘格角点分别到左、右两个相机拍摄的棋盘格图像的像素坐标系的关系以及左、右两个相机之间的位置关系;
所述左相机外参标定模块,其用于基于标定板坐标系的z方向,将棋盘格角点到左相机拍摄的棋盘格图像的像素坐标系的关系进行齐次变换,并根据左相机已知的内参以及齐次变换后的棋盘格角点到左相机拍摄的棋盘格图像的像素坐标系的关系,求解出左相机的外参;
所述右相机内参标定模块,其用于根据棋盘格角点到右相机拍摄的棋盘格图像的像素坐标系的关系、左相机的外参以及左、右两个相机之间的位置关系,对右相机的内参进行联合优化,得到右相机的内参的最优解;
所述右相机外参标定模块,其用于基于左、右两个相机之间的位置关系,根据左相机的外参,计算出右相机的外参。
8.一种双相机联合标定装置,其特征在于:包括处理器、存储器以及存储在所述存储器内的计算机程序,所述计算机程序被所述处理器执行时实现如上述权利要求1至6任一项所述的双相机联合标定方法。
CN202110646576.5A 2021-06-10 2021-06-10 一种双相机联合标定方法、系统及装置 Active CN113409399B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110646576.5A CN113409399B (zh) 2021-06-10 2021-06-10 一种双相机联合标定方法、系统及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110646576.5A CN113409399B (zh) 2021-06-10 2021-06-10 一种双相机联合标定方法、系统及装置

Publications (2)

Publication Number Publication Date
CN113409399A true CN113409399A (zh) 2021-09-17
CN113409399B CN113409399B (zh) 2023-04-11

Family

ID=77683415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110646576.5A Active CN113409399B (zh) 2021-06-10 2021-06-10 一种双相机联合标定方法、系统及装置

Country Status (1)

Country Link
CN (1) CN113409399B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114910076A (zh) * 2022-05-20 2022-08-16 泉州装备制造研究所 一种基于gps和imu信息的户外摄像机定位方法及装置
CN116858857A (zh) * 2023-07-04 2023-10-10 河南众驰富联精工科技有限公司 一种双龙门工件尖端测量装置及坐标标定方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598762A (zh) * 2018-11-26 2019-04-09 江苏科技大学 一种高精度双目相机标定方法
CN110378967A (zh) * 2019-06-20 2019-10-25 江苏理工学院 一种光栅投射与立体视觉结合的虚拟靶标标定方法
CN110910456A (zh) * 2019-11-22 2020-03-24 大连理工大学 基于Harris角点互信息匹配的立体相机动态标定算法
CN110969668A (zh) * 2019-11-22 2020-04-07 大连理工大学 一种长焦双目相机的立体标定算法
CN111028297A (zh) * 2019-12-11 2020-04-17 凌云光技术集团有限责任公司 面结构光三维测量系统的标定方法
CN111243033A (zh) * 2020-01-10 2020-06-05 大连理工大学 一种优化双目相机外参数的方法
WO2020135446A1 (zh) * 2018-12-24 2020-07-02 深圳市道通智能航空技术有限公司 一种目标定位方法和装置、无人机
WO2021098517A1 (zh) * 2019-11-19 2021-05-27 浙江商汤科技开发有限公司 图像采集设备的标定方法、装置、系统、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598762A (zh) * 2018-11-26 2019-04-09 江苏科技大学 一种高精度双目相机标定方法
WO2020135446A1 (zh) * 2018-12-24 2020-07-02 深圳市道通智能航空技术有限公司 一种目标定位方法和装置、无人机
CN110378967A (zh) * 2019-06-20 2019-10-25 江苏理工学院 一种光栅投射与立体视觉结合的虚拟靶标标定方法
WO2021098517A1 (zh) * 2019-11-19 2021-05-27 浙江商汤科技开发有限公司 图像采集设备的标定方法、装置、系统、设备及存储介质
CN110910456A (zh) * 2019-11-22 2020-03-24 大连理工大学 基于Harris角点互信息匹配的立体相机动态标定算法
CN110969668A (zh) * 2019-11-22 2020-04-07 大连理工大学 一种长焦双目相机的立体标定算法
CN111028297A (zh) * 2019-12-11 2020-04-17 凌云光技术集团有限责任公司 面结构光三维测量系统的标定方法
CN111243033A (zh) * 2020-01-10 2020-06-05 大连理工大学 一种优化双目相机外参数的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WEIXIN_39996742: "张正友标定法_来聊聊双目视觉的基础知识(深度视觉、标定、立体匹配)", 《CSDN》 *
XIAO HAN ET AL.: "External Joint Calibration of A Novel Multi-Modal Perception System", 《CYBER》 *
徐渊等: "一种多目立体视觉的三维激光扫描系统设计", 《计算机与数字工程》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114910076A (zh) * 2022-05-20 2022-08-16 泉州装备制造研究所 一种基于gps和imu信息的户外摄像机定位方法及装置
CN114910076B (zh) * 2022-05-20 2024-04-05 泉州装备制造研究所 一种基于gps和imu信息的户外摄像机定位方法及装置
CN116858857A (zh) * 2023-07-04 2023-10-10 河南众驰富联精工科技有限公司 一种双龙门工件尖端测量装置及坐标标定方法
CN116858857B (zh) * 2023-07-04 2024-05-24 河南富驰科技有限公司 一种双龙门工件尖端测量装置及坐标标定方法

Also Published As

Publication number Publication date
CN113409399B (zh) 2023-04-11

Similar Documents

Publication Publication Date Title
CN106558080B (zh) 一种单目相机外参在线标定方法
Dame et al. Mutual information-based visual servoing
CN113409399B (zh) 一种双相机联合标定方法、系统及装置
CN113910219A (zh) 运动臂系统以及控制方法
CN113379849A (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN113920206B (zh) 透视移轴相机的标定方法
CN110136068B (zh) 基于双侧远心镜头相机之间位置标定的音膜球顶装配系统
CN114494464A (zh) 一种线扫相机的标定方法
CN109003312A (zh) 一种基于非线性优化的相机标定方法
CN116071433A (zh) 相机标定方法和系统、计算机可读存储介质
CN104167001B (zh) 基于正交补偿的大视场摄像机标定方法
CN112109072B (zh) 一种大型稀疏特征托盘精确6d位姿测量和抓取方法
CN110766759A (zh) 一种无重叠视场的多相机标定方法及装置
CN116681772A (zh) 一种非共视下多相机在线标定方法
CN115713563A (zh) 一种相机标定的方法、装置、电子设备及存储介质
CN112975959B (zh) 一种基于机器视觉的散热器装配定位方法、系统及介质
CN114029982A (zh) 一种相机在机器臂外的手眼标定装置及其标定方法
CN105096296B (zh) 立体相机成像的校正装置、方法及电子设备
Zhang et al. Improved camera calibration method and accuracy analysis for binocular vision
CN117340879A (zh) 一种基于图优化模型的工业机器人参数辨识方法和系统
CN109754435B (zh) 一种基于小靶标模糊图像的摄像机在线标定方法
CN115457142B (zh) 一种mr混合摄影相机的标定方法和系统
CN111652945A (zh) 一种相机标定方法
CN113781581A (zh) 基于靶标松姿态约束的景深畸变模型标定方法
CN115246123A (zh) 一种基于单目移动视觉的机器人运动学参数标定方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant