CN114708335B - 双目立体相机的外参标定系统、标定方法、应用、存储介质 - Google Patents

双目立体相机的外参标定系统、标定方法、应用、存储介质 Download PDF

Info

Publication number
CN114708335B
CN114708335B CN202210273952.5A CN202210273952A CN114708335B CN 114708335 B CN114708335 B CN 114708335B CN 202210273952 A CN202210273952 A CN 202210273952A CN 114708335 B CN114708335 B CN 114708335B
Authority
CN
China
Prior art keywords
binocular stereo
world
stereo camera
coordinate system
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210273952.5A
Other languages
English (en)
Other versions
CN114708335A (zh
Inventor
李帅阳
王鑫
任杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yuanxiang Technology Suzhou Co ltd
Original Assignee
Yuanxiang Technology Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yuanxiang Technology Suzhou Co ltd filed Critical Yuanxiang Technology Suzhou Co ltd
Priority to CN202210273952.5A priority Critical patent/CN114708335B/zh
Publication of CN114708335A publication Critical patent/CN114708335A/zh
Application granted granted Critical
Publication of CN114708335B publication Critical patent/CN114708335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了双目立体相机的外参标定系统、标定方法、应用;属于计算机视觉这一领域;其技术要点在于:包括:存储系统、数据源处理系统、旋转矩阵求解系统、平移矩阵求解系统;所述数据源处理系统读取所述存储系统中存储的图像上识别第一标识线、第二标识线的标识点,计算得到上述标识点在相机坐标系下的三维坐标,将计算得到的标识点在相机坐标系下的三维坐标存储到数据源存储系统中;所述旋转矩阵求解系统以及平移矩阵求解系统,用于给出外参参数的计算结果。采用本申请的双目立体相机的外参标定系统、标定方法、应用,能够方便双目立体相机作为传感器的应用。

Description

双目立体相机的外参标定系统、标定方法、应用、存储介质
技术领域
本申请涉及机器视觉(计算机视觉)领域,更具体地说,尤其涉及一种双目立体相机的外参标定系统、标定方法、应用、存储介质。
背景技术
双目立体相机作为传感器的使用,已经较为普遍。如:CN104567762A给出了双目立体相机在工程机械臂角度监测的应用;又如:CN114136562A给出了双目立体相机应用在工程测量中应用;又如:CN110812710B给出了双目立体相机在医疗器械转动架角度监测的应用。
综上所述,双目立体视觉系统作为角度传感器的应用,较为普遍。然而,现有技术的问题在于:
一是双目立体相机的数量较多(如CN110812710B需要4个相机才能监测到转动架的角度);
二是双目立体相机监测的算法速度仍然不够优化。
对于双目立体相机而言,外参参数一般用Pitch、roll、Yaw、Ty来表示。申请人在以往的第一代双目立体相机的外参标定系统(申请号为:2021116313241)中,对上述参数的求解进行研究。但是,其具有以下几个缺点:
1)计算仅仅依据于4个点,坐标点的选择对于计算机标定的误差影响较大。对于机器而言,一般性的经验是:选择样本数越多,就越能接近于实际。然而,第一代双目立体相机的外参标定系统(RGBD参数标定)无法做到考虑多样本数。
2)计算需要多次进行三维重建。即在得到一个参数就需要进行一次三维重建(需要三次三维重建,才能得到全部参数),即某个参数的取得依赖于前面参数的取得。
因此,申请人的第一代双目立体相机的外参标定系统虽然也能够解决实际问题,但是其处理速度相对较慢。应用在传感器方面就显得有些反应不足。
因此,寻找更方便快捷的双目立体相机的外参标定方法,以满足双目相机应用在传感器方面的应用,就成为一个新的技术问题。
发明内容
本申请的目的在于提供一种双目立体相机的外参标定系统,以解决现有技术的不足。
本申请的另一目的在于提供一种双目立体相机的外参标定的方法。
本申请的另一目的在于提供一种双目立体相机作为传感器的应用。
本申请的再一目的在于提供一种存储介质。
一种双目立体相机的外参标定系统,包括:存储系统、数据源处理系统、旋转矩阵求解系统、平移矩阵求解系统;
所述存储系统用于存储双目立体相机得到的图像、用于存储所述数据源处理系统得到的计算结果、用于存储旋转矩阵求解系统及平移矩阵求解系统得到的计算结果;
所述数据源处理系统读取所述存储系统中存储的图像上识别第一标识线、第二标识线的标识点,计算得到上述标识点在相机坐标系下的三维坐标,将计算得到的标识点在相机坐标系下的三维坐标存储到数据源存储系统中;
所述旋转矩阵求解系统,用于读取所述存储系统存储的标识点在相机坐标系下的三维坐标,得到βx、βy、βz的结果,且将βx、βy、βz的结果存入所述存储系统中;
所述平移矩阵求解系统,用于读取存储系统中的βx、βy、βz的结果,以及标识点在相机坐标系下的三维坐标,计算得到Ty,将Ty存入所述存储系统中。
一种双目立体相机的外参标定的方法,相机坐标系与参考坐标系(即世界坐标系)均符合右手规则;
双目立体相机的外参参数为:βx、βy、βz、Ty(四个参数属于R、T矩阵的参数,其属于公知常识);四个参数的标定采用以下步骤:
S100,读取标识点在项目立体相机下的三维坐标:
所述的标识点来源是:在水平参考面上贴十字线:第一标识线标识ZWORLD轴的方向,第二标识线标识XWORLD轴的方向,在第一标识线、第二标识线上均设置有若干个标识点;
S200,计算ZWORLD轴、XWORLD轴在相机坐标系中的向量,分别表示为(a,b,c)、(d,e,f);
S300,βx的求解采用下式:
若b≥0,
Figure GDA0004034367250000021
若b<0,
Figure GDA0004034367250000022
βy的求解采用下式:
当a≥0,
Figure GDA0004034367250000023
当a<0,
Figure GDA0004034367250000031
βz的求解采用下式:
Figure GDA0004034367250000032
θ为中间参数;
当θ≥π/2,
Figure GDA0004034367250000033
当θ<π/2,
Figure GDA0004034367250000034
S400,待βx、βy、βz求解完成后,求解Ty
读取第一标识线和/或第二标识线共计n个点在相机坐标系下的三维坐标,任意第i个点的三维坐标表示为:(Xcami、Ycami、Zcami);
Figure GDA0004034367250000035
进一步,第一标识线上按照ZWORLD轴的前进方向设置有第1、2、…第Q个标识点,采用双目立体相机读取上述Q个点在相机坐标下的三维坐标,通过拟合求出第一标识线在相机坐标系的方向向量为(a,b,c);
第二标识线上按照XWORLD轴的前进方向设置有第1、2、…第m个标识点,采用双目立体相机读取上述m个点在相机坐标下的三维坐标,通过拟合求出第二标识线在相机坐标系的方向向量为(d,e,f)。
进一步,相机坐标系的建立如下:
1)采用右手规则坐标系:右手四指指向Xcam轴方向,四指握手90°指向Ycam轴方向,大拇指指向Zcam轴方向;
2)原点为深度相机的中心点;
3)Xcam轴为沿着深度相机-彩色相机的横向方向,Zcam轴垂直于Xcam轴且指向拍摄的方向;
4)Ycam轴、Xcam、Zcam相互垂直;
参考坐标系的建立如下:
1)采用右手规则坐标系(XWORLD轴朝右,YWORLD轴朝下,ZWORLD轴朝前):参考坐标系的原点为相机坐标系的原点在水平参考面的投影点;
2)YWORLD轴正向为竖直向下。
一种双目立体相机的应用,双目立体相机安装在机器人的机械臂上,在地面上设置贴置十字形或T字形标识线;基于双目立体相机能够获取机械臂的运动信息。
进一步,双目立体相机的Zcam轴方向与机械臂的轴长方向保持平行。
进一步,所述的运动信息包括:机械臂在任意时刻t下的臂长的方位向量;其求解方法如下:
首先,求取任意t时刻对应的βx、βy、βz,即采用:βxt、βyt、βzt表示;
其次,Zcamt轴在t时刻下的参考坐标下的向量即为:
(cosβztsinβytcosβxt+sinβztsinβxt,sinβztsinβytcosβxt-cosβztsinβxt,cosβytcosβxt)。
进一步,所述的运动信息还包括:机械臂在任意时刻t-t1时刻下的转动角度(不表示方向);其求解方法是
任意t时刻到t1转动角度;
S100,求取t时刻对应的βx、βy、βz,即采用:βxt、βyt、βzt表示;
S200,求取t1时刻对应的βx、βy、βz,即采用:βxt1、βyt1、βzt1表示;
S300,机械臂在t时刻——>t1时刻的转动角度γ为:
Figure GDA0004034367250000041
其中,γ1、γ2、γ3为中间参数。
进一步,所述的运动信息还包括:机械臂上的双目立体相机在任意时刻t-t1时刻下的运动距离信息;
其求解方法是:
对于沿着Yworld方向在t时刻——>t1时刻前进的距离为:Tyt1-Tyt
对于沿着Xworld方向在t时刻——>t1时刻前进的距离、沿着Zworld方向在t时刻——>t1时刻前进的距离而言;
通过计算第一或第二标识线上的任意一点P在t、t1时刻下的参考坐标系下的三维坐标:
(Xpt,Ypt,Zpt),(Xpt1,Ypt1,Zpt1);
能够知晓:
双目立体相机的原点在t时刻——>t1时刻沿着Xworld方向前进了:Xpt-Xpt1;若数值为正,表示沿着Xworld正方向移动,若数值为负,表示沿着Xworld负方向移动。
双目立体相机的原点在t时刻——>t1时刻沿着Zworld方向前进了:Zpt-Zpt1;若数值为正,表示沿着Zworld正方向移动,若数值为负,表示沿着Zworld负方向移动。
一种存储介质,其存储有运行前述的方法的程序。
本申请的有益效果在于:
第一,本申请提出的双目立体相机的方法,对于:βx、βy、βz的求解,在求解顺序上并没有任何限定,其均可一次性求解得到。
第二,本申请的难点在于确定:βx、βy、βz的适用范围。βx、βy、βz采用向量夹角的方式来求解。但是如何确定其正、负号就成为一个关键难题。
对于βx而言,通过b、c的正、负号,来确定βx的大小:
若b≥0,c>0,
Figure GDA0004034367250000051
若b≥0,c<0
Figure GDA0004034367250000052
若b<0,c≥0
Figure GDA0004034367250000053
若b<0,c≤0,
Figure GDA0004034367250000054
亦或下式来表达:
若b≥0,
Figure GDA0004034367250000055
若b<0,
Figure GDA0004034367250000056
对于βy而言,则通过a的正、负号来确定βy的正、负;
当a≥0,
Figure GDA0004034367250000061
当a<0,
Figure GDA0004034367250000062
对于βz而言,则较为复杂,需要通过构建另外一个参数θ,通过判断θ的大小,来判断βz的正负;
Figure GDA0004034367250000063
当θ≥π/2,
Figure GDA0004034367250000064
当θ<π/2,
Figure GDA0004034367250000065
第三,本申请的第三个发明点在于给出了:利用双目立体相机作为方位传感器的应用。通过外参参数能够直接求得方位信息。
附图说明
下面结合附图中的实施例对本申请作进一步的详细说明,但并不构成对本申请的任何限制。
图1是本申请的双目立体相机作为传感器的应用示意图。
图2是本申请的双目立体相机外参标定的坐标系示意图。
图3是本申请的双目立体相机外参标定的数学原理图。
图4是本申请的方案现场动态显示结果图(βx=-17.2°,βy=-6.1°,βz=2.4°,Ty=-2613mm(图4显示的是绝对值))。
具体实施方式
<基础理论分析>
双目立体相机的外参可以采用下式表述:
Figure GDA0004034367250000066
R表示旋转矩阵,其是1个3×3的矩阵,其形式如下:
Figure GDA0004034367250000071
R矩阵是相机坐标系按照X、Y、Z的顺序,转动βx角度、βy角度、βz角度转动,即转换为参考坐标系的方向(原点并不重合)。
T表示平移矩阵,其是1个3×1的矩阵,其形式如下:
Figure GDA0004034367250000072
T矩阵表示相机坐标系转化为参考坐标系后,相机坐标系原点到参考坐标系原点的距离。
<实施例一:双目立体相机的外参参数的标定方法>
<第一步:建立相机坐标系与参考坐标系>
结合附图1可知,几何结构两个坐标系的转换。
相机坐标系的建立与参考坐标系的建立均采用右手坐标系规则。
双目立体相机的外参参数标定方法,包括以下步骤:
1.1相机坐标系的建立如下:
1)采用右手规则坐标系:右手四指指向Xcam轴方向,四指握手90°指向Ycam轴方向,大拇指指向Zcam轴方向;
2)原点为深度相机的中心点;
3)Xcam轴为沿着深度相机-彩色相机的横向方向,Zcam轴垂直于Xcam轴且指向拍摄的方向;
4)Ycam轴、Xcam、Zcam相互垂直;
1.2参考坐标系的建立如下:
1)采用右手规则坐标系(XWORLD轴朝右,YWORLD轴朝下,ZWORLD轴朝前):参考坐标系的原点为相机坐标系的原点在水平参考面的投影点;
2)YWORLD轴正向为竖直向下;
3)在水平参考面上贴十字型标识线或者T字型标识线:第一标识线(黑白纹理线)标识ZWORLD轴的方向,第二标识线(黑白纹理线)标识XWORLD轴的方向(第一、二标识线只是标识ZWORLD轴、XWORLD轴的方向,并不是指第一、二标识线就是ZWORLD轴、XWORLD轴);
采用上述坐标系,R矩阵同前述;T矩阵则可表述为:
Figure GDA0004034367250000081
<第二步:输入信息>
第一标识线上按照ZWORLD轴的前进方向设置有第1、2、…第Q个标识点,采用双目立体相机读取上述Q个点在相机坐标下的三维坐标,通过拟合求出第一标识线在相机坐标系的方向向量为(a,b,c);
对于a,b,c而言:
对于方向向量的拟合方法,已知Q个点的三维坐标,通过数学拟合(Matlab即可实现):
Figure GDA0004034367250000082
a、b、c的大小与a'、b'、c'的绝对值相同,即满足:
Figure GDA0004034367250000083
基于Q个标识点任意两个点:第g、h个标识点的三维坐标(Xg,Yg,Zg),(Xh,Yh,Zh),g到h标识点为Z轴的方向;
a的正负与Xh-Xg相同,b的正负与Yh-Yg相同,c的正负与Zh-Zg相同。
同理,第二标识线上按照XWORLD轴的前进方向设置有第1、2、…第m个标识点,采用双目立体相机读取上述m个点在相机坐标下的三维坐标,通过拟合求出第二标识线在相机坐标系的方向向量为(d,e,f)。
<第三步:βx、βy、βzT y的求解>
βx、βy、βz的数学原理可以采用下面的流程解释。
首先Xcam轴转动βx,Ycam、Zcam在Ycam-O-Zcam面内旋转,变为Yc'am、Zc'am
然后,以Yc'am轴转动βy,Xcam、Zc'am在Xcam-O-Zc'am面内旋转,变为:Xc'am、Zworld
再然后,以Zworld轴转动βz,Yc'am、Xc'am在Yc'am-O-Xc'am面内旋转,变为:Yworld、Xworld
最后,将相机坐标系原点O;
3.1βx的求解
Zc'am的位置确定是关键。
观察前述的绕轴转动的顺序,Zc'am与Zworld、Xcam在同一个面,同时:Zc'am还在Ycam-O-Zcam面内;
两个平面相交线即为Zc'am
即在XcamYcamZcam(即相机坐标系)中,Zworld-O-Xcam面的方程为:
-cY+bZ=0
由此可知:Zc'am的方程为:
Figure GDA0004034367250000091
或者
Figure GDA0004034367250000092
βx也采用Z'cam与Zcam的夹角表示:
Z'cam的单位向量为
Figure GDA0004034367250000093
Zcam的单位向量为(0,0,1)
Figure GDA0004034367250000094
Figure GDA0004034367250000095
需要注意的是:
Figure GDA0004034367250000096
并不精确;例如:βx=5°、-5°时,上式并无法区分。
另外,更棘手的问题在于,βx是顺时针转动,还是逆时针转动。这由于后面βy的选择有关。
对此,精确的表述应当为(此处需要说明,基于右手坐标系规则的限定:βy在[-90°,90°]之间):
若b≥0,c>0,
Figure GDA0004034367250000097
若b≥0,c<0
Figure GDA0004034367250000098
若b<0,c≥0
Figure GDA0004034367250000101
若b<0,c≤0,
Figure GDA0004034367250000102
3.2βy的求解
Zc'am在Zc'am-O-Zworld面内,即Zc'am到Zworld的转角;
在XcamYcamZcam(即相机坐标系)中;
Zc'am的向量为:(0,b,c)
Zworld的向量为:(a,b,c)
Figure GDA0004034367250000103
即:
Figure GDA0004034367250000104
Figure GDA0004034367250000105
并不精确;例如:βy=5°、-5°时,上式并无法区分。对此,精确的表述应当为:
当a≥0,
Figure GDA0004034367250000106
当a<0,
Figure GDA0004034367250000107
3.3βz的求解
X'cam、Xworld之间的夹角即为βz
Y'cam在原相机坐标系中的向量为:(0,c,-b)
Zworld上的轴在原相机坐标系中的向量为:(a,b,c)
X'cam与Y'cam、Zworld轴均保持垂直,由此可知,X'cam在相机坐标系中的向量为:
(b2+c2,-ab,-ac);
Xworld在原相机坐标系中的向量为:(d,e,f)
则有:
Figure GDA0004034367250000111
Figure GDA0004034367250000112
βz的范围在[-π,π]之间。
Figure GDA0004034367250000113
并不精确;例如:βz=5°、-5°时,上式并无法区分。对此,精确的表述应当为:
Yworld轴在相机坐标系下的向量为:(bf-ce,cd-af,ae-bd);
X'cam在相机坐标系下的向量为:
(b2+c2,-ab,-ac);
X'cam与Yworld轴的夹角:
Figure GDA0004034367250000114
当θ≥π/2,
Figure GDA0004034367250000115
当θ<π/2,
Figure GDA0004034367250000116
3.4Ty的求解
Xcami、Ycami、Zcami是第一标识线和/或第二标识线上任意一点在相机坐标系的三维坐标;
将上述三维坐标代入到R矩阵,可以求出相机坐标系原点到参考坐标系原点之间的距离;具体数学可表示为:
Figure GDA0004034367250000117
L、N是第一标识线和/或第二标识线在参考坐标系的Xworld坐标、Zworld坐标(在求解Ty不需要)。
也即能够采用下式来求解:
Tyi=-[sinβzcosβyXcami+(sinβzsinβysinβx+cosβzcosβx)Ycami+(sinβzsinβycosβx-cosβzsinβx)Zcami]
Figure GDA0004034367250000121
n表示从第一标识线和/或第二标识线选取的点的总数,n≤m+Q。
需要说明的是,
对于βx而言,
若b≥0
Figure GDA0004034367250000122
若b<0,
Figure GDA0004034367250000123
<实施例二:双目立体相机的外参标定系统>
双目立体相机的外参标定系统,包括:存储系统、数据源处理系统、旋转矩阵求解系统、平移矩阵求解系统;
所述存储系统用于存储双目立体相机得到的图像、用于存储所述数据源处理系统得到的计算结果、用于存储旋转矩阵求解系统及平移矩阵求解系统得到的计算结果;
所述数据源处理系统读取所述存储系统中存储的图像上识别第一标识线、第二标识线的标识点,计算得到上述标识点在相机坐标系下的三维坐标,将计算得到的标识点在相机坐标系下的三维坐标存储到数据源存储系统中;
所述旋转矩阵求解系统,用于读取所述存储系统存储的标识点在相机坐标系下的三维坐标,得到βx、βy、βz的结果,且将βx、βy、βz的结果存入所述存储系统中;
所述平移矩阵求解系统,用于读取存储系统中的βx、βy、βz的结果,以及标识点在相机坐标系下的三维坐标,计算得到Ty,将Ty存入所述存储系统中。
<实施例三:双目立体相机作为传感器的应用>
如图1所示,在机器人的机械臂固定安装一个双目立体相机,双目立体相机的Zcam轴方向与机械臂的轴长方向保持一致;在地面上设置贴置标识线。
t时刻下,双目立体相机能够得到一个R矩阵、一个T矩阵;在t1时刻下,双目立体相机也能够得到一个R矩阵、一个T矩阵。
实质上,T矩阵中只有1个参数即Ty,Ty其表征了双目立体相机距离地面的高度。
第一,计算t时刻下的Zcamt轴在t时刻下的参考坐标系下向量;
1.1首先利用实施例一的方法求解得到:t时刻对应的βx、βy、βz,即采用:βxt、βyt、βzt表示;
1.2Zcamt轴在t时刻下的参考坐标下的向量即为:
(cosβztsinβytcosβxt+sinβztsinβxt,sinβztsinβytcosβxt-cosβztsinβxt,cosβytcosβxt)。
上述求解如下:
Zcamt轴在相机坐标系下的两点:(0,0,0),(0,0,1)在t时刻下的参考坐标系下的坐标可以采用下式求解得到:
(0,0,0),(0,0,1)作为(Xcam,Ycam,Zcam)值代入下式:
Figure GDA0004034367250000131
(该式是将相机坐标系得到的任意一点在三维坐标转换为该点在参考坐标下的计算公式)
即可得到:相机坐标下的两点(0,0,0),(0,0,1),在参考坐标系下的三维坐标为:
(0,Ty,0);
(cosβztsinβytcosβxt+sinβztsinβxt,sinβztsinβytcosβxt-cosβztsinβxt+Ty,cosβytcosβxt)。
据此,可求出Zcamt轴在t时刻下的参考坐标下的向量即为:
(cosβztsinβytcosβxt+sinβztsinβxt,sinβztsinβytcosβxt-cosβztsinβxt,cosβytcosβxt)。
第二,计算t1时刻下的Zcamt1轴在参考坐标下的向量;
2.1首先利用实施例一的方法求解得到:t1时刻对应的βx、βy、βz,即采用:βxt1、βyt1、βzt1表示;
2.2Zcamt轴在t1时刻下的参考坐标下的向量即为:
(cosβzt1sinβyt1cosβxt1+sinβzt1sinβxt1,sinβzt1sinβyt1cosβxt1-cosβzt1sinβxt1,cosβyt1cosβxt1)。
上述求解如下:
Zcamt轴在相机坐标系下的两点:(0,0,0),(0,0,1)在t时刻下的参考坐标系下的坐标可以采用下式求解得到:
(0,0,0),(0,0,1)作为(Xcam,Ycam,Zcam)值代入下式:
Figure GDA0004034367250000141
即可得到:相机坐标下的两点(0,0,0),(0,0,1),在参考坐标系下的三维坐标为:
(0,Ty,0);
(cosβzt1sinβyt1cosβxt1+sinβzt1sinβxt1,sinβzt1sinβyt1cosβxt1-cosβzt1sinβxt1+Ty,cosβyt1cosβxt1)。
据此,可求出Zcamt轴在t1时刻下的参考坐标下的向量即为:
(cosβzt1sinβyt1cosβxt1+sinβzt1sinβxt1,sinβzt1sinβyt1cosβxt1-cosβzt1sinβxt1,cosβyt1cosβxt1)。
第三,基于第一、第二的信息,可以求出:
机械臂在t时刻——>t1时刻的转动角度γ为(利用向量知识来求解即可,虽然t时刻的参考坐标系与t1时刻的参考坐标系不同,但是坐标系的XYZ轴的方向并不会产生变化):
Figure GDA0004034367250000142
需要说明的是:
基于双目立体相机,还能求出沿着Xworld方向在t时刻——>t1时刻前进了多少距离,沿着Yworld方向在t时刻——>t1时刻前进了多少距离,沿着Zworld方向在t时刻——>t1时刻前进了多少距离。
对于沿着Yworld方向在t时刻——>t1时刻前进了多少距离这个问题而言,直接用:Tyt1-Tyt求解即可(Tyt1、Tyt分别是t1、t时刻下得到的外参参数)。
对于“沿着Xworld方向在t时刻——>t1时刻前进了多少距离、沿着Zworld方向在t时刻——>t1时刻前进了多少距离”这两个问题,通过计算标识线上的任意一点P在t、t1时刻下的参考坐标系下的三维坐标:
(Xpt,Ypt,Zpt),(Xpt1,Ypt1,Zpt1);
则可以知晓:
双目立体相机的原点在t时刻——>t1时刻沿着Xworld方向前进了:Xpt-Xpt1;若数值为正,表示沿着Xworld正方向移动,若数值为负,表示沿着Xworld负方向移动。
双目立体相机的原点在t时刻——>t1时刻沿着Zworld方向前进了:Zpt-Zpt1;若数值为正,表示沿着Zworld正方向移动,若数值为负,表示沿着Zworld负方向移动。
基于上述信息,就可以明确的知晓,机械臂在空间中的变化信息。
以上所举实施例为本申请的较佳实施方式,仅用来方便说明本申请,并非对本申请作任何形式上的限制,任何所属技术领域中具有通常知识者,若在不脱离本申请所提技术特征的范围内,利用本申请所揭示技术内容所作出局部更动或修饰的等效实施例,并且未脱离本申请的技术特征内容,均仍属于本申请技术特征的范围内。

Claims (10)

1.一种双目立体相机的外参标定的方法,其特征在于,相机坐标系与参考坐标系均符合右手规则;
双目立体相机的外参参数为:βx、βy、βz、Ty;四个参数的标定采用以下步骤:
S100,读取标识点在双目 立体相机下的三维坐标:
所述的标识点来源是:在水平参考面上贴十字线:第一标识线标识ZWORLD轴的方向,第二标识线标识XWORLD轴的方向,在第一标识线、第二标识线上均设置有若干个标识点;
S200,计算ZWORLD轴、XWORLD轴在相机坐标系中的向量,分别表示为(a,b,c)、(d,e,f);
S300,βx的求解采用下式:
若b≥0,
Figure FDA0004034367240000011
若b<0,
Figure FDA0004034367240000012
βy的求解采用下式:
当a≥0,
Figure FDA0004034367240000013
当a<0,
Figure FDA0004034367240000014
βz的求解采用下式:
Figure FDA0004034367240000015
θ为中间参数;
当θ≥π/2,
Figure FDA0004034367240000016
当θ<π/2,
Figure FDA0004034367240000017
S400,待βx、βy、βz求解完成后,求解Ty
读取第一标识线和/或第二标识线共计n个点在相机坐标系下的三维坐标,任意第i个点的三维坐标表示为:(Xcami、Ycami、Zcami);
Figure FDA0004034367240000021
2.根据权利要求1所述的一种双目立体相机的外参标定的方法,其特征在于,第一标识线上按照ZWORLD轴的前进方向设置有第1、2、…第Q个标识点,采用双目立体相机读取上述Q个点在相机坐标下的三维坐标,通过拟合求出第一标识线在相机坐标系的方向向量为(a,b,c);
第二标识线上按照XWORLD轴的前进方向设置有第1、2、…第m个标识点,采用双目立体相机读取上述m个点在相机坐标下的三维坐标,通过拟合求出第二标识线在相机坐标系的方向向量为(d,e,f)。
3.根据权利要求1所述的一种双目立体相机的外参标定的方法,其特征在于,相机坐标系的建立如下:
1)采用右手规则坐标系:右手四指指向Xcam轴方向,四指握手90°指向Ycam轴方向,大拇指指向Zcam轴方向;
2)原点为深度相机的中心点;
3)Xcam轴为沿着深度相机-彩色相机的横向方向,Zcam轴垂直于Xcam轴且指向拍摄的方向;
4)Ycam轴、Xcam、Zcam相互垂直;
参考坐标系的建立如下:
1)参考坐标系的原点为相机坐标系的原点在水平参考面的投影点;
2)采用右手规则坐标系:XWORLD轴朝右,YWORLD轴正向为竖直向下,ZWORLD轴朝前。
4.一种双目立体相机作为传感器的应用,其特征在于,双目立体相机安装在机器人的机械臂上,在地面上设置贴置十字形或T字形标识线;基于双目立体相机获取机械臂的运动信息;
所述的双目立体相机采用如权利要求1的方法进行外参标定。
5.根据权利要求4所述的一种双目立体相机作为传感器的应用,其特征在于,双目立体相机的Zcam轴方向与机械臂的轴长方向保持平行。
6.根据权利要求4所述的一种双目立体相机作为传感器的应用,其特征在于,所述的运动信息包括:机械臂在任意时刻t下的臂长的方位向量;其求解方法如下:
首先,求取任意t时刻对应的βx、βy、βz,即采用:βxt、βyt、βzt表示;
其次,Zcamt轴在t时刻下的参考坐标下的向量即为:
(cosβztsinβytcosβxt+sinβztsinβxt,sinβztsinβytcosβxt-cosβztsinβxt,cosβytcosβxt)。
7.根据权利要求4所述的一种双目立体相机作为传感器的应用,其特征在于,所述的运动信息还包括:机械臂在任意时刻t-t1时刻下的转动角度;其求解方法是
任意t时刻到t1转动角度;
S100,求取t时刻对应的βx、βy、βz,即采用:βxt、βyt、βzt表示;
S200,求取t1时刻对应的βx、βy、βz,即采用:βxt1、βyt1、βzt1表示;
S300,机械臂在t时刻——>t1时刻的转动角度γ为:
Figure FDA0004034367240000031
其中,γ1、γ2、γ3为中间参数。
8.根据权利要求6所述的一种双目立体相机作为传感器的应用,其特征在于,所述的运动信息还包括:机械臂上的双目立体相机在任意时刻t-t1时刻下的运动距离信息;
其求解方法是:
求取t、t1时刻对应的Ty,采用Tyt、Tyt1表示;
对于沿着Yworld方向在t时刻——>t1时刻前进的距离为:Tyt1-Tyt
对于沿着Xworld方向在t时刻——>t1时刻前进的距离、沿着Zworld方向在t时刻——>t1时刻前进的距离而言;
通过计算第一或第二标识线上的任意一点P在t、t1时刻下的参考坐标系下的三维坐标:
(Xpt,Ypt,Zpt),(Xpt1,Ypt1,Zpt1);
能够知晓:
双目立体相机的原点在t时刻——>t1时刻沿着Xworld方向前进了:Xpt-Xpt1;若数值为正,表示沿着Xworld正方向移动,若数值为负,表示沿着Xworld负方向移动;
双目立体相机的原点在t时刻——>t1时刻沿着Zworld方向前进了:Zpt-Zpt1;若数值为正,表示沿着Zworld正方向移动,若数值为负,表示沿着Zworld负方向移动。
9.一种存储介质,其特征在于,其存储有运行如权利要求1或2或3的方法的程序。
10.一种双目立体相机的外参标定系统,其采用如权利要求1所述的双目立体相机的外参标定的方法;其特征在于,包括:存储系统、数据源处理系统、旋转矩阵求解系统、平移矩阵求解系统;
所述存储系统用于存储双目立体相机得到的图像、用于存储所述数据源处理系统得到的计算结果、用于存储旋转矩阵求解系统及平移矩阵求解系统得到的计算结果;
所述数据源处理系统读取所述存储系统中存储的图像上识别第一标识线、第二标识线的标识点,计算得到上述标识点在相机坐标系下的三维坐标,将计算得到的标识点在相机坐标系下的三维坐标存储到数据源存储系统中;
所述旋转矩阵求解系统,用于读取所述存储系统存储的标识点在相机坐标系下的三维坐标,得到βx、βy、βz的结果,且将βx、βy、βz的结果存入所述存储系统中;
所述平移矩阵求解系统,用于读取存储系统中的βx、βy、βz的结果,以及标识点在相机坐标系下的三维坐标,计算得到Ty,将Ty存入所述存储系统中。
CN202210273952.5A 2022-03-20 2022-03-20 双目立体相机的外参标定系统、标定方法、应用、存储介质 Active CN114708335B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210273952.5A CN114708335B (zh) 2022-03-20 2022-03-20 双目立体相机的外参标定系统、标定方法、应用、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210273952.5A CN114708335B (zh) 2022-03-20 2022-03-20 双目立体相机的外参标定系统、标定方法、应用、存储介质

Publications (2)

Publication Number Publication Date
CN114708335A CN114708335A (zh) 2022-07-05
CN114708335B true CN114708335B (zh) 2023-03-14

Family

ID=82169332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210273952.5A Active CN114708335B (zh) 2022-03-20 2022-03-20 双目立体相机的外参标定系统、标定方法、应用、存储介质

Country Status (1)

Country Link
CN (1) CN114708335B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354854A (zh) * 2015-12-01 2016-02-24 国家电网公司 基于三维数字模型的相机参数动态联合标定方法及系统
CN110415300A (zh) * 2019-08-02 2019-11-05 哈尔滨工业大学 一种基于三靶标建面的立体视觉结构动态位移测量方法
CN112212784A (zh) * 2020-09-01 2021-01-12 长春工程学院 一种点激光位移传感器与双目相机坐标融合的方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA930860A (en) * 1969-06-23 1973-07-24 R. A. Morton Roger Methods and apparatus for determining the quantity and/or other physical parameters of objects
CN105303555B (zh) * 2015-09-18 2017-12-05 浙江工业大学 一种基于双目视觉的集卡定位与引导的方法及其系统
CN109272570B (zh) * 2018-08-16 2022-10-25 合肥工业大学 一种基于立体视觉数学模型的空间点三维坐标求解方法
CN109242914B (zh) * 2018-09-28 2021-01-01 上海爱观视觉科技有限公司 一种可动视觉系统的立体标定方法
CN111080714B (zh) * 2019-12-13 2023-05-16 太原理工大学 一种基于三维重建的平行式双目相机标定方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354854A (zh) * 2015-12-01 2016-02-24 国家电网公司 基于三维数字模型的相机参数动态联合标定方法及系统
CN110415300A (zh) * 2019-08-02 2019-11-05 哈尔滨工业大学 一种基于三靶标建面的立体视觉结构动态位移测量方法
CN112212784A (zh) * 2020-09-01 2021-01-12 长春工程学院 一种点激光位移传感器与双目相机坐标融合的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视觉辅助定位的机械臂运动学参数辨识研究;王晨学等;《工程设计学报》;20180228(第01期);1-5 *

Also Published As

Publication number Publication date
CN114708335A (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN108648237B (zh) 一种基于视觉的空间定位方法
EP1596330B1 (en) Estimating position and orientation of markers in digital images
KR100934564B1 (ko) 정보 처리 장치 및 정보 처리 방법
JP4976756B2 (ja) 情報処理方法および装置
CN109242912A (zh) 采集装置外参标定方法、电子设备、存储介质
US20050180662A1 (en) Method and apparatus for generating structural data from laser reflectance images
CN108038886B (zh) 双目摄像系统标定方法、装置及其汽车
KR20130138247A (ko) 신속 3d 모델링
CN111256732B (zh) 一种用于水下双目视觉的目标姿态误差测量方法
US11288877B2 (en) Method for matching a virtual scene of a remote scene with a real scene for augmented reality and mixed reality
CN109900205A (zh) 一种高精度的单线激光器和光学相机的快速标定方法
CN112168357B (zh) C臂机空间定位模型构建系统及方法
CN110398256B (zh) 一种人体单一姿态的初始校正方法
CN114708335B (zh) 双目立体相机的外参标定系统、标定方法、应用、存储介质
CN110619601A (zh) 一种基于三维模型的图像数据集生成方法
Li et al. A calibration algorithm of the structured light vision for the arc welding robot
CN114332241B (zh) 一种外参标定方法、三维重建方法、存储介质
CN208350997U (zh) 一种目标物运动监测系统
CN111667413A (zh) 一种基于多源传感数据融合处理的图像消旋方法和系统
CN113733078B (zh) 机械臂精调控制量判读方法、计算机可读存储介质
JP2015118101A (ja) 情報処理装置および方法、プログラム
JP4810403B2 (ja) 情報処理装置、情報処理方法
CN110381257A (zh) 映射的目标定位云台控制方法
JP2004108836A (ja) 撮像装置の方位角計算方法及び装置、撮像装置の姿勢検出装置、撮像装置の傾きセンサ、コンピュータプログラム、並びに三次元モデル構成装置
JP2020119249A (ja) 姿勢制御装置および姿勢制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant