CN114332241A - 一种基于过程标定的rgbd相机的外参标定方法、三维重建方法、存储介质 - Google Patents
一种基于过程标定的rgbd相机的外参标定方法、三维重建方法、存储介质 Download PDFInfo
- Publication number
- CN114332241A CN114332241A CN202111631324.1A CN202111631324A CN114332241A CN 114332241 A CN114332241 A CN 114332241A CN 202111631324 A CN202111631324 A CN 202111631324A CN 114332241 A CN114332241 A CN 114332241A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- camera
- yaw
- points
- pitch
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 239000011159 matrix material Substances 0.000 claims abstract description 63
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 238000013519 translation Methods 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 description 7
- 230000003068 static effect Effects 0.000 description 5
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 210000003811 finger Anatomy 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请公开了一种基于过程标定的RGBD相机的外参标定方法、三维重建方法、存储介质;属于计算机视觉这一领域;其技术要点在于:按照Yaw、Pitch、Roll、Ty的先后顺序计算外参参数,其步骤包括:先计算Yaw,然后更新旋转矩阵;然后再计算Pitch,然后更新旋转矩阵;再然后计算Roll,然后更新旋转矩阵;最后,计算Ty。采用本申请的方法,只需要在有纹理的地面上摆放一条朝向正前方的白色线条即可,不需要借助外力,整体操作简单。
Description
技术领域
本申请涉及机器视觉(计算机视觉)领域,更具体地说,尤其涉及一种基于过程标定的RGBD相机的外参标定方法、三维重建方法、存储介质。
背景技术
RGBD相机与双目相机一样,有两个相机(即RGB彩色相机、DEPTH深度相机),每个相机均有自身的投影参数。
RGBD相机在使用时,其得到的相素坐标,其与世界坐标系之间的关系为下式(参考文献:https://blog.csdn.net/qzx9059/article/details/89203768):
现阶段,学者们普遍采用张正友法来测量RGBD相机的内参与外参(在文献“王剑楠.基于RGB-D图像的SLAM问题关键技术研究[D].南京航空航天大学.2017”中对张正友法有详细记载)。除此之外,学者们也提出了许多方法。
发明人在himmpat数据库以及CNKI数据中进行检索(“RGB and D and外参and标定”),得到如下文献:
文献1:孙士杰,等.点云下地平面检测的RGB-D相机外参自动标定[J].中国图象图形学报,2018,23(6):8;长安大学孙士杰团队,在确定RGB-D相机的外参时,首先将深度图转化为相机坐标系下的3维点云,利用MELSAC方法自动检测3维点云中的平面,根据地平面与世界坐标系的约束关系,遍历并筛选平面,直至得到地平面,利用地平面与相机坐标系的空间关系,最终计算出相机的外参数。
文献2:长安大学在CN109272555A公开了一种RGB-D相机的外部参数获得及标定方法,其主要通过拟合标定平面,然后计算标定平面法向量与地平面方向量,仅为计算出外参旋转矩阵和平移矩阵,此方法具有一定的计算量,并且需要消除平面噪声带来的误差,再者此方法是以视角正前方作为世界坐标系的正前方,而不能人为指定。
文献3:深圳无境智能机器人有限公司在CN112233187A,提出了一种方便稳定的rgbd相机外参数标定方法,此方法通过提取3个相互垂直平面的特征点,拟合出3个平面方程,利用这3个平面的垂直关系,计算出相机的外参,此方法计算繁琐,操作不便。
表1
由此可知,现今的几种RGBD相机在外参标定时,均需要确定平面方程。然而,这一方法需要的算力较大,计算效率稍慢。
因此,如何解决上述问题成为一个亟待解决的技术问题。
发明内容
本申请的目的在于提供一种基于过程标定的RGBD相机的外参标定方法,其解决了现有技术中的不足之处。
本申请的另一目的在于提供一种RGBD相机的参数标定方法。
本申请的又一目的在于提供一种三维重建方法,其解决了现有技术中的不足之处。
本申请的再一目的在于提供一种存储介质。
本申请的技术方案如下:
一种基于过程的RGBD相机的外参标定方法,包括如下步骤:
先计算Yaw,然后更新旋转矩阵;
然后再计算Pitch,然后更新旋转矩阵;
再然后计算Roll,然后更新旋转矩阵;
最后,计算Ty。
一种基于过程的RGBD相机的外参标定方法,仅通过车道线来对RGBD的外参参数进行标定。
一种基于过程的RGBD相机的外参标定方法,包括如下步骤:
S100,将内参标定过的RGBD相机固定;
S200,准备一个环境:
首先,RGBD相机的视角范围内的地面上具有纹理;
其次,在地面上拉一条标识线(标识线包括:路面上的长直线、黄直线等各种车道标识线),该标识线与世界坐标系的Zw轴平行;
再次,建立相机坐标系以及世界坐标系:
相机坐标系建立如下:
1)以深度相机为原点建立三维坐标系,深度相机为相机坐标系原点,
2)Xc轴为沿着深度相机-彩色相机的横向方向,Zc轴垂直于Xc轴且指向拍摄的方向;
3)Yc轴与Xc、Zc均垂直;
4)建议的右手规则坐标系;
世界坐标系建立如下:
1)世界坐标系的原点为相机坐标系的原点在地面的投影点;
2)YW轴正向为竖向向下;
3)XW轴、ZW轴所在的面为水平面;
4)建立的右手规则坐标系(右手规则坐标系的定义方式为:右手四指指向X轴方向,四指握手90°指向Y轴方向,大拇指指向Z轴方向);
S300,初始化RGBD相机的外参参数:
“Pitch,Yaw,Roll,Ty”三者赋值为预估值,Pitch,Yaw,Roll的预估值记为P0,Y0,R0,Ty0,预估值P0,Y0,R0与其真值相差在20度以内,预估值Ty0与其真实高度的相差200mm以内。(P0,Y0,R0的单位为度,Ty0值的单位为mm);
相机坐标系到世界坐标系间的旋转矩阵R、平移矩阵T进行初始化:
S400,计算Yaw
S400-1,检测图像中的标识线:在地面上的标识线上采样n个点,得到这n个点在世界坐标系下的坐标分别为:(Xw1,Yw1,Zw1),(Xw2,Yw3,Zw4)……(Xwn,Ywn,Zwn);
以(Xw1,Xw2……Xwn)以及(Zw1,Zw2……Zwn)通过最小二乘法进行拟合,得到一条直线方程,记录为:
Z=kX+b;
S400-2,求解Yaw;
Yaw=Y0-arctan(1/k);
S500,计算Pitch
S500-1,使用S400得到的Yaw值,更新像素坐标到世界坐标的转换;
S500-2,在地面上的标识线上采用2个点:A点与B点,读取A、B点的三维坐标,A在世界坐标系下的三维坐标为(XwA,YwA,ZwA)与B点在世界坐标系下的三维坐标为(XwB,YwB,ZwB);
S500-3,求解Pitch:
S600,计算Roll
S600-1,更新Yaw,Pitch,更新相机坐标到世界坐标的转换,此时得到一个新的3D空间;
S600-2,在地面上选择任意两点C、D,CD与S200的标识线垂直;读取C、D点的三维坐标,C在世界坐标系下的三维坐标(XwC,YwC,ZwC)与D点在世界坐标系下的三维坐标(XwD,YwD,ZwD):
S600-3,求解Pitch:
或者,
S600-1,使用S400得到的Yaw值、使用S500得到的Pitch值对R矩阵进行更新,更新像素坐标到世界坐标的转换;
S600-2,将得到的点云投影到y=0平面上,此时正前方已确认,在y=0平面上选取两点:C点、D点,CD两点的Zw坐标相同,也即直线CD与标识线垂直;
读取C点、D点的世界坐标,即从y=0平面上返回到点云映射:(Xwc,Ywc,Zwc)(Xwc,Ywc,Zwc);
S600-3,求解Roll:
S700,计算Ty
更新Yaw,Pitch、Roll,更新像素坐标到世界坐标的转换;此时得到一个新的3D空间;
再重新读取A、B、C、D点在Y轴的坐标YwA,YwB,YwC,YwD,此时ABCD这4个点的高度理论上应当是相等的,而这个数值就是相机的安装高度,即为所求外参参数Ty:
一种基于过程的RGBD相机的外参标定方法,包括如下步骤:
S100,将内参标定过的RGBD相机固定;
S200,准备一个环境:
首先,RGBD相机的视角范围内的地面上具有纹理;
其次,在地面上拉一条标识线,该标识线与世界坐标系的Zw轴平行;
再次,建立相机坐标系以及世界坐标系:
相机坐标系建立如下:
1)以深度相机为原点建立三维坐标系,深度相机为相机坐标系原点,
2)Xc轴为沿着深度相机-彩色相机的横向方向,Zc轴垂直于Xc轴且指向拍摄的方向;
3)Yc轴与Xc、Zc均垂直;
4)建议的右手规则坐标系;
世界坐标系建立如下:
1)世界坐标系的原点为相机坐标系的原点在地面的投影点;
2)YW轴正向为竖向向下;
3)XW轴、ZW轴所在的面为水平面;
4)建立的右手规则坐标系;
S300,初始化RGBD相机的外参参数:
“Pitch,Yaw,Roll,Ty”三者赋值为预估值,Pitch,Yaw,Roll的预估值均为0,相机坐标系到世界坐标系间的旋转矩阵R、平移矩阵T进行初始化:
S400,计算Yaw
S400-1,检测图像中的标识线:在地面上的标识线上采样n个点,得到这n个点在世界坐标系下的坐标分别为:(Xw1,Yw1,Zw1),(Xw2,Yw3,Zw4)……(Xwn,Ywn,Zwn);
以(Xw1,Xw2……Xwn)以及(Zw1,Zw2……Zwn)通过最小二乘法进行拟合,得到一条直线方程,记录为:
Z=kX+b;
S400-2,求解Yaw;
Yaw=-arctan(1/k);
S500,计算Pitch
S500-1,使用S400得到的Yaw值,更新像素坐标到世界坐标的转换;
S500-2,在地面上的标识线上采用2个点:A点与B点,读取A、B点的三维坐标,A在世界坐标系下的三维坐标为(XwA,YwA,ZwA)与B点在世界坐标系下的三维坐标为(XwB,YwB,ZwB);
S500-3,求解Pitch:
S600,计算Roll
更新Yaw,Pitch,更新相机坐标到世界坐标的转换(此时,Yaw,Pitch都更新过了),此时得到一个新的3D空间;
在地面上选择任意两点C、D,CD与S200的标识线垂直;读取C、D点的三维坐标,C在世界坐标系下的三维坐标(XwC,YwC,ZwC)与D点在世界坐标系下的三维坐标(XwD,YwD,ZwD),
或者:
S600-1,使用S400得到的Yaw值、使用S500得到的Pitch值对R矩阵进行更新,更新像素坐标到世界坐标的转换;
S600-2,将得到的点云投影到y=0平面上,此时正前方已确认,在y=0平面上选取两点:C点、D点,CD两点的Zw坐标相同,也即直线CD与标识线垂直;
读取C点、D点的世界坐标,即从y=0平面上返回到点云映射:(Xwc,Ywc,Zwc)(Xwc,Ywc,Zwc);
S600-3,求解Roll:
S700,计算Ty
更新Yaw,Pitch,Roll,更新像素坐标到世界坐标的转换(此时,Yaw,Pitch,Roll都更新过了);此时得到一个新的3D空间;
再重新读取A、B、C、D点在Y轴的坐标YwA,YwB,YwC,YwD,外参参数Ty采用下式计算:
进一步,外参参数包括:旋转矩阵R以及平移矩阵T,步骤S100-S700中的旋转矩阵、平移矩阵与参数Yaw,Pitch,Roll、Ty的关系为:
旋转矩阵R
平移矩阵T:
进一步,AB与CD相互垂直。
进一步,C点与A点或B点重合;
进一步,D点与A点或B点重合。
一种RGBD相机的参数标定方法,包括以下步骤:
A.对RGBD相机的内参参数进行标定;
B.采用实施例1的方法对RGBD相机的外参参数进行标定。
一种三维重建方法,其包括如下步骤:
A.采用前述的标定方法对RGBD相机进行标定;
B.待RGBD相机标定后,进行三维重建。
一种存储介质,其存储有运行前述方法的程序。
本申请的有益效果在于:
第一,本申请提出了一种基于过程的RGBD相机的外参标定方法,其基础构思在于:先计算Yaw,然后更新旋转矩阵;然后再计算Pitch,然后更新旋转矩阵;再然后计算Roll,然后更新旋转矩阵;最后,计算Ty。
第二,本申请提出的“动态法”只需要在有纹理的地面上摆放一条朝向正前方的线条(例如:车道线)即可,不需要借助外力,整体操作简单。
第三,本申请的核心发明构思在于:动态法,只需要两个点(实质上这2个点也不需要在地面上预先标识),即可以求解出R、T矩阵,外参标定更加方便。
附图说明
下面结合附图中的实施例对本申请作进一步的详细说明,但并不构成对本申请的任何限制。
图1是本申请的相机坐标系与世界坐标系的示意图。
图2是本申请的静态测试结果图。
图3是本申请的方案现场动态显示结果图(场景一)。
图4是本申请的方案现场动态显示结果图(场景二)。
图5是本申请的十字形纹理线条的设计图。
具体实施方式
<1.旋转矩阵与平移矩阵的分析>
相机坐标系建立如下:
1)以深度相机为原点建立三维坐标系,深度相机为相机坐标系原点,
2)Xc轴为沿着深度相机-彩色相机的横向方向,Zc轴垂直于Xc轴且指向拍摄的方向。
3)Yc轴与Xc、Zc均垂直;
4)建议的右手规则坐标系。
世界坐标系建立如下:
1)世界坐标系的原点为相机坐标系的原点在地面的投影点;
2)YW轴正向为竖向向下;
3)XW轴、ZW轴所在的面为水平面(XW轴超右,YW轴超下,ZW轴朝前);
4)建立的右手规则坐标系:右手四指指向X轴方向,四指握手90°指向Y轴方向,大拇指指向Z轴方向。
假设世界坐标系的原点就在相机垂直地面的交点,世界坐标系的正前方即Z轴方面可以人为制定。
旋转矩阵R为:
上式中,Roll,Yaw,Pitch为相关参数(欧拉角:包括X轴对应俯仰角Pitch,Y轴对应偏航角Yaw和Z轴对应横滾角Roll。
平移矩阵T为:
上述信息采用的代码如下:
THETA_X为Pitch,THETA_Y为Yaw,THETA_Z为Roll.
旋转矩阵:
m_aRotation[0][0]=COS(THETA_Z)*COS(THETA_Y);
m_aRotation[0][1]=-SIN(THETA_Z)*COS(THETA_X)+COS(THETA_Z)*SIN(THETA_Y)*SIN(THETA_X);
m_aRotation[0][2]=SIN(THETA_Z)*SIN(THETA_X)+COS(THETA_Z)*SIN(THETA_Y)*COS(THETA_X);
m_aRotation[1][0]=SIN(THETA_Z)*COS(THETA_Y);
m_aRotation[1][1]=COS(THETA_Z)*COS(THETA_X)+SIN(THETA_Z)*SIN(THETA_Y)*SIN(THETA_X);
m_aRotation[1][2]=-COS(THETA_Z)*SIN(THETA_X)+SIN(THETA_Z)*SIN(THETA_Y)*COS(THETA_X);
m_aRotation[2][0]=-SIN(THETA_Y);
m_aRotation[2][1]=COS(THETA_Y)*SIN(THETA_X);
m_aRotation[2][2]=COS(THETA_Y)*COS(THETA_X);
平移矩阵:
m_aTranslation[0]=TX;
m_aTranslation[1]=TY;
m_aTranslation[2]=TZ。
<2.实施例1:一种基于过程的RGBD相机的外参标定方法—静态分析法>
从“1.旋转矩阵与平移矩阵的分析”可知:只要知晓欧拉角,就能够确定旋转矩阵R。
一种基于过程的RGBD相机的外参标定方法,包括如下步骤:
S100,将内参标定过的RGBD相机固定;
S200,准备一个环境,首先RGBD相机的视角范围内的地面上具有纹理(或者在光滑的地面上铺设类似迷彩图的纹理图案,目的是在地面上可以计算出视差);
然后,在地面上拉一条标识线,该标识线与Zw轴平行;
S300,初始化RGBD相机的外参参数:
“Pitch,Yaw,Roll,Ty”三者赋值为预估值,Pitch,Yaw,Roll的预估值记为P0,Y0,R0,Ty0,相机坐标系到世界坐标系间的旋转矩阵R、平移矩阵T进行初始化;
S400,计算Yaw
S400-1,检测图像中的标识线:在地面上的标识线上采样n个点,得到这n个点在世界坐标系下的坐标分别为:(Xw1,Yw1,Zw1),(Xw2,Yw3,Zw4)……(Xwn,Ywn,Zwn);
以(Xw1,Xw2……Xwn)以及(Zw1,Zw2……Zwn)通过最小二乘法进行拟合,得到一条直线方程,记录为:
Z=kX+b;
S400-2,求解Yaw;
Yaw=Y0-arctan(1/k);
S500,计算Pitch
S500-1,使用S400得到的Yaw值,更新像素坐标到世界坐标的转换;
S500-2,在地面上的标识线上采用2个点:A点与B点,读取A、B点的三维坐标,A在世界坐标系下的三维坐标为(XwA,YwA,ZwA)与B点在世界坐标系下的三维坐标为(XwB,YwB,ZwB);
S500-3,求解Pitch:
S600,计算Roll
更新Pitch,更新相机坐标到世界坐标的转换(此时,Yaw,Pitch都更新过了),此时得到一个新的3D空间;
在地面上选择任意两点C、D,CD与S200的标识线垂直;读取C、D点的三维坐标,C在世界坐标系下的三维坐标(XwC,YwC,ZwC)与D点在世界坐标系下的三维坐标(XwD,YwD,ZwD),
S700,计算Ty
更新Roll,更新像素坐标到世界坐标的转换(此时,Yaw,Pitch,Roll都更新过了);此时得到一个新的3D空间;
再重新读取A、B、C、D点在Y轴的坐标YwA,YwB,YwC,YwD,此时ABCD这4个点的高度理论上应当是相等的,而这个数值就是相机的安装高度,即为所求外参参数Ty:
如图2所示,采用前述的方案分析的结果图。ABCD是预先在地面上选择好的,属于静态分析方法。
特例,在使用时,一般可赋值:Pitch,Yaw,Roll,Ty的初始值均为0;上述方法可简化为:
一种基于过程的RGBD相机的外参标定方法,包括如下步骤:
S100,将内参标定过的RGBD相机固定;
S200,准备一个环境,首先RGBD相机的视角范围内的地面上具有纹理(或者在光滑的地面上铺设类似迷彩图的纹理图案,目的是在地面上可以计算出视差);
然后,在地面上拉一条标识线,该标识线与Zw轴平行;
S300,初始化RGBD相机的外参参数:
“Pitch,Yaw,Roll,Ty”三者赋值为预估值,Pitch,Yaw,Roll的预估值均为0,相机坐标系到世界坐标系间的旋转矩阵R、平移矩阵T进行初始化:
S400,计算Yaw
S400-1,检测图像中的标识线:在地面上的标识线上采样n个点,得到这n个点在世界坐标系下的坐标分别为:(Xw1,Yw1,Zw1),(Xw2,Yw3,Zw4)……(Xwn,Ywn,Zwn);
以(Xw1,Xw2……Xwn)以及(Zw1,Zw2……Zwn)通过最小二乘法进行拟合,得到一条直线方程,记录为:
Z=kX+b;
S400-2,求解Yaw;
Yaw=-arctan(1/k);
S500,计算Pitch
S500-1,使用S400得到的Yaw值,更新像素坐标到世界坐标的转换;
S500-2,在地面上的标识线上采用2个点:A点与B点,读取A、B点的三维坐标,A在世界坐标系下的三维坐标为(XwA,YwA,ZwA)与B点在世界坐标系下的三维坐标为(XwB,YwB,ZwB);
S500-3,求解Pitch:
S600,计算Roll
更新Pitch,更新相机坐标到世界坐标的转换(此时,Yaw,Pitch都更新过了),此时得到一个新的3D空间;
在地面上选择任意两点C、D,CD与S200的标识线垂直;读取C、D点的三维坐标,C在世界坐标系下的三维坐标(XwC,YwC,ZwC)与D点在世界坐标系下的三维坐标(XwD,YwD,ZwD),
S700,计算Ty
更新Roll,更新像素坐标到世界坐标的转换(此时,Yaw,Pitch,Roll都更新过了);
此时得到一个新的3D空间;
再重新读取A、B、C、D点在Y轴的坐标YwA,YwB,YwC,YwD,此时ABCD这4个点的高度理论上应当是相等的,而这个数值就是相机的安装高度,即为所求外参参数Ty:
如图2所示,采用静态测量法进行了5次测量,结果如表2所示,测量结果满足要求。
表2实际运用测量结果
编号 | Pitch | Yaw | Roll | Ty | 是否可信 |
1 | -22.413 | -16.697 | 5.405 | 2256 | Yes |
2 | -22.480 | -16.672 | 5.488 | 2253 | Yes |
3 | -22.278 | -16.803 | 5.125 | 2245 | Yes |
4 | -22.165 | -16.712 | 5.380 | 2236 | Yes |
5 | -22.300 | -17.047 | 5.048 | 2244 | Yes |
标准差 | 0.123 | 0.154 | 0.191 | 7.918 |
<3.实施例2:一种基于过程的RGBD相机的外参标定方法—动态分析法>
实施例1的方法适用于静态分析法,即预先在地面上设置4个点,例如:贴个十字形纸(如图5的设计)。但是,这种场景很少能满足。即一般地面上只有车道线,而与车道线垂直的标识物是没有的。
其与实施例1的不同之处,在于步骤S600不同。
S600,计算Roll
S600-1,使用S400得到的Yaw值,使用S500得到的Pitch值,更新像素坐标到世界坐标的转换(即相机观察到的点云采用更新后的R/T矩阵,计算出各个点的世界坐标);
S600-2,将得到的点云投影到XZ平面(y=0)上,在XZ平面上能够找到标识线,在XZ平面上,确定两点:C点、D点,CD两点的Zw坐标相同即可保证:CD点与标识线保持垂直(此处的隐含设计在于,图像拍摄到的大部分都是地面,C、D点选择在地面上是较大概率的)(C、D点在地面上,是可以通过点云投影到XZ平面上的图像确定的;另外,也可以取距离白线30cm-50cm以内的点,或者是两条白线之间的点均可);
读取C点、D点的世界坐标(即从XZ平面上返回到点云映射);(Xwc,Ywc,Zwc)(Xwc,Ywc,Zwc);
S600-3,求解Pitch:
从实施例1的静态法到实施例2的动态法,是方案的一次提升:仅仅依靠图像分析,即可计算出外参参数。
<4.实施例3:一种RGBD相机的参数标定方法>
一种RGBD相机的参数标定方法,包括以下步骤:
A.对RGBD相机的内参参数进行标定;
B.采用实施例1的方法对RGBD相机的外参参数进行标定。
以上所举实施例为本申请的较佳实施方式,仅用来方便说明本申请,并非对本申请作任何形式上的限制,任何所属技术领域中具有通常知识者,若在不脱离本申请所提技术特征的范围内,利用本申请所揭示技术内容所作出局部更动或修饰的等效实施例,并且未脱离本申请的技术特征内容,均仍属于本申请技术特征的范围内。
Claims (10)
1.一种基于过程的RGBD相机的外参标定方法,其特征在于,按照Yaw、Pitch、Roll、Ty的先后顺序计算外参参数,其步骤包括:
先计算Yaw,然后更新旋转矩阵;
然后再计算Pitch,然后更新旋转矩阵;
再然后计算Roll,然后更新旋转矩阵;
最后,计算Ty。
2.根据权利要求1所述的一种基于过程的RGBD相机的外参标定方法,其特征在于:仅通过地面的标识线来对RGBD的外参参数进行标定;所述标识线为带纹理的十字形线条。
3.一种基于过程的RGBD相机的外参标定方法,其特征在于:包括如下步骤:
S100,将内参标定过的RGBD相机固定;
S200,准备一个环境:
首先,RGBD相机的视角范围内的地面上具有纹理;
其次,地面上具有标识线,该标识线与世界坐标系的Zw轴平行;
再次,建立相机坐标系以及世界坐标系:
相机坐标系建立如下:
1)以深度相机为原点建立三维坐标系,深度相机为相机坐标系原点,
2)Xc轴为沿着深度相机-彩色相机的横向方向,Zc轴垂直于Xc轴且指向拍摄的方向;
3)Yc轴与Xc、Zc均垂直;
4)建议的右手规则坐标系;
世界坐标系建立如下:
1)世界坐标系的原点为相机坐标系的原点在地面的投影点;
2)Yw轴正向为竖向向下;
3)Xw轴、Zw轴所在的面为水平面;
4)建立的右手规则坐标系;
S300,初始化RGBD相机的外参参数:
“Pitch,Yaw,Roll,Ty”四者赋值为预估值,Pitch,Yaw,Roll,Ty的预估值记为P0,Y0,R0,Ty0;相机坐标系到世界坐标系间的旋转矩阵R、平移矩阵T进行初始化:
Pitch,Yaw,Roll,Ty均为相关参数;
S400,计算Yaw
S400-1,检测图像中的标识线:在地面上的标识线上采样n个点,得到这n个点在世界坐标系下的坐标分别为:(Xw1,Yw1,Zw1),(Xw2,Yw3,Zw4)……(Xwn,Ywn,Zwn);
以(Xw1,Xw2……Xwn)以及(Zw1,Zw2……Zwn)通过最小二乘法进行拟合,得到一条直线方程,记录为:
Z=kX+b;
S400-2,求解Yaw;
Yaw=Y0-arctan(1/k);
S500,计算Pitch
S500-1,使用S400得到的Yaw值对R矩阵进行更新;
S500-2,在地面上的标识线上采用2个点:A点与B点,读取A、B点的三维坐标,A在世界坐标系下的三维坐标为(XwA,YwA,ZwA)与B点在世界坐标系下的三维坐标为(XwB,YwB,ZwB);
S500-3,求解Pitch:
S600,计算Roll
S600-1,使用S400得到的Yaw值、使用S500得到的Pitch值对R矩阵进行更新,更新像素坐标到世界坐标的转换;
S600-2,将得到的点云投影到y=0平面上,此时正前方已确认,在y=0平面上选取两点:C点、D点,CD两点的Zw坐标相同,也即直线CD与标识线垂直;
读取C点、D点的世界坐标,即从y=0平面上返回到点云映射:(Xwc,Ywc,Zwc)(Xwc,Ywc,Zwc);
S600-3,求解Roll:
S700,计算Ty
采用步骤使用S400得到的Yaw值、步骤S500得到的Pitch值,步骤S600得到的Roll值对R矩阵进行更新;
再重新读取A、B、C、D点在Y轴的坐标YwA,YwB,YwC,YwD;
Ty采用下式求解:
4.一种基于过程的RGBD相机的外参标定方法,其特征在于:包括如下步骤:
S100,将内参标定过的RGBD相机固定;
S200,准备一个环境:
首先,RGBD相机的视角范围内的地面上具有纹理;
其次,地面上具有标识线,该标识线与世界坐标系的Zw轴平行;
再次,建立相机坐标系以及世界坐标系:
相机坐标系建立如下:
1)以深度相机为原点建立三维坐标系,深度相机为相机坐标系原点,
2)Xc轴为沿着深度相机-彩色相机的横向方向,Zc轴垂直于Xc轴且指向拍摄的方向;
3)Yc轴与Xc、Zc均垂直;
4)建议的右手规则坐标系;
世界坐标系建立如下:
1)世界坐标系的原点为相机坐标系的原点在地面的投影点;
2)YW轴正向为竖向向下;
3)XW轴、ZW轴所在的面为水平面;
4)建立的右手规则坐标系;
S300,初始化RGBD相机的外参参数:
“Pitch,Yaw,Roll,Ty”四者赋值为预估值,Pitch,Yaw,Roll,Ty的预估值记为P0,Y0,R0,Ty0;相机坐标系到世界坐标系间的旋转矩阵R、平移矩阵T进行初始化:
Pitch,Yaw,Roll,Ty均为相关参数;
S400,计算Yaw
S400-1,检测图像中的标识线:在地面上的标识线上采样n个点,得到这n个点在世界坐标系下的坐标分别为:(Xw1,Yw1,Zw1),(Xw2,Yw3,Zw4)……(Xwn,Ywn,Zwn);
以(Xw1,Xw2……Xwn)以及(Zw1,Zw2……Zwn)通过最小二乘法进行拟合,得到一条直线方程,记录为:
Z=kX+b;
S400-2,求解Yaw;
Yaw=Y0-arctan(1/k);
S500,计算Pitch
S500-1,使用S400得到的Yaw值对R矩阵进行更新;
S500-2,在地面上的标识线上采用2个点:A点与B点,读取A、B点的三维坐标,A在世界坐标系下的三维坐标为(XwA,YwA,ZwA)与B点在世界坐标系下的三维坐标为(XwB,YwB,ZwB);
S500-3,求解Pitch:
S600,计算Roll
S600-1,使用S400得到的Yaw值、使用S500得到的Pitch值对R矩阵进行更新,更新像素坐标到世界坐标的转换;
S600-2,将得到的点云投影到y=0平面上,此时正前方已确认,在y=0平面上选取两点:C点、D点,CD两点的Zw坐标相同,也即直线CD与标识线垂直;
读取C点、D点的世界坐标,即从y=0平面上返回到点云映射:(Xwc,Ywc,Zwc)(Xwc,Ywc,Zwc);
S600-3,求解Roll:
S700,计算Ty
采用步骤使用S400得到的Yaw值、步骤S500得到的Pitch值,步骤S600得到的Roll值对R矩阵进行更新;
再重新读取A、B、C、D点在Y轴的坐标YwA,YwB,YwC,YwD;
Ty采用下式求解:
5.根据权利要求3或4所述的一种基于过程的RGBD相机的外参标定方法,其特征在于,P0,Y0,R0与其真值相差在±20°以内,Ty0与其真实高度的相差±200mm以内;P0,Y0,R0的单位为度,Ty0值的单位为mm。
7.一种基于过程的RGBD相机的外参标定方法,其特征在于,包括如下步骤:
S100,将内参标定过的RGBD相机固定;
S200,准备一个环境:
首先,RGBD相机的视角范围内的地面上具有纹理;
其次,在地面上拉一条标识线,该标识线与世界坐标系的Zw轴平行;
再次,建立相机坐标系以及世界坐标系:
相机坐标系建立如下:
1)以深度相机为原点建立三维坐标系,深度相机为相机坐标系原点,
2)Xc轴为沿着深度相机-彩色相机的横向方向,Zc轴垂直于Xc轴且指向拍摄的方向;
3)Yc轴与Xc、Zc均垂直;
4)建议的右手规则坐标系;
世界坐标系建立如下:
1)世界坐标系的原点为相机坐标系的原点在地面的投影点;
2)YW轴正向为竖向向下;
3)XW轴、ZW轴所在的面为水平面;
4)建立的右手规则坐标系;
S300,初始化RGBD相机的外参参数:
“Pitch,Yaw,Roll,Ty”三者赋值为预估值,Pitch,Yaw,Roll的预估值均为0,相机坐标系到世界坐标系间的旋转矩阵R、平移矩阵T进行初始化:
Pitch,Yaw,Roll,Ty均为相关参数
S400,计算Yaw
S400-1,检测图像中的标识线:在地面上的标识线上采样n个点,得到这n个点在世界坐标系下的坐标分别为:(Xw1,Yw1,Zw1),(Xw2,Yw3,Zw4)……(Xwn,Ywn,Zwn);
以(Xw1,Xw2……Xwn)以及(Zw1,Zw2……Zwn)通过最小二乘法进行拟合,得到一条直线方程,记录为:
Z=kX+b;
S400-2,求解Yaw;
Yaw=-arctan(1/k);
S500,计算Pitch
S500-1,使用S400得到的Yaw值对R矩阵进行更新;
S500-2,在地面上的标识线上采用2个点:A点与B点,读取A、B点的三维坐标,A在世界坐标系下的三维坐标为(XwA,YwA,ZwA)与B点在世界坐标系下的三维坐标为(XwB,YwB,ZwB);
S500-3,求解Pitch:
S600,计算Roll
S600-1,使用S400得到的Yaw值、使用S500得到的Pitch值对R矩阵进行更新,更新像素坐标到世界坐标的转换;
S600-2,将得到的点云投影到y=0平面上,此时正前方已确认,在y=0平面上选取两点:C点、D点,CD两点的Zw坐标相同,也即直线CD与标识线垂直;
读取C点、D点的世界坐标,即从y=0平面上返回到点云映射:(Xwc,Ywc,Zwc)(Xwc,Ywc,Zwc);
S600-3,求解Roll:
或者,
S600-1,使用S400得到的Yaw值、使用S500得到的Pitch值对R矩阵进行更新,更新像素坐标到世界坐标的转换;
S600-2,将得到的点云投影到y=0平面上,此时正前方已确认,在y=0平面上选取两点:C点、D点,CD两点的Zw坐标相同,也即直线CD与标识线垂直;
读取C点、D点的世界坐标,即从y=0平面上返回到点云映射:(Xwc,Ywc,Zwc)(Xwc,Ywc,Zwc);
S600-3,求解Roll:
S700,计算Ty
采用步骤使用S400得到的Yaw值、步骤S500得到的Pitch值,步骤S600得到的Roll值对R矩阵进行更新;
再重新读取A、B、C、D点在Y轴的坐标YwA,YwB,YwC,YwD,外参参数Ty采用下式计算:
8.一种RGBD相机的参数标定方法,其特征在于,包括以下步骤:A.对RGBD相机的内参参数进行标定;B.采用如权利要求1或7任意一项所述的方法对RGBD相机的外参参数进行标定。
9.一种三维重建方法,其特征在于,其包括如下步骤:
A.采用如权利要求3或4或7所述的标定方法对RGBD相机进行标定;
B.待RGBD相机标定后,进行三维重建。
10.一种存储介质,其特征在于,所述存储介质存储有运行如权利要求1至7任意一项所述的方法的程序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111631324.1A CN114332241B (zh) | 2021-12-29 | 2021-12-29 | 一种外参标定方法、三维重建方法、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111631324.1A CN114332241B (zh) | 2021-12-29 | 2021-12-29 | 一种外参标定方法、三维重建方法、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114332241A true CN114332241A (zh) | 2022-04-12 |
CN114332241B CN114332241B (zh) | 2022-09-09 |
Family
ID=81015738
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111631324.1A Active CN114332241B (zh) | 2021-12-29 | 2021-12-29 | 一种外参标定方法、三维重建方法、存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114332241B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116681776A (zh) * | 2023-05-30 | 2023-09-01 | 元橡科技(北京)有限公司 | 一种双目相机的外参标定方法和系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106875448A (zh) * | 2017-02-16 | 2017-06-20 | 武汉极目智能技术有限公司 | 一种车载单目摄像头外部参数自标定方法 |
CN109410284A (zh) * | 2018-10-31 | 2019-03-01 | 百度在线网络技术(北京)有限公司 | 一种参数估计方法、装置、电子设备、车辆及存储介质 |
CN111815713A (zh) * | 2020-05-29 | 2020-10-23 | 安徽酷哇机器人有限公司 | 自动标定相机外参的方法及系统 |
US20200383609A1 (en) * | 2019-06-10 | 2020-12-10 | Honda Motor Co., Ltd. | Posture estimation device, posture estimation method, and storage medium |
CN113658279A (zh) * | 2021-08-25 | 2021-11-16 | 深研人工智能技术(深圳)有限公司 | 相机内参和外参估算方法、装置、计算机设备及存储介质 |
-
2021
- 2021-12-29 CN CN202111631324.1A patent/CN114332241B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106875448A (zh) * | 2017-02-16 | 2017-06-20 | 武汉极目智能技术有限公司 | 一种车载单目摄像头外部参数自标定方法 |
CN109410284A (zh) * | 2018-10-31 | 2019-03-01 | 百度在线网络技术(北京)有限公司 | 一种参数估计方法、装置、电子设备、车辆及存储介质 |
US20200383609A1 (en) * | 2019-06-10 | 2020-12-10 | Honda Motor Co., Ltd. | Posture estimation device, posture estimation method, and storage medium |
CN111815713A (zh) * | 2020-05-29 | 2020-10-23 | 安徽酷哇机器人有限公司 | 自动标定相机外参的方法及系统 |
CN113658279A (zh) * | 2021-08-25 | 2021-11-16 | 深研人工智能技术(深圳)有限公司 | 相机内参和外参估算方法、装置、计算机设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
廖文龙 等: "开放道路中匹配高精度地图的在线相机外参标定", 《中国图象图形学报》 * |
李秋洁 等: "基于激光雷达的果园行间路径提取与导航", 《农业机械学报》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116681776A (zh) * | 2023-05-30 | 2023-09-01 | 元橡科技(北京)有限公司 | 一种双目相机的外参标定方法和系统 |
CN116681776B (zh) * | 2023-05-30 | 2024-02-23 | 元橡科技(北京)有限公司 | 一种双目相机的外参标定方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114332241B (zh) | 2022-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1596330B1 (en) | Estimating position and orientation of markers in digital images | |
CN107507235B (zh) | 一种基于rgb-d设备采集的彩色图像和深度图像的配准方法 | |
JP6057298B2 (ja) | 迅速な3dモデリング | |
CN110728671B (zh) | 基于视觉的无纹理场景的稠密重建方法 | |
CN105118021A (zh) | 基于特征点的图像配准方法及系统 | |
WO2013155271A1 (en) | Systems and methods for obtaining parameters for a three dimensional model from reflectance data | |
CN111524195B (zh) | 一种掘进机截割头定位中的相机标定方法 | |
CN109900205B (zh) | 一种高精度的单线激光器和光学相机的快速标定方法 | |
CN112648976B (zh) | 实景影像测量方法、装置、电子设备及存储介质 | |
CN114329747A (zh) | 一种面向建筑数字孪生的虚实实体坐标映射方法及系统 | |
CN114332241B (zh) | 一种外参标定方法、三维重建方法、存储介质 | |
CN112489099A (zh) | 点云配准方法、装置、存储介质及电子设备 | |
WO2019173808A1 (en) | Real-time quality control during manufacturing using augmented reality | |
CN111553948A (zh) | 一种基于双示踪物的掘进机截割头定位系统及方法 | |
CN112100297A (zh) | 城市更新中数据管理的三维可视化方法 | |
CN113160401B (zh) | 一种面向物体的视觉slam轻量化语义地图创建方法 | |
CN107504959B (zh) | 利用倾斜航空影像测量房屋墙基轮廓的方法 | |
CN111611525B (zh) | 基于物方匹配高程偏差迭代修正的遥感数据高程解算方法 | |
CN109859320A (zh) | 一种根据管网属性数据生成三维可视化图像的系统及方法 | |
CN114078163A (zh) | 激光雷达与可见光相机的精确标定方法 | |
CN111915666A (zh) | 基于移动终端的体积测量方法及装置 | |
CN111179271A (zh) | 一种基于检索匹配的物体角度信息标注方法及电子设备 | |
CN114004949A (zh) | 机载点云辅助的移动测量系统安置参数检校方法及系统 | |
Ma et al. | Low‐Altitude Photogrammetry and Remote Sensing in UAV for Improving Mapping Accuracy | |
CN114511637A (zh) | 一种基于构造强特征的弱特征物体图像三维重建系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240109 Address after: 1208-1211, 12th Floor, No. 51 Xueyuan Road, Haidian District, Beijing, 100080 Patentee after: METOAK TECHNOLOGY (BEIJING) CO.,LTD. Patentee after: Yuanxiang Technology (Suzhou) Co.,Ltd. Address before: 215163 floor 8, building 10, Su hi tech software park, No. 78, Keling Road, science and Technology City, high tech Zone, Suzhou, Jiangsu Patentee before: Yuanxiang Technology (Suzhou) Co.,Ltd. |
|
TR01 | Transfer of patent right |