CN114332241B - 一种外参标定方法、三维重建方法、存储介质 - Google Patents
一种外参标定方法、三维重建方法、存储介质 Download PDFInfo
- Publication number
- CN114332241B CN114332241B CN202111631324.1A CN202111631324A CN114332241B CN 114332241 B CN114332241 B CN 114332241B CN 202111631324 A CN202111631324 A CN 202111631324A CN 114332241 B CN114332241 B CN 114332241B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- camera
- yaw
- pitch
- points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 239000011159 matrix material Substances 0.000 claims abstract description 54
- 238000013519 translation Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 description 6
- 230000003068 static effect Effects 0.000 description 5
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 210000003811 finger Anatomy 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请公开了一种基于过程标定的RGBD相机的外参标定方法、三维重建方法、存储介质；属于计算机视觉这一领域；其技术要点在于：按照Yaw、Pitch、Roll、Ty的先后顺序计算外参参数，其步骤包括：先计算Yaw，然后更新旋转矩阵；然后再计算Pitch，然后更新旋转矩阵；再然后计算Roll，然后更新旋转矩阵；最后，计算Ty。采用本申请的方法，只需要在有纹理的地面上摆放一条朝向正前方的白色线条即可，不需要借助外力，整体操作简单。
Description
技术领域
本申请涉及机器视觉(计算机视觉)领域，更具体地说，尤其涉及一种基于过程标定的RGBD相机的外参标定方法、三维重建方法、存储介质。
背景技术
RGBD相机与双目相机一样，有两个相机(即RGB彩色相机、DEPTH深度相机)，每个相机均有自身的投影参数。
RGBD相机在使用时，其得到的相素坐标，其与世界坐标系之间的关系为下式(参考文献：https://blog.csdn.net/qzx9059/article/details/89203768)：
其中，
涉及到的参数为内参，其与相机本身的构造相关。
而
涉及到的:旋转矩阵R、平移矩阵T则称为外部参数，其与相机本身的构造无关。
现阶段，学者们普遍采用张正友法来测量RGBD相机的内参与外参(在文献“王剑楠.基于RGB-D图像的SLAM问题关键技术研究[D].南京航空航天大学.2017”中对张正友法有详细记载)。除此之外，学者们也提出了许多方法。
发明人在himmpat数据库以及CNKI数据中进行检索(“RGB and D and外参and标定”)，得到如下文献：
文献1：孙士杰,等.点云下地平面检测的RGB-D相机外参自动标定[J].中国图象图形学报,2018,23(6):8；长安大学孙士杰团队，在确定RGB-D相机的外参时，首先将深度图转化为相机坐标系下的3维点云,利用MELSAC方法自动检测3维点云中的平面,根据地平面与世界坐标系的约束关系,遍历并筛选平面,直至得到地平面,利用地平面与相机坐标系的空间关系,最终计算出相机的外参数。
文献2：长安大学在CN109272555A公开了一种RGB-D相机的外部参数获得及标定方法，其主要通过拟合标定平面，然后计算标定平面法向量与地平面方向量，仅为计算出外参旋转矩阵和平移矩阵，此方法具有一定的计算量，并且需要消除平面噪声带来的误差，再者此方法是以视角正前方作为世界坐标系的正前方，而不能人为指定。
文献3：深圳无境智能机器人有限公司在CN112233187A，提出了一种方便稳定的rgbd相机外参数标定方法，此方法通过提取3个相互垂直平面的特征点，拟合出3个平面方程，利用这3个平面的垂直关系，计算出相机的外参，此方法计算繁琐，操作不便。
表1
由此可知，现今的几种RGBD相机在外参标定时，均需要确定平面方程。然而，这一方法需要的算力较大，计算效率稍慢。
因此，如何解决上述问题成为一个亟待解决的技术问题。
发明内容
本申请的目的在于提供一种基于过程标定的RGBD相机的外参标定方法，其解决了现有技术中的不足之处。
本申请的另一目的在于提供一种RGBD相机的参数标定方法。
本申请的又一目的在于提供一种三维重建方法，其解决了现有技术中的不足之处。
本申请的再一目的在于提供一种存储介质。
本申请的技术方案如下：
一种基于过程的RGBD相机的外参标定方法，包括如下步骤：
先计算Yaw，然后更新旋转矩阵；
然后再计算Pitch，然后更新旋转矩阵；
再然后计算Roll，然后更新旋转矩阵；
最后，计算Ty。
一种基于过程的RGBD相机的外参标定方法，仅通过车道线来对RGBD的外参参数进行标定。
一种基于过程的RGBD相机的外参标定方法，包括如下步骤：
S100，将内参标定过的RGBD相机固定；
S200,准备一个环境：
首先，RGBD相机的视角范围内的地面上具有纹理；
其次，在地面上拉一条标识线(标识线包括：路面上的长直线、黄直线等各种车道标识线)，该标识线与世界坐标系的Zw轴平行；
再次，建立相机坐标系以及世界坐标系：
相机坐标系建立如下：
1)以深度相机为原点建立三维坐标系，深度相机为相机坐标系原点，
2)Xc轴为沿着深度相机-彩色相机的横向方向，Zc轴垂直于Xc轴且指向拍摄的方向；
3)Yc轴与Xc、Zc均垂直；
4)建立右手规则坐标系；
世界坐标系建立如下：
1)世界坐标系的原点为相机坐标系的原点在地面的投影点；
2)YW轴正向为竖向向下；
3)XW轴、ZW轴所在的面为水平面；
4)建立右手规则坐标系(右手规则坐标系的定义方式为：右手四指指向X轴方向，四指握手90°指向Y轴方向，大拇指指向Z轴方向)；
S300,初始化RGBD相机的外参参数:
“Pitch，Yaw，Roll，Ty”四者赋值为预估值，Pitch，Yaw，Roll的预估值记为P0,Y0,R0,Ty0,预估值P0,Y0,R0与其真值相差在20度以内，预估值Ty0与其真实高度的相差200mm以内。(P0,Y0,R0的单位为度，Ty0值的单位为mm)；
相机坐标系到世界坐标系间的旋转矩阵R、平移矩阵T进行初始化：
S400,计算Yaw
S400-1，检测图像中的标识线：在地面上的标识线上采样n个点，得到这n个点在世界坐标系下的坐标分别为：(Xw1,Yw1,Zw1),(Xw2,Yw3,Zw4)……(Xwn,Ywn,Zwn)；
以(Xw1，Xw2……Xwn)以及(Zw1，Zw2……Zwn)通过最小二乘法进行拟合，得到一条直线方程，记录为：
Z＝kX+b；
S400-2，求解Yaw；
Yaw＝Y0-arctan(1/k)；
S500,计算Pitch
S500-1,使用S400得到的Yaw值，更新像素坐标到世界坐标的转换；
S500-2,在地面上的标识线上选取2个点：A点与B点,读取A、B点的三维坐标，A在世界坐标系下的三维坐标为(XwA,YwA,ZwA)与B点在世界坐标系下的三维坐标为(XwB,YwB,ZwB)；
S500-3，求解Pitch：
S600,计算Roll
S600-1,更新Yaw，Pitch,更新相机坐标到世界坐标的转换，此时得到一个新的3D空间；
S600-2,在地面上选择任意两点C、D，CD与S200的标识线垂直；读取C、D点的三维坐标，C在世界坐标系下的三维坐标(XwC,YwC,ZwC)与D点在世界坐标系下的三维坐标(XwD,YwD,ZwD):
S600-3，求解Pitch：
或者，
S600-1,使用S400得到的Yaw值、使用S500得到的Pitch值对R矩阵进行更新，更新像素坐标到世界坐标的转换；
S600-2,将得到的点云投影到y＝0平面上，此时正前方已确认，在y＝0平面上选取两点:C点、D点，CD两点的Zw坐标相同，也即直线CD与标识线垂直；
读取C点、D点的世界坐标，即从y＝0平面上返回到点云映射：(Xwc,Ywc,Zwc)(Xwc,Ywc,Zwc)；
S600-3，求解Roll：
S700,计算Ty
更新Yaw，Pitch、Roll,更新像素坐标到世界坐标的转换；此时得到一个新的3D空间；
再重新读取A、B、C、D点在Y轴的坐标YwA，YwB，YwC，YwD，此时ABCD这4个点的高度理论上应当是相等的，而这个数值就是相机的安装高度，即为所求外参参数Ty：
一种基于过程的RGBD相机的外参标定方法，包括如下步骤：
S100，将内参标定过的RGBD相机固定；
S200,准备一个环境：
首先，RGBD相机的视角范围内的地面上具有纹理；
其次，在地面上拉一条标识线，该标识线与世界坐标系的Zw轴平行；
再次，建立相机坐标系以及世界坐标系：
相机坐标系建立如下：
1)以深度相机为原点建立三维坐标系，深度相机为相机坐标系原点，
2)Xc轴为沿着深度相机-彩色相机的横向方向，Zc轴垂直于Xc轴且指向拍摄的方向；
3)Yc轴与Xc、Zc均垂直；
4)建立右手规则坐标系；
世界坐标系建立如下：
1)世界坐标系的原点为相机坐标系的原点在地面的投影点；
2)YW轴正向为竖向向下；
3)XW轴、ZW轴所在的面为水平面；
4)建立右手规则坐标系；
S300,初始化RGBD相机的外参参数:
“Pitch，Yaw，Roll，Ty”四者赋值为预估值，Pitch，Yaw，Roll的预估值均为0,相机坐标系到世界坐标系间的旋转矩阵R、平移矩阵T进行初始化：
S400,计算Yaw
S400-1，检测图像中的标识线：在地面上的标识线上采样n个点，得到这n个点在世界坐标系下的坐标分别为：(Xw1,Yw1,Zw1),(Xw2,Yw3,Zw4)……(Xwn,Ywn,Zwn)；
以(Xw1，Xw2……Xwn)以及(Zw1，Zw2……Zwn)通过最小二乘法进行拟合，得到一条直线方程，记录为：
Z＝kX+b；
S400-2，求解Yaw；
Yaw＝-arctan(1/k)；
S500,计算Pitch
S500-1,使用S400得到的Yaw值，更新像素坐标到世界坐标的转换；
S500-2,在地面上的标识线上选取2个点：A点与B点,读取A、B点的三维坐标，A在世界坐标系下的三维坐标为(XwA,YwA,ZwA)与B点在世界坐标系下的三维坐标为(XwB,YwB,ZwB)；
S500-3，求解Pitch：
S600,计算Roll
更新Yaw，Pitch,更新相机坐标到世界坐标的转换(此时，Yaw，Pitch都更新过了)，此时得到一个新的3D空间；
在地面上选择任意两点C、D，CD与S200的标识线垂直；读取C、D点的三维坐标，C在世界坐标系下的三维坐标(XwC,YwC,ZwC)与D点在世界坐标系下的三维坐标(XwD,YwD,ZwD),
或者：
S600-1,使用S400得到的Yaw值、使用S500得到的Pitch值对R矩阵进行更新，更新像素坐标到世界坐标的转换；
S600-2,将得到的点云投影到y＝0平面上，此时正前方已确认，在y＝0平面上选取两点:C点、D点，CD两点的Zw坐标相同，也即直线CD与标识线垂直；
读取C点、D点的世界坐标，即从y＝0平面上返回到点云映射：(Xwc,Ywc,Zwc)(Xwc,Ywc,Zwc)；
S600-3，求解Roll：
S700,计算Ty
更新Yaw，Pitch，Roll,更新像素坐标到世界坐标的转换(此时，Yaw，Pitch，Roll都更新过了)；此时得到一个新的3D空间；
再重新读取A、B、C、D点在Y轴的坐标YwA，YwB，YwC，YwD，外参参数Ty采用下式计算：
进一步，外参参数包括：旋转矩阵R以及平移矩阵T，步骤S100-S700中的旋转矩阵、平移矩阵与参数Yaw，Pitch，Roll、Ty的关系为：
旋转矩阵R
平移矩阵T:
进一步，AB与CD相互垂直。
进一步，C点与A点或B点重合；
进一步，D点与A点或B点重合。
一种RGBD相机的参数标定方法，包括以下步骤：
A.对RGBD相机的内参参数进行标定；
B.采用实施例1的方法对RGBD相机的外参参数进行标定。
一种三维重建方法，其包括如下步骤：
A.采用前述的标定方法对RGBD相机进行标定；
B.待RGBD相机标定后，进行三维重建。
一种存储介质，其存储有运行前述方法的程序。
本申请的有益效果在于：
第一，本申请提出了一种基于过程的RGBD相机的外参标定方法，其基础构思在于：先计算Yaw，然后更新旋转矩阵；然后再计算Pitch，然后更新旋转矩阵；再然后计算Roll，然后更新旋转矩阵；最后，计算Ty。
第二，本申请提出的“动态法”只需要在有纹理的地面上摆放一条朝向正前方的线条(例如：车道线)即可，不需要借助外力，整体操作简单。
第三，本申请的核心发明构思在于：动态法，只需要两个点(实质上这2个点也不需要在地面上预先标识)，即可以求解出R、T矩阵，外参标定更加方便。
附图说明
下面结合附图中的实施例对本申请作进一步的详细说明，但并不构成对本申请的任何限制。
图1是本申请的相机坐标系与世界坐标系的示意图。
图2是本申请的静态测试结果图。
图3是本申请的方案现场动态显示结果图(场景一)。
图4是本申请的方案现场动态显示结果图(场景二)。
图5是本申请的十字形纹理线条的设计图。
具体实施方式
<1.旋转矩阵与平移矩阵的分析>
相机坐标系建立如下：
1)以深度相机为原点建立三维坐标系，深度相机为相机坐标系原点，
2)Xc轴为沿着深度相机-彩色相机的横向方向，Zc轴垂直于Xc轴且指向拍摄的方向。
3)Yc轴与Xc、Zc均垂直；
4)建立右手规则坐标系。
世界坐标系建立如下：
1)世界坐标系的原点为相机坐标系的原点在地面的投影点；
2)YW轴正向为竖向向下；
3)XW轴、ZW轴所在的面为水平面(XW轴超右，YW轴超下，ZW轴朝前)；
4)建立右手规则坐标系：右手四指指向X轴方向，四指握手90°指向Y轴方向，大拇指指向Z轴方向。
假设世界坐标系的原点就在相机垂直地面的交点，世界坐标系的正前方即Z轴方面可以人为制定。
旋转矩阵R为：
上式中，Roll，Yaw，Pitch为相关参数(欧拉角：包括X轴对应俯仰角Pitch，Y轴对应偏航角Yaw和Z轴对应横滾角Roll。
平移矩阵T为：
上述信息采用的代码如下：
THETA_X为Pitch,THETA_Y为Yaw,THETA_Z为Roll.
旋转矩阵：
m_aRotation[0][0]＝COS(THETA_Z)*COS(THETA_Y)；
m_aRotation[0][1]＝-SIN(THETA_Z)*COS(THETA_X)+COS(THETA_Z)*SIN(THETA_Y)*SIN(THETA_X)；
m_aRotation[0][2]＝SIN(THETA_Z)*SIN(THETA_X)+COS(THETA_Z)*SIN(THETA_Y)*COS(THETA_X)；
m_aRotation[1][0]＝SIN(THETA_Z)*COS(THETA_Y)；
m_aRotation[1][1]＝COS(THETA_Z)*COS(THETA_X)+SIN(THETA_Z)*SIN(THETA_Y)*SIN(THETA_X)；
m_aRotation[1][2]＝-COS(THETA_Z)*SIN(THETA_X)+SIN(THETA_Z)*SIN(THETA_Y)*COS(THETA_X)；
m_aRotation[2][0]＝-SIN(THETA_Y)；
m_aRotation[2][1]＝COS(THETA_Y)*SIN(THETA_X)；
m_aRotation[2][2]＝COS(THETA_Y)*COS(THETA_X)；
平移矩阵：
m_aTranslation[0]＝TX；
m_aTranslation[1]＝TY；
m_aTranslation[2]＝TZ。
<2.实施例1：一种基于过程的RGBD相机的外参标定方法—静态分析法>
从“1.旋转矩阵与平移矩阵的分析”可知：只要知晓欧拉角，就能够确定旋转矩阵R。
一种基于过程的RGBD相机的外参标定方法，包括如下步骤：
S100，将内参标定过的RGBD相机固定；
S200,准备一个环境，首先RGBD相机的视角范围内的地面上具有纹理(或者在光滑的地面上铺设类似迷彩图的纹理图案，目的是在地面上可以计算出视差)；
然后，在地面上拉一条标识线，该标识线与Zw轴平行；
S300,初始化RGBD相机的外参参数:
“Pitch，Yaw，Roll，Ty”四者赋值为预估值，Pitch，Yaw，Roll的预估值记为P0,Y0,R0,Ty0,相机坐标系到世界坐标系间的旋转矩阵R、平移矩阵T进行初始化；
S400,计算Yaw
S400-1，检测图像中的标识线：在地面上的标识线上采样n个点，得到这n个点在世界坐标系下的坐标分别为：(Xw1,Yw1,Zw1),(Xw2,Yw3,Zw4)……(Xwn,Ywn,Zwn)；
以(Xw1，Xw2……Xwn)以及(Zw1，Zw2……Zwn)通过最小二乘法进行拟合，得到一条直线方程，记录为：
Z＝kX+b；
S400-2，求解Yaw；
Yaw＝Y0-arctan(1/k)；
S500,计算Pitch
S500-1,使用S400得到的Yaw值，更新像素坐标到世界坐标的转换；
S500-2,在地面上的标识线上选取2个点：A点与B点,读取A、B点的三维坐标，A在世界坐标系下的三维坐标为(XwA,YwA,ZwA)与B点在世界坐标系下的三维坐标为(XwB,YwB,ZwB)；
S500-3，求解Pitch：
S600,计算Roll
更新Pitch,更新相机坐标到世界坐标的转换(此时，Yaw，Pitch都更新过了)，此时得到一个新的3D空间；
在地面上选择任意两点C、D，CD与S200的标识线垂直；读取C、D点的三维坐标，C在世界坐标系下的三维坐标(XwC,YwC,ZwC)与D点在世界坐标系下的三维坐标(XwD,YwD,ZwD),
S700,计算Ty
更新Roll,更新像素坐标到世界坐标的转换(此时，Yaw，Pitch，Roll都更新过了)；此时得到一个新的3D空间；
再重新读取A、B、C、D点在Y轴的坐标YwA，YwB，YwC，YwD，此时ABCD这4个点的高度理论上应当是相等的，而这个数值就是相机的安装高度，即为所求外参参数Ty：
如图2所示，采用前述的方案分析的结果图。ABCD是预先在地面上选择好的，属于静态分析方法。
特例，在使用时，一般可赋值：Pitch，Yaw，Roll，Ty的初始值均为0；上述方法可简化为：
一种基于过程的RGBD相机的外参标定方法，包括如下步骤：
S100，将内参标定过的RGBD相机固定；
S200,准备一个环境，首先RGBD相机的视角范围内的地面上具有纹理(或者在光滑的地面上铺设类似迷彩图的纹理图案，目的是在地面上可以计算出视差)；
然后，在地面上拉一条标识线，该标识线与Zw轴平行；
S300,初始化RGBD相机的外参参数:
“Pitch，Yaw，Roll，Ty”四者赋值为预估值，Pitch，Yaw，Roll的预估值均为0,相机坐标系到世界坐标系间的旋转矩阵R、平移矩阵T进行初始化：
S400,计算Yaw
S400-1，检测图像中的标识线：在地面上的标识线上采样n个点，得到这n个点在世界坐标系下的坐标分别为：(Xw1,Yw1,Zw1),(Xw2,Yw3,Zw4)……(Xwn,Ywn,Zwn)；
以(Xw1，Xw2……Xwn)以及(Zw1，Zw2……Zwn)通过最小二乘法进行拟合，得到一条直线方程，记录为：
Z＝kX+b；
S400-2，求解Yaw；
Yaw＝-arctan(1/k)；
S500,计算Pitch
S500-1,使用S400得到的Yaw值，更新像素坐标到世界坐标的转换；
S500-2,在地面上的标识线上选取2个点：A点与B点,读取A、B点的三维坐标，A在世界坐标系下的三维坐标为(XwA,YwA,ZwA)与B点在世界坐标系下的三维坐标为(XwB,YwB,ZwB)；
S500-3，求解Pitch：
S600,计算Roll
更新Pitch,更新相机坐标到世界坐标的转换(此时，Yaw，Pitch都更新过了)，此时得到一个新的3D空间；
在地面上选择任意两点C、D，CD与S200的标识线垂直；读取C、D点的三维坐标，C在世界坐标系下的三维坐标(XwC,YwC,ZwC)与D点在世界坐标系下的三维坐标(XwD,YwD,ZwD),
S700,计算Ty
更新Roll,更新像素坐标到世界坐标的转换(此时，Yaw，Pitch，Roll都更新过了)；此时得到一个新的3D空间；
再重新读取A、B、C、D点在Y轴的坐标YwA，YwB，YwC，YwD，此时ABCD这4个点的高度理论上应当是相等的，而这个数值就是相机的安装高度，即为所求外参参数Ty：
如图2所示，采用静态测量法进行了5次测量，结果如表2所示，测量结果满足要求。
表2实际运用测量结果
| 编号 | Pitch | Yaw | Roll | Ty | 是否可信 |
| 1 | -22.413 | -16.697 | 5.405 | 2256 | Yes |
| 2 | -22.480 | -16.672 | 5.488 | 2253 | Yes |
| 3 | -22.278 | -16.803 | 5.125 | 2245 | Yes |
| 4 | -22.165 | -16.712 | 5.380 | 2236 | Yes |
| 5 | -22.300 | -17.047 | 5.048 | 2244 | Yes |
| 标准差 | 0.123 | 0.154 | 0.191 | 7.918 |
<3.实施例2：一种基于过程的RGBD相机的外参标定方法—动态分析法>
实施例1的方法适用于静态分析法，即预先在地面上设置4个点，例如：贴个十字形纸(如图5的设计)。但是，这种场景很少能满足。即一般地面上只有车道线，而与车道线垂直的标识物是没有的。
其与实施例1的不同之处，在于步骤S600不同。
S600,计算Roll
S600-1,使用S400得到的Yaw值，使用S500得到的Pitch值，更新像素坐标到世界坐标的转换(即相机观察到的点云采用更新后的R/T矩阵，计算出各个点的世界坐标)；
S600-2,将得到的点云投影到XZ平面(y＝0)上，在XZ平面上能够找到标识线，在XZ平面上，确定两点:C点、D点，CD两点的Zw坐标相同即可保证：CD点与标识线保持垂直(此处的隐含设计在于，图像拍摄到的大部分都是地面，C、D点选择在地面上是较大概率的)(C、D点在地面上，是可以通过点云投影到XZ平面上的图像确定的；另外，也可以取距离白线30cm-50cm以内的点，或者是两条白线之间的点均可)；
读取C点、D点的世界坐标(即从XZ平面上返回到点云映射)；(Xwc,Ywc,Zwc)(Xwc,Ywc,Zwc)；
S600-3，求解Pitch：
从实施例1的静态法到实施例2的动态法，是方案的一次提升：仅仅依靠图像分析，即可计算出外参参数。
<4.实施例3：一种RGBD相机的参数标定方法>
一种RGBD相机的参数标定方法，包括以下步骤：
A.对RGBD相机的内参参数进行标定；
B.采用实施例1的方法对RGBD相机的外参参数进行标定。
以上所举实施例为本申请的较佳实施方式，仅用来方便说明本申请，并非对本申请作任何形式上的限制，任何所属技术领域中具有通常知识者，若在不脱离本申请所提技术特征的范围内，利用本申请所揭示技术内容所作出局部更动或修饰的等效实施例，并且未脱离本申请的技术特征内容，均仍属于本申请技术特征的范围内。
Claims (7)
1.一种基于过程的RGBD相机的外参标定方法，其特征在于：包括如下步骤：
S100，将内参标定过的RGBD相机固定；
S200,准备一个环境：
首先，RGBD相机的视角范围内的地面上具有纹理；
其次，地面上具有标识线，该标识线与世界坐标系的Zw轴平行；所述标识线带有纹理；
再次，建立相机坐标系以及世界坐标系：
相机坐标系建立如下：
1)以深度相机为原点建立三维坐标系，深度相机为相机坐标系原点，
2)Xc轴为沿着深度相机-彩色相机的横向方向，Zc轴垂直于Xc轴且指向拍摄的方向；
3)Yc轴与Xc、Zc均垂直；
4)建立右手规则坐标系；
世界坐标系建立如下：
1)世界坐标系的原点为相机坐标系的原点在地面的投影点；
2)Yw轴正向为竖向向下；
3)Xw轴、Zw轴所在的面为水平面；
4)建立右手规则坐标系；
S300,初始化RGBD相机的外参参数:
“Pitch，Yaw，Roll，Ty”四者赋值为预估值，Pitch，Yaw，Roll，Ty的预估值记为P0,Y0,R0,Ty0；相机坐标系到世界坐标系间的旋转矩阵R、平移矩阵T进行初始化：
Pitch，Yaw，Roll，Ty均为相关参数；
S400,计算Yaw
S400-1，检测图像中的标识线：在地面上的标识线上采样n个点，得到这n个点在世界坐标系下的坐标分别为：(Xw1,Yw1,Zw1),(Xw2,Yw3,Zw4)……(Xwn,Ywn,Zwn)；
以(Xw1，Xw2……Xwn)以及(Zw1，Zw2……Zwn)通过最小二乘法进行拟合，得到一条直线方程，记录为：
Z＝kX+b；
S400-2，求解Yaw；
Yaw＝Y0-arctan(1/k)；
S500,计算Pitch
S500-1,使用S400得到的Yaw值对R矩阵进行更新；
S500-2,在地面上的标识线上选取2个点：A点与B点,读取A、B点的三维坐标，A在世界坐标系下的三维坐标为(XwA,YwA,ZwA)与B点在世界坐标系下的三维坐标为(XwB,YwB,ZwB)；
S500-3，求解Pitch：
S600,计算Roll
S600-1,更新像素坐标到世界坐标的转换：使用S400得到的Yaw值、使用S500得到的Pitch值对R矩阵进行更新；
S600-2,将得到的点云投影到y＝0平面上，此时正前方已确认，在y＝0平面上选取两点:C点、D点，CD两点的Zw坐标相同，也即直线CD与标识线垂直；
读取C点、D点的世界坐标，即从y＝0平面上返回到点云映射：(Xwc,Ywc,Zwc)(Xwc,Ywc,Zwc)；
S600-3，求解Roll：
S700,计算Ty
采用步骤使用S400得到的Yaw值、步骤S500得到的Pitch值，步骤S600得到的Roll值对R矩阵进行更新；
再重新读取A、B、C、D点在Y轴的坐标YwA，YwB，YwC，YwD；
Ty采用下式求解：
2.根据权利要求1所述的一种基于过程的RGBD相机的外参标定方法，其特征在于，P0,Y0,R0与其真值相差在±20°以内，Ty0与其真实高度的相差±200mm以内；P0,Y0,R0的单位为度，Ty0值的单位为mm。
3.根据权利要求1所述的一种基于过程的RGBD相机的外参标定方法，其特征在于，外参参数包括：旋转矩阵R以及平移矩阵T，步骤S100-S700中的旋转矩阵、平移矩阵与参数Yaw，Pitch，Roll、Ty的关系为：
旋转矩阵R
平移矩阵T:
4.一种基于过程的RGBD相机的外参标定方法，其特征在于，包括如下步骤：
S100，将内参标定过的RGBD相机固定；
S200,准备一个环境：
首先，RGBD相机的视角范围内的地面上具有纹理；
其次，在地面上拉一条标识线，该标识线与世界坐标系的Zw轴平行；所述标识线带有纹理；
再次，建立相机坐标系以及世界坐标系：
相机坐标系建立如下：
1)以深度相机为原点建立三维坐标系，深度相机为相机坐标系原点，
2)Xc轴为沿着深度相机-彩色相机的横向方向，Zc轴垂直于Xc轴且指向拍摄的方向；
3)Yc轴与Xc、Zc均垂直；
4)建立右手规则坐标系；
世界坐标系建立如下：
1)世界坐标系的原点为相机坐标系的原点在地面的投影点；
2)YW轴正向为竖向向下；
3)XW轴、ZW轴所在的面为水平面；
4)建立右手规则坐标系；
S300,初始化RGBD相机的外参参数:
“Pitch，Yaw，Roll，Ty”四者赋值为预估值，Pitch，Yaw，Roll的预估值均为0,Ty的预估值均为0,相机坐标系到世界坐标系间的旋转矩阵R、平移矩阵T进行初始化：
Pitch，Yaw，Roll，Ty均为相关参数
S400,计算Yaw
S400-1，检测图像中的标识线：在地面上的标识线上采样n个点，得到这n个点在世界坐标系下的坐标分别为：(Xw1,Yw1,Zw1),(Xw2,Yw3,Zw4)……(Xwn,Ywn,Zwn)；
以(Xw1，Xw2……Xwn)以及(Zw1，Zw2……Zwn)通过最小二乘法进行拟合，得到一条直线方程，记录为：
Z＝kX+b；
S400-2，求解Yaw；
Yaw＝-arctan(1/k)；
S500,计算Pitch
S500-1,使用S400得到的Yaw值对R矩阵进行更新；
S500-2,在地面上的标识线上选取2个点：A点与B点,读取A、B点的三维坐标，A在世界坐标系下的三维坐标为(XwA,YwA,ZwA)与B点在世界坐标系下的三维坐标为(XwB,YwB,ZwB)；
S500-3，求解Pitch：
S600,计算Roll
S600-1,更新像素坐标到世界坐标的转换：使用S400得到的Yaw值、使用S500得到的Pitch值对R矩阵进行更新；
S600-2,将得到的点云投影到y＝0平面上，此时正前方已确认，在y＝0平面上选取两点:C点、D点，CD两点的Zw坐标相同，也即直线CD与标识线垂直；
读取C点、D点的世界坐标，即从y＝0平面上返回到点云映射：(Xwc,Ywc,Zwc)(Xwc,Ywc,Zwc)；
S600-3，求解Roll：
S700,计算Ty
采用步骤使用S400得到的Yaw值、步骤S500得到的Pitch值，步骤S600得到的Roll值对R矩阵进行更新；
再重新读取A、B、C、D点在Y轴的坐标YwA，YwB，YwC，YwD，外参参数Ty采用下式计算：
5.一种RGBD相机的参数标定方法，其特征在于，包括以下步骤：A.对RGBD相机的内参参数进行标定；B.采用如权利要求1或4任意一项所述的方法对RGBD相机的外参参数进行标定。
6.一种三维重建方法，其特征在于，其包括如下步骤：
A.采用如权利要求1或4所述的标定方法对RGBD相机进行标定；
B.待RGBD相机标定后，进行三维重建。
7.一种存储介质，其特征在于，所述存储介质存储有运行如权利要求1至4任意一项所述的方法的程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111631324.1A CN114332241B (zh) | 2021-12-29 | 2021-12-29 | 一种外参标定方法、三维重建方法、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111631324.1A CN114332241B (zh) | 2021-12-29 | 2021-12-29 | 一种外参标定方法、三维重建方法、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114332241A CN114332241A (zh) | 2022-04-12 |
| CN114332241B true CN114332241B (zh) | 2022-09-09 |
Family
ID=81015738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111631324.1A Active CN114332241B (zh) | 2021-12-29 | 2021-12-29 | 一种外参标定方法、三维重建方法、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114332241B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116681776B (zh) * | 2023-05-30 | 2024-02-23 | 元橡科技（北京）有限公司 | 一种双目相机的外参标定方法和系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113658279A (zh) * | 2021-08-25 | 2021-11-16 | 深研人工智能技术(深圳)有限公司 | 相机内参和外参估算方法、装置、计算机设备及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106875448B (zh) * | 2017-02-16 | 2019-07-23 | 武汉极目智能技术有限公司 | 一种车载单目摄像头外部参数自标定方法 |
| CN109410284A (zh) * | 2018-10-31 | 2019-03-01 | 百度在线网络技术（北京）有限公司 | 一种参数估计方法、装置、电子设备、车辆及存储介质 |
| JP7215965B2 (ja) * | 2019-06-10 | 2023-01-31 | 本田技研工業株式会社 | 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム |
| CN111815713A (zh) * | 2020-05-29 | 2020-10-23 | 安徽酷哇机器人有限公司 | 自动标定相机外参的方法及系统 |
-
2021
- 2021-12-29 CN CN202111631324.1A patent/CN114332241B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113658279A (zh) * | 2021-08-25 | 2021-11-16 | 深研人工智能技术(深圳)有限公司 | 相机内参和外参估算方法、装置、计算机设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114332241A (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1596330B1 (en) | Estimating position and orientation of markers in digital images | |
| JP6057298B2 (ja) | 迅速な３ｄモデリング | |
| CN108038902A (zh) | 一种面向深度相机的高精度三维重建方法和系统 | |
| CN114329747B (zh) | 一种面向建筑数字孪生的虚实实体坐标映射方法及系统 | |
| US20130271461A1 (en) | Systems and methods for obtaining parameters for a three dimensional model from reflectance data | |
| CN111524195B (zh) | 一种掘进机截割头定位中的相机标定方法 | |
| CN110728671A (zh) | 基于视觉的无纹理场景的稠密重建方法 | |
| Previtali et al. | Scan registration using planar features | |
| CN114332241B (zh) | 一种外参标定方法、三维重建方法、存储介质 | |
| CN112489099A (zh) | 点云配准方法、装置、存储介质及电子设备 | |
| CN109636852A (zh) | 一种单目slam初始化方法 | |
| CN111553948A (zh) | 一种基于双示踪物的掘进机截割头定位系统及方法 | |
| CN116309880A (zh) | 基于三维重建的物体位姿确定方法、装置、设备及介质 | |
| CN115830135A (zh) | 一种图像处理方法、装置及电子设备 | |
| CN112100297A (zh) | 城市更新中数据管理的三维可视化方法 | |
| CN116051659A (zh) | 一种线阵相机与2d激光扫描仪联合标定方法 | |
| CN113160401B (zh) | 一种面向物体的视觉slam轻量化语义地图创建方法 | |
| CN107504959B (zh) | 利用倾斜航空影像测量房屋墙基轮廓的方法 | |
| CN111611525B (zh) | 基于物方匹配高程偏差迭代修正的遥感数据高程解算方法 | |
| CN111524193B (zh) | 一种物体二维尺寸的测量方法及测量装置 | |
| CN114078163A (zh) | 激光雷达与可见光相机的精确标定方法 | |
| CN111915666A (zh) | 基于移动终端的体积测量方法及装置 | |
| CN115527000A (zh) | 一种用于无人机倾斜摄影模型批量单体化的方法及装置 | |
| CN114511637A (zh) | 一种基于构造强特征的弱特征物体图像三维重建系统及方法 | |
| CN114004949A (zh) | 机载点云辅助的移动测量系统安置参数检校方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240109 Address after: 1208-1211, 12th Floor, No. 51 Xueyuan Road, Haidian District, Beijing, 100080 Patentee after: METOAK TECHNOLOGY (BEIJING) CO.,LTD. Patentee after: Yuanxiang Technology (Suzhou) Co.,Ltd. Address before: 215163 floor 8, building 10, Su hi tech software park, No. 78, Keling Road, science and Technology City, high tech Zone, Suzhou, Jiangsu Patentee before: Yuanxiang Technology (Suzhou) Co.,Ltd. |
|
| TR01 | Transfer of patent right |