CN117557638A - 一种基于多相机非公共视场腰型孔特征的位姿测量方法 - Google Patents
一种基于多相机非公共视场腰型孔特征的位姿测量方法 Download PDFInfo
- Publication number
- CN117557638A CN117557638A CN202311461676.6A CN202311461676A CN117557638A CN 117557638 A CN117557638 A CN 117557638A CN 202311461676 A CN202311461676 A CN 202311461676A CN 117557638 A CN117557638 A CN 117557638A
- Authority
- CN
- China
- Prior art keywords
- waist
- shaped hole
- camera
- coordinate system
- normal vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000691 measurement method Methods 0.000 title claims abstract description 12
- 239000013598 vector Substances 0.000 claims abstract description 60
- 239000011159 matrix material Substances 0.000 claims abstract description 49
- 230000009466 transformation Effects 0.000 claims abstract description 6
- 238000000034 method Methods 0.000 claims description 48
- 238000013519 translation Methods 0.000 claims description 9
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 238000005096 rolling process Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 230000017105 transposition Effects 0.000 claims description 2
- 210000001503 joint Anatomy 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000003032 molecular docking Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供了一种基于多相机非公共视场腰型孔特征的位姿测量方法,包括:步骤1,获得左右相机之间的变换矩阵;步骤2,左相机获取合装面左侧腰型孔图像,右相机获取合装面右侧腰型孔图像;步骤3,得到图像上腰型孔特征的边缘点集;步骤4,进行椭圆拟合得到图像平面上弧线段的椭圆方程;步骤5:解算出椭圆对应空间圆的位姿,得到对应空间圆的圆心和所在空间平面的法向量;步骤6,利用两个腰型孔在同一平面的角度约束和圆心坐标之间的距离约束消除步骤5中的虚假解;步骤7,解算车身合装面的位姿。本发明解决了车身合装面相对位姿的测量问题,为汽车合装对接提供了有效的位姿参数,位姿精度达到0.1mm,提高了合装质量和效率。
Description
技术领域
本发明属于对接装配领域,尤其涉及一种基于多相机非公共视场腰型孔特征的位姿测量方法。
背景技术
装配对接是设备工艺中非常关键的一步。传统的装配对接通常需要使用吊装或地面移动工装来定位部件,然后通过人工操作完成对接过程。在汽车装配领域,为了确保底盘和车身的相对位置符合要求,通常需要依靠人工支持车身对齐,或者使用机械定位装置,但这种方式对对接的准确性、效率和自动化程度都存在一定的限制。随着计算机技术的发展,利用视觉测量技术来精确测量装配对接中的合装面相对位姿,可以有效提高对接装配的质量和效率。
视觉位姿测量技术首先涉及识别和提取目标特征,然后利用这些提取出的特征点,通过重投影约束、特征线斜率约束和特征圆半径约束等方法来计算目标的位置。发明专利[CN108090931A]提出了一种基于圆和十字特征的抗遮挡抗干扰的标志器识别与位姿测量方法。发明专利[CN104517291]提出了一种基于目标同轴圆特征的位姿测量方法。
发明内容
发明目的:现有技术提出的方法并不适用于汽车合装面上的腰型孔特征,对于很多近距离大目标,存在目标特征无法在同一视场成像的场景,无法使用单目视觉给出几何约束来进行测量位姿,因此本发明提出一种基于多相机非公共视场腰型孔特征的位姿测量方法,实现在汽车对接装配中对车身合装面高精度的相对位姿测量。
所述方法包括如下步骤:
包括以下步骤:
步骤1,相机标定:通过双目标定的方法获取左相机坐标系OcL-XcLYcLZcL到右相机坐标系OcR-XcRYcRZcR之间的变换矩阵;
步骤2,获取目标图像:拍摄车身合装面上腰型孔区域的图像,获得两个非同一视场成像的图像;
步骤3,提取边缘;
步骤4,椭圆拟合;
步骤5,用椭圆信息得出对应空间圆的位姿,得到对应空间圆的圆心和所在空间平面的法向量在各自的相机坐标系下的值;
步骤6,利用两个腰型孔在同一平面的角度约束和圆心坐标之间的距离约束消除步骤5中的虚假解;
步骤7,利用步骤6消除虚假解后的信息解算车身合装面的位姿。
步骤1包括:
步骤1-1,利用张氏标定法对左相机CL进行单目标定,获得左相机CL的内部参数矩阵KL和畸变矩阵DL;
步骤1-2,利用张氏标定法对右相机CR进行单目标定,获得右相机CR的内部参数矩阵KR和畸变矩阵DR;
步骤1-3,利用张氏标定法对左右相机进行双目标定,得到左相机CL和右相机CR之间固定的旋转矩阵RLR和平移矩阵TLR。
步骤2中,车底举升平台的前进方向的左侧相机CL得到车身合装面上左侧腰型孔HL的图像PL,车底举升平台的前进方向的右侧相机CR得到车身合装面上右侧腰型孔HR的图像PR。
步骤3包括:利用图像滤波、直方图均衡化、形态学操作对获取的图像PL和PR进行处理,再利用基于多项式插值的边缘提取算法分别提取图像PL中腰型孔HL的边缘点集和图像PR中腰型孔HR的边缘点集。
步骤4中,通过椭圆拟合算法获得腰型孔两端圆弧的椭圆方程,图像PL上获得椭圆方程EL1和EL2,图像PR上获得椭圆方程ER1和ER2,具体包括:
步骤4-1,利用最小二乘法拟合左相机图像PL中腰型孔两端椭圆方程表达式,得到如下椭圆方程EL1、EL2:
aLiuL 2+bLivL 2+CLiuLvL+dLiuL+eLivL+fLi=0
其中aLi、bLi、cLi、dLi、eLi、fLi为计算出的第i个椭圆的方程参数,i=1,2,(uL,vL)为左相机图像PL中的像素坐标;
步骤4-2,利用最小二乘法拟合右相机图像PR中腰型孔两端椭圆方程表达式,得到如下椭圆方程ER1、ER2:
aRiuR 2+bRivR 2+cRiuRvR+dRiuR+eRivR+fRi=0
其中aRi、bRi、cRi、dRi、eRi、fRi为计算出的第i个椭圆的方程参数,i=1,2,(uR,vR)为右相机图像PR中的像素坐标。
步骤5包括:
步骤5-1,左相机模型为:
其中f0为左相机的焦距,(xL,yL,zL)是左图像中像素坐标为(uL,vL)的点在左相机坐标系OcL-XcLYcLZcL下对应的坐标;
由左相机模型得到在左相机坐标系OcL-XcLYcLZcL下的椭圆锥面方程为:
ALixL 2+BLiyL 2+CLixLyL+DLixLzL+ELiyLzL+FLizL 2=0
其中,中间参数ALi=aLif0 2,中间参数BLi=bLif0 2,中间参数CLi=cLif0 2,中间参数DLi=dLif0,中间参数ELi=eLif0,中间参数FLi=fLi,i=1,2;
椭圆锥面方程改写成如下矩阵形式:
[xL yL zL]QLi[xL yL zL]T=0
其中,QLi为椭圆锥面方程的参数矩阵,T表示矩阵转置;
步骤5-2,将步骤5-1中左相机坐标系OcL-XcLYcLZcL下的椭圆锥面方程变换到一个新的坐标系OcL-XcL′YcL′ZcL′中,使得椭圆锥面方程变换为标准形式:
新的坐标系OcL-XcL′YcL′ZcL′和左相机坐标系OcL-XcLYcLZcL之间只存在旋转关系,表示为[xL yL zL]T=PLi[xLi′ yLi′ zLi′]T,PLi是一个3×3的矩阵,xLi′、yLi′、zLi′是坐标xL、yL、zL在新坐标系OcL-XcL′YcL′ZcL′的坐标,在新坐标系OcL-XcL′YcL′ZcL′下椭圆锥面方程的矩阵形式为:
[xLi′ yLi′ zLi′]PLi -1QLiPLi[xLi′ yLi′ zLi′]T=0
步骤5-3,通过对矩阵QLi的特征值分解获得QLi的特征值标准椭圆锥面方程的系数/>和矩阵/> 为特征值/>对应的特征向量,通过以下方法确定,其中/>为特征值/>对应的特征向量,/>为特征值/>对应的特征向量,/>为特征值/>对应的特征向量:
调整顺序,使得/>与/>同号且/> 与/>异号,求取对应的规范化特征向量/>
如果/>则否则/>不变化;
步骤5-4,通过标准椭圆锥面方程的系数和左侧腰型孔两端半圆弧的实际半径RL,确定圆弧对应空间圆在新坐标系OcL-XcL′YcL′ZcL′下所在平面的法向量nLi′和圆心坐标cLi′:
其中为法向量nLi′在OcLXcL′方向上的投影,/>为法向量nLi′在OcLYcL′方向上的投影,/>为法向量nLi′在OcLZcL′方向上的投影;/>为圆心坐标cLi′在OcLXcL′方向上的投影,/>为圆心坐标cLi′在OcLYcL′方向上的投影,/>为圆心坐标cLi′在OcLZcL′方向上的投影;
步骤5-5,利用旋转矩阵PLi得到在左相机坐标系OcL-XcLYcLZcL下的法向量nLi和圆心坐标cLi:
其中为法向量nLi在OcLXcL方向上的投影,/>为法向量nLi在OcLYcL方向上的投影,/>为法向量nLi在OcLZcL方向上的投影;/>为圆心坐标cLi在OcLXcL方向上的投影,/>为圆心坐标cLi在OcLYcL方向上的投影,/>为圆心坐标cLi在OcLZcL方向上的投影,其中解算的结果中存在一组虚假解,需要剔除。
步骤5-6,在右图像中重复步骤5-1~步骤5-2的操作,得到右腰型孔两端圆弧对应空间圆在右相机坐标系OcR-XcRYcRZcR下所在平面的法向量nRi和圆心坐标cRi:
其中为法向量nRi在OcRXcR方向上的投影,/>为法向量nRi在OcRYcR方向上的投影,/>为法向量nRi在OcRZcR方向上的投影;/>为圆心坐标cRi在ORLXRL方向上的投影,/>为圆心坐标cRi在OcRYcR方向上的投影,/>为圆心坐标cRi在OcRZcR方向上的投影,其中解算的结果中存在一组虚假解,需要剔除。
步骤6包括:
步骤6-1,利用步骤1获得的左相机和右相机之间的固定旋转矩阵RLR和平移矩阵TLR和步骤5-5得到的左腰型孔两端圆弧所在空间圆在左相机坐标系OcL-XcLYcLZcL下所在平面的法向量nLi解算出法向量nLi在右相机坐标系OcR-XcRYcRZcR下的值nLRi:
nLRi=RLRnLi+TLR
步骤6-2,利用步骤1获得的左相机和右相机之间的固定旋转矩阵RLR和平移矩阵TLR和步骤7得到的左腰型孔两端圆弧所在空间圆的圆心在左相机坐标系OcL-XcLYcLZcL下的坐标cLi解算出坐标cLi在右相机坐标系OcR-XcRYcRZcR下的值cLRi:
cLRi=cLiRLR+TLR
步骤6-3,两个相机拍摄的腰型孔特征处于一个合装面,所以左腰型孔所在空间平面在右相机坐标系OcR-XcRYcRZcR的法向量nLRi与右腰型孔所在空间平面在右相机坐标系OcR-XcRYcRZcR的法向量nRi平行:
nLRi=m·nRi
其中m为非零常数;
步骤6-4,两个相机拍摄的腰型孔特征处于一个合装面,所以左腰型孔圆弧所在空间圆的圆心在右相机坐标系OcR-XcRYcRZcR的坐标cLRi与右腰型孔圆弧所在空间圆的圆心在右相机坐标系OcR-XcRYcRZcR的坐标cRi构成固定的空间向量LLR:
步骤6-5,利用步骤6-2的角度约束和步骤6-4的距离约束消除步骤5-5和步骤5-6中的虚假解,得到左腰型孔两端圆弧在右相机坐标系OcR-XcRYcRZcR的圆心坐标cLR1和cLR2,右腰型孔两端圆弧在右相机坐标系OcR-XcRYcRZcR的圆心坐标cR1和cR2,腰型孔所在合装面的法向量n;其中
步骤7包括:
步骤7-1,选取右相机坐标作为世界坐标系,将左右腰型孔的几何中心连线的中点坐标作为合装面的位置信息,用坐标c表示,c=(cR1+cR2+cLR1+cLR2)/4;
步骤7-2,合装面的姿态信息e用e=[ψ θ φ]T表示,其中ψ表示偏航角、θ表示俯仰角、φ表示滚动角;偏航角ψ定义为右腰型孔两端圆弧的圆心cR1和cR2的连线与YcR轴正向的夹角,取值范围为当/>时ψ>0;俯仰角θ定义为左右腰型孔所在合装面cR1cR2cLR1cLR2与平面XcROcRYcR之间的夹角,取值范围为/>当/>时θ>0;滚动角φ定义为左右腰型孔所在合装面cR1cR2cLR1cLR2的法向量n与直线cR1cR2的铅垂平面的夹角,取值范围为/>所述铅垂平面平面与平面XcROcRYcR垂直;当/>时φ>0,计算公式为:
步骤7-3,基于多相机非公共视场的腰型孔特征的合装面的位置信息c=[cx cycz]T,姿态信息e=[ψ θ φ]T。
本发明还提供了一种存储介质,存储有计算机程序或指令,当所述计算机程序或指令被运行时,实现所述一种基于多相机非公共视场腰型孔特征的合装面位姿测量方法。
有益效果:该专利通过多相机的协同作用和车身合装面上的腰型孔特征,有效减少了对合装设备的要求,降低了成本和复杂度,从而为汽车制造企业带来了明显的经济利益。此外,该方法可适用于多种车型和合装场景,提高了通用性,为不同汽车生产线的自动化合装过程提供了便捷的解决方案。该专利在汽车制造行业中具有广泛的应用前景,为生产效率、成本控制和产品质量都带来了显著的益处。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述和/或其他方面的优点将会变得更加清楚。
图1为本发明的汽车合装面上的腰型孔特征。
图2为本发明的基于多相机非公共视场腰型孔特征的合装面位姿测量方法流程图。
图3为本发明的多相机非公共视场的腰型孔特征投影成像模型示意图。
图4为本发明的基于多相机非公共视场的腰型孔特征的合装面位姿描述示意图。
具体实施方式
如图1所示,该图像是某一车型车身合装面的结构示意图,其中红色圈出的图片为左右相机在实施例中获取的非公共视场的腰型孔图像。
如图2所示,本发明提出一种基于多相机非公共视场腰型孔特征的位姿测量方法,包括以下步骤:
步骤1,相机标定:通过张氏标定的方法获取相机CL和相机CR的内部参数以及左相机坐标系到右相机坐标系之间变换矩阵。
步骤2,获取目标图像:如图3所示的多相机非公共视场的腰型孔特征投影成像模型示意图,拍摄车身合装面上腰型孔区域的图像,获得两个非同一视场成像的图像。车底举升平台的前进方向的左侧相机CL得到车身合装面上左侧腰型孔HL的图像PL,车s底举升平台的前进方向的右侧相机CR得到车身合装面上右侧腰型孔HR的图像PR。
步骤3,边缘提取:利用图像滤波、直方图均衡化、形态学操作等技术对获取的图像PL和PR进行处理,再利用基于多项式插值的边缘提取算法分别提取图像PL中腰型孔HL的边缘点集和图像PR中腰型孔HR的边缘点集
步骤4,椭圆拟合:通过椭圆拟合算法获得腰型孔两端圆弧的椭圆方程,图像PL上获得椭圆方程EL1和EL2,图像PR上获得椭圆方程ER1和ER2
步骤5:用椭圆信息得出对应空间圆的位姿,得到对应空间圆的圆心和所在空间平面的法向量;
步骤6:利用两个腰型孔在同一平面的角度约束和圆心坐标之间的距离约束消除步骤5中的虚假解;
步骤7:利用步骤6消除虚假解后的信息解算车身合装面的位姿。
进一步,步骤1得到的左相机到右相机的旋转变换矩阵RLR和平移变换矩阵TLR。
进一步,步骤4得到的左图像中的椭圆方程EL1、EL2:
aL1uL 2+bL1vL 2+cL1uLvL+dL1uL+eL1vL+fL1=0
aL2uL 2+bL2vL 2+cL2uLvL+dL2uL+eL2vL+fL2=0
其中aLi、bLi、cLi、dLi、eLi、fLi为椭圆方程参数,(uL,vL)为左图像中椭圆上点的坐标;
进一步,步骤4得到的右图像中的椭圆方程ER1、ER2:
aR1uR 2+bR1vR 2+cR1uRvR+dR1uR+eR1vR+fR1=0
aR2uR 2+bR2vR 2+cR2uRvR+dR2uR+eR2vR+fR2=0
其中aRi、bRi、cRi、dRi、eRi、fRi为椭圆方程参数,(uR,vR)为右图像中椭圆上点的坐标;
进一步,步骤5利用椭圆方程计算空间圆圆心和所在空间平面的法向量的具体过程为:
(1)依据在左图像上拟合的椭圆方程,由左相机投影模型可以将椭圆方程反向投影至左相机坐标系下,形成一个由左相机坐标系原点为顶点,像平面上椭圆为底的斜椭圆锥:
ALix2+BLiy2+CLixy+DLixz+ELiyz+FLiz2=0
可写成矩阵形式:
[x y z]QLi[x y z]T=0其中ALi=a1if0 2,BLi=bLif0 2,CLi=cLif0 2,DLi=dLif0,ELi=eLif0,FLi=fLi。
(2)将左相机坐标系OcL-XcLYcLZcL下的斜椭圆锥面变换到新坐标系OcL-XcL′YcL′ZcL′下,使得椭圆锥面在此坐标系下的表达形式为 OcL-XcL′YcL′ZcL′坐标系与左相机坐标系的原点相同,这样两坐标系之间只有旋转关系,用3x3的矩阵P表示旋转关系,定义[xL yL zL]T=PLi[xLi′ yLi′ zLi′]T,可得:
[xLi′ yLi′ zLi′]PLi -1QLiPLi[xLi′ yLi′ zLi′]T=0
(3)对矩阵QLi进行特征值分解,求得特征值和对应的特征向量/> 调整λ1、λ2、λ3顺序,使得λ1、λ2均与λ3异号且|λ1|≥|λ2|,这样变换后的标准椭圆锥面的方程为:
(4)在标准坐标系下求解空间圆的位置信息和姿态信息。左腰型孔两端圆弧的实际半径为RL,求解其位姿就是在标准坐标系OcL-XcL′YcL′ZcL′下找到一个平面,使得该平面与标准椭圆锥相交形成半径为RL的圆,该圆的圆心坐标和圆所在空间平面的法向量就是要求得的信息。在标准坐标系下,基于椭圆锥面方程,圆心坐标和圆所在平面的法向量为:
将在新坐标系OcL-XcL′YcL′ZcL′的结果转换到左相机坐标系OcL-XcLYcLZcL,得到:
(5)在右图像中重复(1)到(4)得到右腰型孔在右相机坐标系下的结果:
进一步,步骤6利用两个腰型孔在同一平面的角度约束和圆心坐标之间的距离约束消除步骤5中的虚假解的具体过程为:
(1)利用步骤1获得的左相机和右相机之间的固定旋转矩阵RLR和平移矩阵TLR和步骤5(4)得到的左腰型孔两端圆弧所在空间圆在左相机坐标系OcL-XcLYcLZcL下所在平面的法向量nLi解算出法向量nLi在右相机坐标系OcR-XcRYcRZcR下的值nLRi:
nLRi=RLRnLi+TLR
(2)利用步骤1获得的左相机和右相机之间的固定旋转矩阵RLR和平移矩阵TLR和步骤5(4)得到的左腰型孔两端圆弧所在空间圆的圆心在左相机坐标系OcL-XcLYcLZcL下的坐标cLi解算出坐标cLi在右相机坐标系OcR-XcRYcRZcR下的值cLRi:
cLRi=cLiRLR+TLR
(3)因为两个相机拍摄的腰型孔特征处于一个合装面,所以左腰型孔所在空间平面在右相机坐标系OcR-XcRYcRZcR的法向量nLRi应该与右腰型孔所在空间平面在右相机坐标系OcR-XcRYcRZcR的法向量nRi平行:
nLRi=m·nRi(其中m为非零常数)
(4)因为两个相机拍摄的腰型孔特征处于一个合装面,所以左腰型孔圆弧所在空间圆的圆心在右相机坐标系OcR-XcRYcRZcR的坐标cLRi与右腰型孔圆弧所在空间圆的圆心在右相机坐标系OcR-XcRYcRZcR的坐标cRi构成固定的空间向量LLR:
(6)利用步骤(2)的角度约束和步骤(4)的距离约束消除步骤5(4)和步骤5(5)中的虚假解,得到左腰型孔两端圆弧在右相机坐标系OcR-XcRYcRZcR的圆心坐标cLR1和cLR2(其中),右腰型孔两端圆弧在右相机坐标系OcR-XcRYcRZcR的圆心坐标cR1和cR2(其中),腰型孔所在合装面的法向量n。
进一步,步骤7确定合装面的位姿信息的具体过程为:选取右相机坐标作为世界坐标系,将左右腰型孔的几何中心连线的中点坐标作为合装面的位置信息,用坐标c表示,c=(cR1+cR2+CLR1+cLR2)/4。合装面的姿态信息用e=[ψ θ φ]T表示,其中ψ表示偏航角、θ表示俯仰角、φ表示滚动角。偏航角ψ定义为右腰型孔两端圆弧的圆心cR1和cR2的连线与YcR轴正向的夹角,取值范围为当/>时ψ>0。俯仰角θ定义为左右腰型孔所在合装面cR1cR2cLR1cLR2与平面XcROcRYcR之间的夹角,取值范围为/>当/>时θ>0。滚动角φ定义为左右腰型孔所在合装面cR1cR2cLR1cLR2的法向量n与直线cR1cR2的铅垂平面(该平面与平面XcROcRYcR垂直)的夹角,取值范围为/>当/>时φ>0,如图4所示。
本发明提供了一种基于多相机非公共视场腰型孔特征的合装面位姿测量方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (10)
1.一种基于多相机非公共视场腰型孔特征的位姿测量方法,其特征在于,包括以下步骤:
步骤1,相机标定:通过双目标定的方法获取左相机坐标系OcL-XcLYcLZcL到右相机坐标系OcR-XcRYcRZcR之间的变换矩阵;
步骤2,获取目标图像:拍摄车身合装面上腰型孔区域的图像,获得两个非同一视场成像的图像;
步骤3,提取边缘;
步骤4,椭圆拟合;
步骤5,用椭圆信息得出对应空间圆的位姿,得到对应空间圆的圆心和所在空间平面的法向量在各自的相机坐标系下的值;
步骤6,利用两个腰型孔在同一平面的角度约束和圆心坐标之间的距离约束消除步骤5中的虚假解;
步骤7,利用步骤6消除虚假解后的信息解算车身合装面的位姿。
2.根据权利要求1所述的方法,其特征在于,步骤1包括:
步骤1-1,利用张氏标定法对左相机CL进行单目标定,获得左相机CL的内部参数矩阵KL和畸变矩阵DL;
步骤1-2,利用张氏标定法对右相机CR进行单目标定,获得右相机CR的内部参数矩阵KR和畸变矩阵DR;
步骤1-3,利用张氏标定法对左右相机进行双目标定,得到左相机CL和右相机CR之间固定的旋转矩阵RLR和平移矩阵TLR。
3.根据权利要求2所述的方法,其特征在于,步骤2中,车底举升平台的前进方向的左侧相机CL得到车身合装面上左侧腰型孔HL的图像PL,车底举升平台的前进方向的右侧相机CR得到车身合装面上右侧腰型孔HR的图像PR。
4.根据权利要求3所述的方法,其特征在于,步骤3包括:利用图像滤波、直方图均衡化、形态学操作对获取的图像PL和PR进行处理,再利用基于多项式插值的边缘提取算法分别提取图像PL中腰型孔HL的边缘点集和图像PR中腰型孔HR的边缘点集。
5.根据权利要求4所述的方法,其特征在于,步骤4中,通过椭圆拟合算法获得腰型孔两端圆弧的椭圆方程,图像PL上获得椭圆方程EL1和EL2,图像PR上获得椭圆方程ER1和ER2。
6.根据权利要求5所述的方法,其特征在于,步骤4具体包括:
步骤4-1,利用最小二乘法拟合左相机图像PL中腰型孔两端椭圆方程表达式,得到如下椭圆方程EL1、EL2:
aLiuL 2+bLivL 2+cLiuLvL+dLiuL+eLivL+fLi=0
其中aLi、bLi、cLi、dLi、eLi、fLi为计算出的第i个椭圆的方程参数,i=1,2,(uL,vL)为左相机图像PL中的像素坐标;
步骤4-2,利用最小二乘法拟合右相机图像PR中腰型孔两端椭圆方程表达式,得到如下椭圆方程ER1、ER2:
aRiuR 2+bRivR 2+cRiuRvR+dRiuR+eRivR+fRi=0
其中aRi、bRi、cRi、dRi、eRi、fRi为计算出的第i个椭圆的方程参数,i=1,2,(uR,vR)为右相机图像PR中的像素坐标。
7.根据权利要求6所述的方法,其特征在于,步骤5包括:
步骤5-1,左相机模型为:
其中f0为左相机的焦距,(xL,yL,zL)是左图像中像素坐标为(uL,vL)的点在左相机坐标系OcL-XcLYcLZcL下对应的坐标;
由左相机模型得到在左相机坐标系OcL-XcLYcLZcL下的椭圆锥面方程为:
ALixL 2+BLiyL 2+CLixLyL+DLixLzL+ELiyLzL+FLizL 2=0
其中,中间参数ALi=aLif0 2,中间参数BLi=bLif0 2,中间参数CLi=cLif0 2,中间参数DLi=dLif0,中间参数ELi=eLif0,中间参数FLi=fLi,i=1,2;
椭圆锥面方程改写成如下矩阵形式:
[xL yL zL]QLi[xL yL zL]T=0
其中,QLi为椭圆锥面方程的参数矩阵,T表示矩阵转置;
步骤5-2,将步骤5-1中左相机坐标系OcL-XcLYcLZcL下的椭圆锥面方程变换到一个新的坐标系OcL-XcL′YcL′ZcL′中,使得椭圆锥面方程变换为标准形式:
新的坐标系OcL-XcL′YcL′ZcL′和左相机坐标系OcL-XcLYcLZcL之间只存在旋转关系,表示为[xL yL zL]T=PLi[xLi′ yLi′ zLi′]T,PLi是一个3×3的矩阵,xLi′、yLi′、zLi′是坐标xL、yL、zL在新坐标系OcL-XcL′YcL′ZcL′的坐标,在新坐标系OcL-XcL′YcL′ZcL′下椭圆锥面方程的矩阵形式为:
[xLi′ yLi′ zLi′]PLi -1QLiPLi[xLi′ yLi′ zLi′]T=0
步骤5-3,通过对矩阵QLi的特征值分解获得QLi的特征值标准椭圆锥面方程的系数/>和矩阵/> 为特征值/>对应的特征向量,通过以下方法确定,其中/>为特征值/>对应的特征向量,/>为特征值/>对应的特征向量,/>为特征值/>对应的特征向量:
调整顺序,使得/>与/>同号且/> 与/>异号,求取对应的规范化特征向量/>
如果/>则/>否则不变化;
步骤5-4,通过标准椭圆锥面方程的系数和左侧腰型孔两端半圆弧的实际半径RL,确定圆弧对应空间圆在新坐标系OcL-XcL′YcL′ZcL′下所在平面的法向量nLi′和圆心坐标cLi′:
其中为法向量nLi′在OcLXcL′方向上的投影,/>为法向量nLi′在OcLYcL′方向上的投影,/>为法向量nLi′在OcLZcL′方向上的投影;/>为圆心坐标cLi′在OcLXcL′方向上的投影,为圆心坐标cLi′在OcLYcL′方向上的投影,/>为圆心坐标cLi′在OcLZcL′方向上的投影;
步骤5-5,利用旋转矩阵PLi得到在左相机坐标系OcL-XcLYcLZcL下的法向量nLi和圆心坐标cLi:
其中为法向量nLi在OcLXcL方向上的投影,/>为法向量nLi在OcLYcL方向上的投影,为法向量nLi在OcLZcL方向上的投影;/>为圆心坐标cLi在OcLXcL方向上的投影,/>为圆心坐标cLi在OcLYcL方向上的投影,/>为圆心坐标cLi在OcLZcL方向上的投影,其中解算的结果中存在一组虚假解,需要剔除。
步骤5-6,在右图像中重复步骤5-1~步骤5-2的操作,得到右腰型孔两端圆弧对应空间圆在右相机坐标系OcR-XcRYcRZcR下所在平面的法向量nRi和圆心坐标cRi:
其中为法向量nRi在OcRXcR方向上的投影,/>为法向量nRi在OcRYcR方向上的投影,为法向量nRi在OcRZcR方向上的投影;/>为圆心坐标cRi在ORLXRL方向上的投影,/>为圆心坐标cRi在OcRYcR方向上的投影,/>为圆心坐标cRi在OcRZcR方向上的投影,其中解算的结果中存在一组虚假解,需要剔除。
8.根据权利要求7所述的方法,其特征在于,步骤6包括:
步骤6-1,利用步骤1获得的左相机和右相机之间的固定旋转矩阵RLR和平移矩阵TLR和步骤5-5得到的左腰型孔两端圆弧所在空间圆在左相机坐标系OcL-XcLYcLZcL下所在平面的法向量nLi解算出法向量nLi在右相机坐标系OcR-XcRYcRZcR下的值nLRi:
nLRi=RLRnLi+TLR
步骤6-2,利用步骤1获得的左相机和右相机之间的固定旋转矩阵RLR和平移矩阵TLR和步骤7得到的左腰型孔两端圆弧所在空间圆的圆心在左相机坐标系OcL-XcLYcLZcL下的坐标cLi解算出坐标cLi在右相机坐标系OcR-XcRYcRZcR下的值cLRi:
cLRi=cLiRLR+TLR
步骤6-3,两个相机拍摄的腰型孔特征处于一个合装面,所以左腰型孔所在空间平面在右相机坐标系OcR-XcRYcRZcR的法向量nLRi与右腰型孔所在空间平面在右相机坐标系OcR-XcRYcRZcR的法向量nRi平行:
nLRi=m·nRi
其中m为非零常数;
步骤6-4,两个相机拍摄的腰型孔特征处于一个合装面,所以左腰型孔圆弧所在空间圆的圆心在右相机坐标系OcR-XcRYcRZcR的坐标cLRi与右腰型孔圆弧所在空间圆的圆心在右相机坐标系OcR-XcRYcRZcR的坐标cRi构成固定的空间向量LLR:
步骤6-5,利用步骤6-2的角度约束和步骤6-4的距离约束消除步骤5-5和步骤5-6中的虚假解,得到左腰型孔两端圆弧在右相机坐标系OcR-XcRYcRZcR的圆心坐标cLR1和cLR2,右腰型孔两端圆弧在右相机坐标系OcR-XcRYcRZcR的圆心坐标cR1和cR2,腰型孔所在合装面的法向量n;其中
9.根据权利要求8所述的方法,其特征在于,步骤7包括:
步骤7-1,选取右相机坐标作为世界坐标系,将左右腰型孔的几何中心连线的中点坐标作为合装面的位置信息,用坐标c表示,c=(cR1+cR2+cLR1+cLR2)/4;
步骤7-2,合装面的姿态信息e用e=[ψ θ φ]T表示,其中ψ表示偏航角、θ表示俯仰角、φ表示滚动角;偏航角ψ定义为右腰型孔两端圆弧的圆心cR1和cR2的连线与YcR轴正向的夹角,取值范围为当/>时ψ>0;俯仰角θ定义为左右腰型孔所在合装面cR1cR2cLR1cLR2与平面XcROcRYcR之间的夹角,取值范围为/>当/>时θ>0;滚动角φ定义为左右腰型孔所在合装面cR1cR2cLR1cLR2的法向量n与直线cR1cR2的铅垂平面的夹角,取值范围为/>所述铅垂平面平面与平面XcROcRYcR垂直;当/>时φ>0,计算公式为:
步骤7-3,基于多相机非公共视场的腰型孔特征的合装面的位置信息c=[cx cy cz]T,姿态信息e=[ψ θ φ]T。
10.一种存储介质,其特征在于,存储有计算机程序或指令,当所述计算机程序或指令被运行时,实现如权利要求1至9中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311461676.6A CN117557638A (zh) | 2023-11-06 | 2023-11-06 | 一种基于多相机非公共视场腰型孔特征的位姿测量方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311461676.6A CN117557638A (zh) | 2023-11-06 | 2023-11-06 | 一种基于多相机非公共视场腰型孔特征的位姿测量方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117557638A true CN117557638A (zh) | 2024-02-13 |
Family
ID=89810170
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311461676.6A Pending CN117557638A (zh) | 2023-11-06 | 2023-11-06 | 一种基于多相机非公共视场腰型孔特征的位姿测量方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117557638A (zh) |
-
2023
- 2023-11-06 CN CN202311461676.6A patent/CN117557638A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110689579B (zh) | 基于合作目标的快速单目视觉位姿测量方法及测量系统 | |
CN106558080B (zh) | 一种单目相机外参在线标定方法 | |
CN109872372B (zh) | 一种小型四足机器人全局视觉定位方法和系统 | |
CN107063228B (zh) | 基于双目视觉的目标姿态解算方法 | |
CN111311679B (zh) | 一种基于深度相机的自由漂浮目标位姿估计方法 | |
CN109523595B (zh) | 一种建筑工程直线棱角间距视觉测量方法 | |
CN111242031A (zh) | 基于高精度地图的车道线检测方法 | |
CN107300382B (zh) | 一种用于水下机器人的单目视觉定位方法 | |
CN109102567B (zh) | 一种基于重建误差最小化的位姿参数高精度求解方法 | |
CN109443200B (zh) | 一种全局视觉坐标系和机械臂坐标系的映射方法及装置 | |
CN113160336A (zh) | 一种简易标定环境下的车载环视相机标定方法 | |
CN115187798A (zh) | 一种多无人机高精度匹配定位方法 | |
CN114463442A (zh) | 一种非同轴相机的标定方法 | |
CN113947638B (zh) | 鱼眼相机影像正射纠正方法 | |
CN110986998A (zh) | 一种基于有理函数模型的卫星视频相机在轨几何定标方法 | |
CN114022551A (zh) | 一种燃油车加油盖精确识别与位姿估计的方法 | |
CN115358965A (zh) | 焊接变形量自适应的直线焊缝打磨轨迹生成方法及装置 | |
CN113409399B (zh) | 一种双相机联合标定方法、系统及装置 | |
CN113436262A (zh) | 一种基于视觉的车辆目标位置和姿态角度的检测方法 | |
CN113587904A (zh) | 一种融合机器视觉和激光参照点信息的目标位姿测量方法 | |
CN117372244A (zh) | 基于二维阵列表示的大场景特征立体匹配方法 | |
CN117557638A (zh) | 一种基于多相机非公共视场腰型孔特征的位姿测量方法 | |
CN117190875A (zh) | 一种基于计算机智能视觉的桥塔位移测量装置及方法 | |
CN109754435B (zh) | 一种基于小靶标模糊图像的摄像机在线标定方法 | |
CN116091603A (zh) | 一种基于点特征的箱体工件位姿测量方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |