CN105021139B - 一种机器人线结构光视觉测量系统的手眼标定方法 - Google Patents
一种机器人线结构光视觉测量系统的手眼标定方法 Download PDFInfo
- Publication number
- CN105021139B CN105021139B CN201510419925.4A CN201510419925A CN105021139B CN 105021139 B CN105021139 B CN 105021139B CN 201510419925 A CN201510419925 A CN 201510419925A CN 105021139 B CN105021139 B CN 105021139B
- Authority
- CN
- China
- Prior art keywords
- mrow
- target
- coordinate system
- camera
- mtd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Abstract
本发明公开了一种机器人线结构光视觉测量系统的手眼标定方法。本发明根据机器人运动特点，将机器人的运动关系通过坐标系的建立展现出来。通过控制机器人末端的移动，并结合齐次变换矩阵原理，获得机器人移动前后摄像机的运动量，进而根据手眼关系模型获得最终手眼关系矩阵。本发明将现有技术中的圆替换标准球作为靶标，仅需提取结构光直线特征即可，减小了计算量。
Description
技术领域
本发明属于机器人手眼标定技术领域，具体涉及一种机器人线结构光视觉测量系统的手眼标定方法。
背景技术
线结构光视觉测量技术，因其具有精度高、测量速度快等优点而被广泛用于三维重建，工业视觉检测等领域。在工业检测领域，线结构光传感器通常安装机器人末端执行器上用于检测产品的质量。
线结构光视觉传感器与机器人一起组成机器人线结构光视觉测量系统，在使用该系统进行测量时必须先确定线结构光视觉传感器与机器人末端执行器之间的位姿关系，确定这个关系的过程称为手眼标定。
目前，李爱国等提出了一种以标准球为靶标的手眼标定方法，该方法以标准球为靶标，通过光结构投射器投射到标准球表面的光条纹进行光条纹的提取，然后拟合出光条纹所在的球方程。这种方法面临标定过程中图像处理的难题。而且，该标定方法是基于控制机器人末端执行器做纯平移运动，进而通过分析摄像机坐标系和靶标坐标系之间的关系，获得相应的旋转矩阵和平移量。然而，这对于大部分旋转关节机器人来说，其末端执行器的移动精度无法达到纯平移运动，最终导致标定不准确。
发明内容
有鉴于此，本发明提供了一种机器人线结构光视觉测量系统的手眼标定方法，能够通过控制机器人做一般的运动而实现手眼标定。
一种机器人线结构光视觉测量系统的手眼标定方法，该方法包括：
以机器人基座中心位置为原点Oo，建立机器人基座坐标系Oo-XoYoZo；以机器人末端法兰盘中心位置为原点Oe，建立第一机器人末端坐标系Oe-XeYeZe；以与机器人末端相连的摄像机光心为原点Oc，建立第一摄像机坐标系Oc-XcYcZc；其中，第一摄像机坐标系中Xc轴和Yc轴分别平行于摄像机成像平面的u轴和v轴，Zc轴由右手定则确定；以一个具有一组正交直径AB、CD的圆为靶标，靶标圆心为原点Ow，建立靶标坐标系Ow-XwYwZw；靶标坐标系中靶标的直径AB所在直线从A到B的方向为靶标坐标系的Xw轴，CD所在直线从C到D的方向为靶标坐标系的Yw轴，Zw轴由右手定则确定；
步骤一、通过机器人控制器获得机器人在初始状态下第一机器人末端坐标系相对于机器人基座坐标系的变换矩阵Aoe；将线结构光投射器与摄像机刚性连接安装在机器人末端；线结构光投射器向靶标投射一光条纹，且该光条纹穿过靶标圆心位置处，利用光条纹所穿靶标圆心处的光平面方程和摄像机成像原理获得第一摄像机坐标系相对于靶标坐标系的第一平移量tcw；利用调和共轭理论，获得直径AB相对于第一摄像机坐标系的消隐点p和直径CD相对于第一摄像机坐标系的消隐点q，并结合已知的摄像机内参数和罗德里格旋转公式获得第一摄像机坐标系相对于靶标坐标系的第一旋转矩阵Rcw；
步骤二、根据步骤一中获得的第一平移量tcw和第一旋转矩阵Rcw，根据齐次变换矩阵定义，获得第一摄像机外参数
步骤三、机器人末端进行第一次移动，并以机器人末端第一次移动后末端法兰盘中心位置为原点Oe'，建立第二机器人末端坐标系Oe'-Xe'Ye'Ze'；以第一次移动后摄像机光心为原点Oc'，建立第二摄像机坐标系Oc'-Xc'Yc'Zc'；通过机器人控制器获得末端第一次移动后第二机器人末端坐标系相对于机器人基座坐标系的变换矩阵Aoe'，并根据Aee'＝(Aoe')-1Aoe，获得末端第一次移动前后的机器人末端运动量Aee'；
步骤四、按照步骤一的方式，获取末端第一次移动后第二摄像机坐标系相对于靶标坐标系的第二平移量t'c'w和第二旋转矩阵R'c'w；
步骤五、根据步骤四中获得的第二平移量t'c'w和第二旋转矩阵R'c'w，根据齐次变换矩阵定义，获得第二摄像机外参数
步骤六、根据齐次线性变换理论，利用步骤二中获得的第一摄像机外参数Bcw和步骤五中获得的第二摄像机外参数Bc'w，获得末端第一次移动前后的摄像机运动量Bcc'＝Bc'w×(Bcw)-1；
步骤七、机器人末端进行第二次移动，以第一次移动后的位置作为初始位置，按照步骤三到步骤六的方法，以机器人末端第二次移动后末端法兰盘中心位置为原点Oe”，建立第三机器人末端坐标系Oe”-Xe”Ye”Ze”；以第二次移动后摄像机光心为原点Oc”，建立第三摄像机坐标系Oc”-Xc”Yc”Zc”；获得第二次移动前后的机器人末端运动量Ae'e”以及末端第二次移动后的第三摄像机坐标系相对于靶标坐标系的第三平移量t”c”w和第三旋转矩阵R”c”w；进而获得第三摄像机外参数并根据第三摄像机外参数Bc”w以及步骤五中获得的第二摄像机外参数Bc'w，获得末端第二次移动前后的摄像机运动量Bc'c”＝Bc”w×(Bc'w)-1；
步骤八、利用运动量和手眼关系模型AX＝XB，根据步骤三和步骤六中获得的机器人末端运动量Aee'和摄像机运动量Bcc'，建立第一次移动机器人末端前后的第一约束方程Aee'X＝XBcc'；根据步骤七中获得的机器人末端运动量Ae'e”和摄像机运动量Bc'c”，建立第二次移动机器人末端前后的第二约束方程Ae'e”X＝XBc'c”；联立第一约束方程和第二约束方程，获得手眼标定矩阵X。
特别地，所述步骤一中第一摄像机坐标系相对于靶标坐标系的第一平移量tcw的获取方法为：
在第一摄像机坐标系下，利用光条纹所穿靶标圆心处的光平面方程和摄影机成像原理，获得靶坐标系原点Ow在第一摄像机坐标系的相对位置关系并将该位置关系以矩阵方式构建第一平移量
特别地，所述步骤一中第一摄像机坐标系相对于靶标坐标系的第一旋转矩阵Rcw的获取方法为：
第1步：定义靶标坐标系中选取的正交直径AB和CD在摄像机成像平面上的相应成像为ab和cd；定义靶标坐标系原点Ow在摄像机成像平面上的相应成像为ow；根据射影几何的调和共轭理论，结合摄像机透视投影的同素性和交比不变性，有
其中，aow代表端点a到靶标坐标系原点ow之间的长度；bow代表端点b到靶标坐标系原点ow之间的长度；ap代表端点a到消隐点p之间的长度；bp代表端点b到消隐点p之间的长度；同理，cow代表端点c到靶标坐标系原点ow之间的长度；dow代表端点d到靶标坐标系原点ow之间的长度；cq代表端点c到消隐点q之间的长度；dq代表端点d到消隐点q之间的长度；
第2步：利用点a、b、c和d的像素坐标获得消隐点p的像素坐标(up、vp)和消隐点q的像素坐标(uq、vq)；
第3步：以第一摄像机坐标系的原点为原点，在第一摄像机坐标系上建立与靶标坐标系的坐标轴方向相同的过渡坐标系Oc-X'wY'wZ'w；
第4步：利用公式(6)对消隐点p和消隐点q的像素坐标进行焦距归一化，进而获得消隐点p在第一摄像机坐标系下的三维坐标为消隐点q在第一摄像机坐标系下的三维坐标为其中，u0、v0为摄像机光轴与摄像机成像平面的交点像素坐标；α、β为尺度因子；
第5步：将第一摄像机坐标系下的消隐点p和消隐点q分别与第一摄像机坐标系的光心Oc连接，获得矢量Ocp和Ocq；
第6步：获得并单位化由矢量Ocp和Ocq在第一摄像机坐标系中确定的平面Ocpq的法向量
第7步：获得法向量与第一摄像机坐标系中Zc轴的单位向量(0,0,1)的夹角
第8步：获得并单位化与法向量和第一摄像机坐标系中Zc轴的单位向量(0，0，1)的正交向量δ；
第9步：根据法向量和夹角采用罗德里格公式，获得第一摄像机坐标系到过渡坐标系的旋转矩阵rcw；
第10步：定义靶标坐标系的OwXw轴和OwYw轴在摄像机成像平面上的像分别为owxw轴和owyw轴，根据位置关系式和判断消隐点p和消隐点q在摄像机成像平面上的成像位置与靶标坐标系Ow-XwYwZw在摄像机成像平面上的相应成像ow-xwywzw的位置关系；
第11步：根据第10步中获得的位置关系，确定第一旋转矩阵Rcw与旋转矩阵rcw之间的关系；进而获得第一旋转矩阵Rcw。
有益效果：
第一、本发明根据机器人运动特点，分别以机器人基座中心位置、机器人末端法兰盘中心位置、摄像机光心位置和靶标圆心位置处建立坐标系，更好的将机器人的运动关系通过坐标系的建立展现出来。第二、为了避免机器人做高精度纯平移运动，本发明采用机器人手眼关系模型为基础，通过确定摄像机坐标系和靶标坐标系之间的位置关系，进而获得摄像机的运动量(即包括旋转量和移动量)；通过控制机器人末端的移动，并结合齐次变换矩阵原理，获得机器人移动前后摄像机的运动量，进而根据手眼关系模型获得最终手眼关系矩阵。第三、本发明将现有技术中的圆替换标准球作为靶标，仅需提取结构光条纹图像直线特征即可，减小了计算量。
附图说明
图1为机器人末端移动前后各坐标系及其关系和运动量示意图。
图2为机器人坐标系建立示意图。
图3为机器人摄像机坐标系与靶标坐标系之间的关系示意图。
图4为机器人坐标系关系示意图。
图5(a)、图5(b)、图5(c)和图5(d)分别为消隐点p和消隐点q与对应轴像owxw和owyw的4种位置关系示意图。
图6为机器人手眼标定流程图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了一种机器人线结构光视觉测量系统的手眼标定方法；如图1所示，本发明以一个具有一组正交直径的圆为靶标，在摄像机共线位置处设置线结构光投射器，使线结构光光线投射至圆心，根据摄像机坐标系与靶标坐标系之间的关系，最终获得第一旋转矩阵；之后，机器人的末端进行第一次移动，使机器人末端坐标系和摄像机坐标系改变，而靶标坐标系和机器人基座坐标系不变，通过再次分析摄像机坐标系与靶标坐标系之间的关系，获得第二旋转矩阵，根据第一旋转矩阵和第二旋转矩阵，获得摄像机的运动量Bcc'。之后，建立第一次移动机器人末端前后的第一约束方程Aee'X＝XBcc'。之后，采用同样的方法，机器人的末端进行第二次移动，获得机器人末端运动量Ae'e”和摄像机运动量Bc'c”，进而建立第二次移动机器人末端前后的第二约束方程Ae'e”X＝XBc'c”，通过联立第一约束方程和第二约束方程，获得手眼标定矩阵X，进而实现机器人的手眼标定。
如图2所示，以机器人基座中心位置为原点Oo，建立机器人基座坐标系Oo-XoYoZo；以机器人末端法兰盘中心位置为原点Oe，建立第一机器人末端坐标系Oe-XeYeZe；其中，机器人基座坐标系和机器人末端坐标系的建系方法即按照现有技术中的建系方法建立即可。以与机器人末端相连的摄像机光心为原点Oc，建立第一摄像机坐标系Oc-XcYcZc；其中，第一摄像机坐标系中Xc轴和Yc轴分别平行于摄像机成像平面的u轴和v轴，Zc轴由右手定则确定。以一个具有一组正交直径AB、CD的圆为靶标，靶标圆心为原点Ow，建立靶标坐标系Ow-XwYwZw；靶标坐标系中靶标的直径AB所在直线从A到B的方向为靶标坐标系的Xw轴，CD所在直线从C到D的方向为靶标坐标系的Yw轴，Zw轴由右手定则确定。
上述所定义的4个坐标系之间的关系可看做以下3个阶段：1)机器人基座坐标系到机器人末端坐标系；2)机器人末端坐标系到摄像机坐标系；3)摄像机坐标系到靶标坐标系；其中，机器人基座坐标系到机器人末端坐标系的运动关系即机器人末端运动量可由机器人控制器获得；机器人末端坐标系到摄像机坐标系之间的运动关系即为所求的手眼标定矩阵X；摄像机坐标系到靶标坐标系的运动关系即机器人运动前后摄像机所对应的运动量的获取方法具体如步骤一至步骤六；
由于手眼标定矩阵X的获得是通过手眼关系模型知Aee'X＝XBcc'和Ae'e”X＝XBc'c”的联立获得的，如图1所示，其中，Aee'和Ae'e”分别为机器人末端第一次移动前后的机器人末端运动量和机器人末端第二次移动前后的机器人末端运动量；Bcc'和Bc'c”分别为机器人末端第一次移动前后摄像机的运动量和机器人末端第二次移动前后摄像机的运动量；为此，在标定过程中，需对机器人末端进行两次移动，进而获得Aee'和Bcc'以及Ae'e”和Bc'c”；然而，Aee'和Ae'e”由机器人控制器即可获得。故若想对机器人进行手眼标定，即获得手眼标定矩阵X，则需获得机器人第一次移动前后摄像机的运动量Bcc'和第二次移动前后摄像机的运动量Bc'c”。如图6所示，其具体标定方法如下：
步骤一、通过机器人控制器获得机器人在初始状态下第一机器人末端坐标系相对于机器人基座坐标系的变换矩阵Aoe；将线结构光投射器与摄像机共线安装在机器人末端；线结构光投射器向靶标投射一光条纹，且该光条纹穿过靶标圆心位置处，利用光条纹所穿靶标圆心处的光平面方程系数和摄像机成像原理获得第一摄像机坐标系相对于靶标坐标系的第一平移量tcw；利用调和共轭理论，获得直径AB相对于第一摄像机坐标系的消隐点p和直径CD相对于第一摄像机坐标系的消隐点q，并结合已知的摄像机内参数和罗德里格旋转公式获得第一摄像机坐标系相对于靶标坐标系的第一旋转矩阵Rcw；
其中，第一摄像机坐标系相对于靶标坐标系的第一平移量tcw的获取办法为：
将线结构光投射器与摄像机共线安装在机器人末端；线结构光投射器向靶标投射一光条纹，且该光条纹穿过靶标圆心位置处。在第一摄像机坐标系下，光条纹所穿靶标圆心处的光平面方程为
其中，a、b、c、d为光平面系数；由于本发明采用以一个具有一组正交直径AB、CD的圆作为靶标，故这里仅需根据光平面方程和摄影机成像原理即可获得第一平移量tcw，而不需要求出球面方程，减小了计算量。
此外，定义靶标坐标系原点Ow在摄像机成像平面上的相应成像为ow。则ow在摄像机成像平面上的像素坐标为根据摄影机成像原理
其中，u0、v0为摄像机光轴与摄像机成像平面的交点像素坐标；α、β为尺度因子；u0、v0、α和β均为已知的摄像机的内参数；
根据公式(1)和公式(2)，获得靶坐标系原点Ow在第一摄像机坐标系的相对位置关系
根据公式(3)，进而获得第一平移量
第一摄像机坐标系相对于靶标坐标系的第一旋转矩阵Rcw的获取办法为：
第1步：如图3和4所示，定义靶标坐标系中选取的正交直径AB和CD在摄像机成像平面上的相应成像为ab和cd；定义靶标坐标系原点Ow在摄像机成像平面上的相应成像为ow。根据射影几何理论可知：直径AB的端点A和端点B调和分割靶标坐标系的原点Ow和直径AB所在直线的无穷远点P。同理，直径CD的端点C和端点D调和分割靶标坐标系的原点Ow和直径CD所在直线的无穷远点Q。根据射影几何的调和共轭理论有
其中，AOw代表端点A到靶标坐标系原点Ow之间的长度；BOw代表端点B到靶标坐标系原点Ow之间的长度；AP代表端点A到直径AB所在直线的无穷远点P之间的长度；BP代表端点B到直径AB所在直线的无穷远点P之间的长度；同理，COw代表端点C到靶标坐标系原点Ow之间的长度；DOw代表端点D到靶标坐标系原点Ow之间的长度；CQ代表端点C到直径CD所在直线的无穷远点Q之间的长度；DQ代表端点D到直径CD所在直线的无穷远点Q之间的长度；
根据摄像机透视投影的同素性和交比不变性，有
其中，aow代表端点a到靶标坐标系原点ow之间的长度；bow代表端点b到靶标坐标系原点ow之间的长度；ap代表端点a到消隐点p之间的长度；bp代表端点b到消隐点p之间的长度；同理，cow代表端点c到靶标坐标系原点ow之间的长度；dow代表端点d到靶标坐标系原点ow之间的长度；cq代表端点c到消隐点q之间的长度；dq代表端点d到消隐点q之间的长度；
第2步：利用图像处理获得a点处的像素坐标(ua、va)、b点处的像素坐标(ub、vb)、c点处的像素坐标(uc、vc)和d点处的像素坐标(ud、vd)并代入公式(3)中，获得消隐点p的像素坐标(up、vp)和消隐点q的像素坐标(uq、vq):
第3步：以第一摄像机坐标系的原点为原点，在第一摄像机坐标系上建立与靶标坐标系的坐标轴方向相同的过渡坐标系Oc-X'wY'wZ'w。
第4步：由于公式(7)和公式(8)中获得的消隐点是在摄像机成像平面下的像素坐标，而第一旋转矩阵Rcw是三维坐标，为此，需要将消隐点p和消隐点q的像素坐标转换为三维坐标，即将消隐点p和消隐点q的像素坐标进行焦距归一化，进而根据公式(6)获得消隐点p在第一摄像机坐标系下的三维坐标为获得消隐点q在第一摄像机坐标系下的三维坐标为
第5步：将第一摄像机坐标系下的消隐点p和消隐点q分别与第一摄像机坐标系的光心Oc连接，获得矢量Ocp和Ocq，由消隐点的性质可知，矢量Ocp与AB平行，矢量Ocq与CD平行，又由于靶标坐标系的建系原则，可知，矢量Ocp与OcX'w共线，矢量Ocq与OcY'w共线。
第6步：计算并单位化由矢量Ocp和Ocq在第一摄像机坐标系中确定的平面Ocpq的法向量
其中，||·||代表求模运算；根据消隐点的性质可知，过渡坐标系的OcX'w轴和OcY'w轴分别位于矢量Ocp和Ocq所在的直线上。法向量则代表了过渡坐标系中OcZ'w轴的单位化值。
第7步：计算法向量与第一摄像机坐标系中Zc的单位向量(0,0,1)的夹角
法向量与第一摄像机坐标系中Zc的夹角，则代表了过渡坐标系与第一摄像机坐标系之间的角度关系。
第8步：获得与法向量和第一摄像机坐标系中Zc轴的单位向量(0，0，1)的正交向量δ并单位化，其中，
其中，法向量第一摄像机坐标系中Zc轴和获得的正交向量δ共同构成另一新的坐标系，进而正交向量δ可看做第一摄像机坐标系中Zc绕正交向量δ旋转得到法向量即：正交向量δ即为旋转轴。
第9步：根据第8步中的结论，第一摄像机坐标系变换至过渡坐标系可看做以正交向量δ为旋转轴，旋转角度后角得到的。根据罗德里格公式，获得第一摄像机坐标系到过渡坐标系的旋转矩阵rcw即：
其中，I是一个3×3的单位矩阵；是由构成的反对称矩阵；
第10步：根据消隐点的性质可知，过渡坐标系的OcX'w轴和OcY'w轴分别位于矢量Ocp和Ocq所在的直线上，但矢量Ocp和Ocq方向无法确定。因此，由消隐点p和消隐点q所求出旋转矩阵rcw并不是第一摄像机坐标系相对于靶标坐标系的第一旋转矩阵Rcw。由于求解出的消隐点p和消隐点q位于摄像机成像平面上，故需要通过判断消隐点p和消隐点q在摄像机成像平面上的成像位置与靶标坐标系Ow-XwYwZw在摄像机成像平面上的相应成像ow-xwywzw来确定二者之间的位置关系。
定义靶标坐标系的OwXw轴和OwYw轴在摄像机成像平面上的像分别为owxw轴和owyw轴，利用公式(13)和(14)，获得其位置关系：
根据公式(13)和公式(14)，不难得出，在摄像机成像平面下，直径AB和CD产生的消隐点p和消隐点q与靶标坐标系OwXw轴和OwYw轴所产生的相应成像坐标轴owxw和owyw之间的存在四种情况，如图5(a)、5(b)、5(c)和5(d)所示。
第11步：由于旋转矩阵rcw是一个3列的矩阵，故令旋转矩阵rcw＝[r1,r2,r3]，则根据第10步中获得所确定的位置关系，获得靶标坐标系的第一旋转矩阵Rcw：
关系一、当消隐点p和消隐点q分别位于坐标轴owxw和owyw的正轴时，第一摄像机坐标系相对于靶标坐标系的第一旋转矩阵Rcw为：
Rcw＝rcw＝[r1,r2,r3] (15)
关系二、当消隐点p位于坐标轴owxw轴的正轴，消隐点q位于坐标轴owyw轴的负轴时，第一摄像机坐标系相对于靶标坐标系的第一旋转矩阵Rcw为：
Rcw＝rcw＝[r1,-r2,-r3] (16)
关系三、当消隐点p位于坐标轴owxw轴的负轴，消隐点q位于坐标轴owyw轴的正轴时，第一摄像机坐标系相对于靶标坐标系的第一旋转矩阵Rcw为：
Rcw＝rcw＝[-r1,r2,-r3] (17)
关系四、当消隐点p和消隐点q分别位于坐标轴owxw和owyw的负轴时，第一摄像机坐标系相对于靶标坐标系的第一旋转矩阵Rcw为：
Rcw＝rcw＝[-r1,-r2,r3] (18)
步骤二、根据步骤一中获得的第一平移量tcw和第一旋转矩阵Rcw，根据齐次变换矩阵定义，获得第一摄像机外参数Bcw
步骤三、机器人末端进行第一次移动，并以机器人末端第一次移动后末端法兰盘中心位置为原点Oe'，建立第二机器人末端坐标系Oe'-Xe'Ye'Ze'；以第一次移动后摄像机光心为原点Oc'，建立第二摄像机坐标系Oc'-Xc'Yc'Zc'；通过机器人控制器获得末端第一次移动后第二机器人末端坐标系相对于机器人基座坐标系的变换矩阵Aoe'；根据公式(20)，
Aee'＝(Aoe')-1Aoe (20)，
获得末端第一次移动前后的机器人末端运动量Aee'；
步骤四、按照步骤一的方式，获取末端第一次移动后第二摄像机坐标系相对于靶标坐标系的第二平移量t'c'w和第二旋转矩阵R'c'w；
步骤五、根据步骤四中获得的第二平移量t'c'w和第二旋转矩阵R'c'w，根据齐次变换矩阵定义，获得第二摄像机外参数Bc'w
步骤六、根据齐次线性变换理论，利用步骤二中获得的第一摄像机外参数Bcw和步骤五中获得的第二摄像机外参数Bc'w，获得末端第一次移动前后的摄像机运动量Bcc'
Bcc'＝Bc'w×(Bcw)-1 (22)；
步骤七、机器人末端进行第二次移动，以第一次移动后的位置作为初始位置，按照步骤三到步骤六的方法，对第二次移动后的机器人建立坐标系，获得第二次移动前后的机器人末端运动量Ae'e”以及末端第二次移动后的第三摄像机坐标系相对于靶标坐标系的第三平移量t”c”w和第三旋转矩阵R”c”w；进而获得第三摄像机外参数
并根据第三摄像机外参数Bc”w以及步骤五中获得的第二摄像机外参数Bc'w，获得末端第二次移动前后的摄像机运动量
Bc'c”＝Bc”w×(Bc'w)-1 (24)；
步骤八、利用运动量和手眼关系模型AX＝XB，根据步骤三和步骤六中获得的机器人末端运动量Aee'和摄像机运动量Bcc'，建立第一次移动机器人末端前后的第一约束方程Aee'X＝XBcc'；根据步骤七中获得的机器人末端运动量Ae'e”和摄像机运动量Bc'c”，建立第二次移动机器人末端前后的第二约束方程Ae'e”X＝XBc'c”；联立第一约束方程和第二约束方程，获得手眼标定矩阵X。进而能够利用该位姿关系控制机器人末端的移动，以保证与机器人末端相连的摄像机能够准确的捕捉需要的画面。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (3)
1.一种机器人线结构光视觉测量系统的手眼标定方法，其特征在于，该方法包括：
以机器人基座中心位置为原点Oo，建立机器人基座坐标系Oo-XoYoZo；以机器人末端法兰盘中心位置为原点Oe，建立第一机器人末端坐标系Oe-XeYeZe；以与机器人末端相连的摄像机光心为原点Oc，建立第一摄像机坐标系Oc-XcYcZc；其中，第一摄像机坐标系中Xc轴和Yc轴分别平行于摄像机成像平面的u轴和v轴，Zc轴由右手定则确定；以一个具有一组正交直径AB、CD的圆为靶标，靶标圆心为原点Ow，建立靶标坐标系Ow-XwYwZw；靶标坐标系中靶标的直径AB所在直线从A到B的方向为靶标坐标系的Xw轴，CD所在直线从C到D的方向为靶标坐标系的Yw轴，Zw轴由右手定则确定；
步骤一、通过机器人控制器获得机器人在初始状态下第一机器人末端坐标系相对于机器人基座坐标系的变换矩阵Aoe；将线结构光投射器与摄像机刚性连接在机器人末端；线结构光投射器向靶标投射一光条纹，且该光条纹穿过靶标圆心位置处，利用光条纹所穿靶标圆心处的光平面方程和摄像机成像原理获得第一摄像机坐标系相对于靶标坐标系的第一平移量tcw；利用调和共轭理论，获得直径AB相对于第一摄像机坐标系的消隐点p和直径CD相对于第一摄像机坐标系的消隐点q，并结合已知的摄像机内参数和罗德里格旋转公式获得第一摄像机坐标系相对于靶标坐标系的第一旋转矩阵Rcw；
步骤二、根据步骤一中获得的第一平移量tcw和第一旋转矩阵Rcw，根据齐次变换矩阵定
义，获得第一摄像机外参数
<mrow>
<msub>
<mi>B</mi>
<mrow>
<mi>c</mi>
<mi>w</mi>
</mrow>
</msub>
<mo>=</mo>
<mfenced open = '[' close = ']'>
<mtable>
<mtr>
<mtd>
<msub>
<mi>R</mi>
<mrow>
<mi>c</mi>
<mi>w</mi>
</mrow>
</msub>
</mtd>
<mtd>
<msub>
<mi>t</mi>
<mrow>
<mi>c</mi>
<mi>w</mi>
</mrow>
</msub>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>;</mo>
</mrow>
步骤三、机器人末端进行第一次移动，并以机器人末端第一次移动后末端法兰盘中心位置为原点Oe′，建立第二机器人末端坐标系Oe′-Xe′Ye′Ze′；以第一次移动后摄像机光心为原点Oc′，建立第二摄像机坐标系Oc′-Xc′Yc′Zc′；通过机器人控制器获得末端第一次移动后第二机器人末端坐标系相对于机器人基座坐标系的变换矩阵Aoe′，并根据Aee′＝(Aoe′)-1Aoe，获得末端第一次移动前后的机器人末端运动量Aee′；
步骤四、按照步骤一的方式，获取末端第一次移动后第二摄像机坐标系相对于靶标坐标系的第二平移量t′c′w和第二旋转矩阵R′c′w；
步骤五、根据步骤四中获得的第二平移量t′c′w和第二旋转矩阵R′c′w，根据齐次变换矩
阵定义，获得第二摄像机外参数
<mrow>
<msub>
<mi>B</mi>
<mrow>
<msup>
<mi>c</mi>
<mo>&prime;</mo>
</msup>
<mi>w</mi>
</mrow>
</msub>
<mo>=</mo>
<mfenced open = '[' close = ']'>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<msup>
<mi>R</mi>
<mo>&prime;</mo>
</msup>
<mrow>
<msup>
<mi>c</mi>
<mo>&prime;</mo>
</msup>
<mi>w</mi>
</mrow>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<msup>
<mi>t</mi>
<mo>&prime;</mo>
</msup>
<mrow>
<msup>
<mi>c</mi>
<mo>&prime;</mo>
</msup>
<mi>w</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>;</mo>
</mrow>
步骤六、根据齐次线性变换理论，利用步骤二中获得的第一摄像机外参数Bcw和步骤五中获得的第二摄像机外参数Bc′w，获得末端第一次移动前后的摄像机运动量Bcc′＝Bc′w×(Bcw)-1；
步骤七、机器人末端进行第二次移动，以第一次移动后的位置作为初始位置，按照步骤
三到步骤六的方法，以机器人末端第二次移动后末端法兰盘中心位置为原点Oe″，建立第三
机器人末端坐标系Oe″-Xe″Ye″Ze″；以第二次移动后摄像机光心为原点Oc″，建立第三摄像机坐
标系Oc″-Xc″Yc″Zc″；获得第二次移动前后的机器人末端运动量Ae′e″以及末端第二次移动后的
第三摄像机坐标系相对于靶标坐标系的第三平移量t″c″w和第三旋转矩阵R″c″w；进而获得第 1
三摄像机外参数
<mrow>
<msub>
<mi>B</mi>
<mrow>
<msup>
<mi>c</mi>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mi>w</mi>
</mrow>
</msub>
<mo>=</mo>
<mfenced open = '[' close = ']'>
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<msup>
<mi>R</mi>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mrow>
<msup>
<mi>c</mi>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mi>w</mi>
</mrow>
</msub>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<msup>
<mi>t</mi>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mrow>
<msup>
<mi>c</mi>
<mrow>
<mo>&prime;</mo>
<mo>&prime;</mo>
</mrow>
</msup>
<mi>w</mi>
</mrow>
</msub>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mn>1</mn>
</mtd>
<mtd>
<mn>0</mn>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>;</mo>
</mrow>
并根据第三摄像机外参数Bc″w以及步骤五中获得的
第二摄像机外参数Bc′w，获得末端第二次移动前后的摄像机运动量Bc′c″＝Bc″w×(Bc′w)-1；
步骤八、利用运动量和手眼关系模型AX＝XB，根据步骤三和步骤六中获得的机器人末端运动量Aee′和摄像机运动量Bcc′，建立第一次移动机器人末端前后的第一约束方程Aee′X＝XBcc′；根据步骤七中获得的机器人末端运动量Ae′e″和摄像机运动量Bc′c″，建立第二次移动机器人末端前后的第二约束方程Ae′e″X＝XBc′c″；联立第一约束方程和第二约束方程，获得手眼标定矩阵X。
2.如权利要求1所述的手眼标定方法，其特征在于，所述步骤一中第一摄像机坐标系相对于靶标坐标系的第一平移量tcw的获取方法为：
在第一摄像机坐标系下，利用光条纹所穿靶标圆心处的光平面方程和摄影机成像原理，获得靶坐标系原点Ow在第一摄像机坐标系的相对位置关系并将该位置关系以矩阵方式构建第一平移量
3.如权利要求1所述的手眼标定方法，其特征在于，所述步骤一中第一摄像机坐标系相对于靶标坐标系的第一旋转矩阵Rcw的获取方法为：
第1步：定义靶标坐标系中选取的正交直径AB和CD在摄像机成像平面上的相应成像为ab和cd；定义靶标坐标系原点Ow在摄像机成像平面上的相应成像为ow；根据射影几何的调和共轭理论，结合摄像机透视投影的同素性和交比不变性，有
<mrow>
<mo>{</mo>
<mtable>
<mtr>
<mtd>
<mrow>
<mfrac>
<mrow>
<msub>
<mi>ao</mi>
<mi>w</mi>
</msub>
</mrow>
<mrow>
<msub>
<mi>bo</mi>
<mi>w</mi>
</msub>
</mrow>
</mfrac>
<mo>/</mo>
<mfrac>
<mrow>
<mi>a</mi>
<mi>p</mi>
</mrow>
<mrow>
<mi>b</mi>
<mi>p</mi>
</mrow>
</mfrac>
<mo>=</mo>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mfrac>
<mrow>
<msub>
<mi>co</mi>
<mi>w</mi>
</msub>
</mrow>
<mrow>
<msub>
<mi>do</mi>
<mi>w</mi>
</msub>
</mrow>
</mfrac>
<mo>/</mo>
<mfrac>
<mrow>
<mi>c</mi>
<mi>p</mi>
</mrow>
<mrow>
<mi>d</mi>
<mi>p</mi>
</mrow>
</mfrac>
<mo>=</mo>
<mo>-</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
</mtable>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>6</mn>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
其中，aow代表端点a到靶标坐标系原点ow之间的长度；bow代表端点b到靶标坐标系原点ow之间的长度；ap代表端点a到消隐点p之间的长度；bp代表端点b到消隐点p之间的长度；同理，cow代表端点c到靶标坐标系原点ow之间的长度；dow代表端点d到靶标坐标系原点ow之间的长度；cq代表端点c到消隐点q之间的长度；dq代表端点d到消隐点q之间的长度；
第2步：利用点a、b、c和d的像素坐标获得消隐点p的像素坐标(up、vp)和消隐点q的像素坐标(uq、vq)；
第3步：以第一摄像机坐标系的原点为原点，在第一摄像机坐标系上建立与靶标坐标系的坐标轴方向相同的过渡坐标系Oc-X′wY′wZ′w；
第4步：利用公式(6)对消隐点p和消隐点q的像素坐标进行焦距归一化，进而获得消隐点p在第一摄像机坐标系下的三维坐标为消隐点q在第一摄像机坐标系下的三维坐标为其中，u0、v0为摄像机光轴与摄像机成像平面的交点像素坐标；α、β为尺度因子；
第5步：将第一摄像机坐标系下的消隐点p和消隐点q分别与第一摄像机坐标系的光心Oc连接，获得矢量Ocp和Ocq；
第6步：获得并单位化由矢量Ocp和Ocq在第一摄像机坐标系中确定的平面Ocpq的法向量
第7步：获得法向量与第一摄像机坐标系中Zc轴的单位向量(0,0,1)的夹角
第8步：获得并单位化与法向量和第一摄像机坐标系中Zc轴的单位向量(0，0，1)的正交向量δ；
第9步：根据法向量和夹角采用罗德里格公式，获得第一摄像机坐标系到过渡坐标系的旋转矩阵rcw；
第10步：定义靶标坐标系的OwXw轴和OwYw轴在摄像机成像平面上的像分别为owxw轴和owyw轴，根据位置关系式和判断消隐点p和消隐点q在摄像机成像平面上的成像位置与靶标坐标系Ow-XwYwZw在摄像机成像平面上的相应成像ow-xwywzw的位置关系；
第11步：根据第10步中获得的位置关系，确定第一旋转矩阵Rcw与旋转矩阵rcw之间的关系；进而获得第一旋转矩阵Rcw。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510419925.4A CN105021139B (zh) | 2015-07-16 | 2015-07-16 | 一种机器人线结构光视觉测量系统的手眼标定方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510419925.4A CN105021139B (zh) | 2015-07-16 | 2015-07-16 | 一种机器人线结构光视觉测量系统的手眼标定方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105021139A CN105021139A (zh) | 2015-11-04 |
| CN105021139B true CN105021139B (zh) | 2017-09-12 |
Family
ID=54411292
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510419925.4A Expired - Fee Related CN105021139B (zh) | 2015-07-16 | 2015-07-16 | 一种机器人线结构光视觉测量系统的手眼标定方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105021139B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106730106B (zh) * | 2016-11-25 | 2019-10-08 | 哈尔滨工业大学 | 机器人辅助的显微注射系统的坐标标定方法 |
| CN106556343A (zh) * | 2016-12-01 | 2017-04-05 | 西安电子科技大学 | 一种风力发电装备轮毂特征参数快速测量系统及方法 |
| CN107449402B (zh) * | 2017-07-31 | 2019-11-26 | 清华大学深圳研究生院 | 一种非合作目标的相对位姿的测量方法 |
| CN108717715B (zh) * | 2018-06-11 | 2022-05-31 | 华南理工大学 | 一种用于弧焊机器人的线结构光视觉系统自动标定方法 |
| WO2020024178A1 (zh) * | 2018-08-01 | 2020-02-06 | 深圳配天智能技术研究院有限公司 | 一种手眼标定方法、系统及计算机存储介质 |
| CN110136208B (zh) * | 2019-05-20 | 2020-03-17 | 北京无远弗届科技有限公司 | 一种机器人视觉伺服系统的联合自动标定方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103884271A (zh) * | 2012-12-20 | 2014-06-25 | 中国科学院沈阳自动化研究所 | 一种线结构光视觉传感器直接标定方法 |
| CN104613899A (zh) * | 2015-02-09 | 2015-05-13 | 淮阴工学院 | 一种全自动的结构光手眼三维测量系统标定方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ATE494529T1 (de) * | 2008-07-04 | 2011-01-15 | Sick Ivp Ab | Kalibrierung eines profilmesssystems |
-
2015
- 2015-07-16 CN CN201510419925.4A patent/CN105021139B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103884271A (zh) * | 2012-12-20 | 2014-06-25 | 中国科学院沈阳自动化研究所 | 一种线结构光视觉传感器直接标定方法 |
| CN104613899A (zh) * | 2015-02-09 | 2015-05-13 | 淮阴工学院 | 一种全自动的结构光手眼三维测量系统标定方法 |
Non-Patent Citations (1)
| Title |
|---|
| 一种线结构光视觉传感器手眼标定方法及仿真;熊会元等;《系统仿真学报》;20100908;第22卷(第09期);第2223页第1节、第2225页第2-3节 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105021139A (zh) | 2015-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105021139B (zh) | 一种机器人线结构光视觉测量系统的手眼标定方法 | |
| CN104154875B (zh) | 基于两轴旋转平台的三维数据获取系统及获取方法 | |
| CN101814181B (zh) | 一种鱼眼图像复原的展开方法 | |
| Scaramuzza et al. | A flexible technique for accurate omnidirectional camera calibration and structure from motion | |
| CN104182982B (zh) | 双目立体视觉摄像机标定参数的整体优化方法 | |
| CN104075688B (zh) | 一种双目立体凝视监控系统的测距方法 | |
| CN101581569B (zh) | 双目视觉传感系统结构参数的标定方法 | |
| CN111220128B (zh) | 一种单目聚焦的测量方法及终端 | |
| CN104517291B (zh) | 基于目标同轴圆特征的位姿测量方法 | |
| US20140071227A1 (en) | Image processor, image processing method and program, and imaging system | |
| JP2004037270A (ja) | キャリブレーション用データ測定装置、測定方法及び測定プログラム、並びにコンピュータ読取可能な記録媒体、画像データ処理装置 | |
| CN102096923A (zh) | 鱼眼标定方法和装置 | |
| Gao et al. | Dual-fisheye omnidirectional stereo | |
| CN106500596A (zh) | 结构光全景测量系统的测量方法 | |
| CN110378969A (zh) | 一种基于3d几何约束的汇聚式双目相机标定方法 | |
| CN102136140B (zh) | 一种基于矩形图样的视频图像距离检测方法 | |
| CN106489062B (zh) | 用于测量移动平台的位移的系统和方法 | |
| CN109163657A (zh) | 一种基于双目视觉三维重建的圆形目标位姿检测方法 | |
| CN104807405B (zh) | 一种基于光线角度标定的三维坐标测量方法 | |
| CN102103746A (zh) | 利用正四面体求解圆环点标定摄像机内参数的方法 | |
| CN101354796B (zh) | 基于泰勒级数模型的全向立体视觉三维重建方法 | |
| JP2010276433A (ja) | 撮像装置、画像処理装置及び距離計測装置 | |
| CN105139336B (zh) | 一种多通道全景影像转换球幕鱼眼影片的方法 | |
| CN101980292B (zh) | 一种基于正八边形模板的车载摄像机内参数的标定方法 | |
| CN108470360A (zh) | 利用非平面投影图像产生深度图的图像装置及其相关方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170912 Termination date: 20180716 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |