CN113028988A - 一种点阵光源智能视觉传感器及其应用和标定方法 - Google Patents
一种点阵光源智能视觉传感器及其应用和标定方法 Download PDFInfo
- Publication number
- CN113028988A CN113028988A CN202110236831.9A CN202110236831A CN113028988A CN 113028988 A CN113028988 A CN 113028988A CN 202110236831 A CN202110236831 A CN 202110236831A CN 113028988 A CN113028988 A CN 113028988A
- Authority
- CN
- China
- Prior art keywords
- light source
- calibration
- plane
- laser
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/254—Projection of a pattern, viewing through a pattern, e.g. moiré
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种点阵光源智能视觉传感器及其应用和标定方法,属于属于工业机器人视觉控制领域,本发明的激光点阵光源智能视觉传感器可以在对曲面工件进行三维扫描或定位时提供更多的工件曲面信息,从而为工业机器人加工过程的智能规划和快速定位提供便利;其立体标靶便于结构光在摄像机中的标定,更适用于激光点阵在标靶表面精确位置的计算;其标定方案将激光点阵结构光看作一个正四棱锥,通过计算正四棱锥高的直线方程和顶点在相机坐标系下的位姿转换关系,结合各光平面与四棱锥高所成角可以快速计算激光点阵各光斑射线在相机坐标系下的空间位姿关系。采用这种方案便于操作者快速了解激光点阵光源及视觉传感器在机器人工作空间的位姿变化情况。
Description
技术领域
本发明属于工业机器人视觉控制领域,具体涉及一种点阵光源智能视觉传感器及其应用和标定方法。
背景技术
目前,工业机器人的自动控制过程,需要以对工件的精确定位或工件曲面特征三维测量作为前提。传统的无结构光多目视觉控制技术精度低,且无法实现对曲面特征工件的准确轮廓提取及定位。而对于带有单线或多线激光光源的智能视觉测量系统,虽然可以得到空间曲面工件的表面特征,但是不便于提取线之间的曲面变换趋势,很难满足对空间曲面工件的快速规划任务。其具体问题为:(1)单目视觉法仅能提取活动工件部分轮廓特征,无法快速准确提取活动空间曲面工件的表面信息;(2)双面视觉法标定过程复杂且误差较大,并且同样很难完全满足对空间曲面工件的准确测量;(3)线激光光源可以实现空间曲面工件的表面测量,但是由于很难得到各条激光线与线之间的关系,在对空间曲面加工时计算量较大,规划难度较大。
因此,采用点阵光源视觉系统,成为解决上述问题的可行办法。但现有的点阵光源标定方案存在以下问题:需要首先通过调整摄像机角度,入射激光角度与工件关系,使标靶图像在计算机图像中保证水平,因此人为参与因素较多,不利于保证标定的便捷性,工程实用性低,无法实现对空间曲面工件准确定位,精确测量及快速规划。
为实现基于点阵光源的智能视觉传感器在机器人自动规划的应用,需要重点解决点阵光源智能视觉传感器的准确标定问题。
发明内容
本发明要解决的问题是提供一种实现对空间曲面工件准确定位、轮廓提取、精确测量及路径快速规划的点阵光源智能视觉传感器及其应用和标定方法。
为解决上述技术问题,本发明采用的技术方案是:一种点阵光源智能视觉传感器,包括智能视觉传感器,所述智能视觉传感器包括工业相机和点阵激光器,所述点阵激光器与工业相机固联,可发射投影形状为正方形的等距点阵,所述智能视觉传感器上安装有专用辅助方向点光源。
一种点阵光源智能视觉传感器的应用,包括工业机器人及其控制系统,末端执行机构,工业计算机和智能视觉传感器,所述智能视觉传感器采用eye-in-hand方式控制工业机器人;在使用过程中结合专用的辅助方向点光源确定点阵的正方向;采用专用立体标靶标定激光点阵参数。
所述工业机器人智能传感器标定过程分为相机内参及手眼关系标定,智能传感器点阵光源参数标定两部分。
一种点阵光源智能视觉传感器的标定方法,包括以下步骤:
步骤一:采用eye-in-hand方式安装智能视觉传感器,示教专用立体标靶特征点,求解标靶与机器人基坐标系间关系,
在步骤一中,所述专用立体标靶为正立方体形状,尺寸200×200×200mm,标靶精度可达0.01mm,
所述立体标靶各表面上印有图形作为标记点,在示教标定工作中用于确认标靶工件方向;标靶各表面图形都由代表起点的正方形标定点,以及两个圆形标定点组成,各点用直线连接起来用于激光点阵光源的标定;标靶平面上图形与标靶相对位置已知;标靶底面是一张传统标定用棋盘格可辅助摄像机时间标定,在点阵光源视觉传感器标定工作时该面朝下;
标靶坐标系G中心在正方体体心,方向与标靶上标定面0方向相同;
则面0、面1、面2、面3、面4坐标系与标靶坐标系转换矩阵分别为:
工件示教标定时,可根据各平面上特殊标定图形指示的方向,由正方形标定点对应顶点①到中间圆形标定点对应顶点②,最后到尾部圆形标定点对应顶点③,控制机器人工具完成示教工作;
计算标靶上平面X和Y轴坐标方向,其中点①到点②为各标定平面X轴方向,点②到点③为各标定平面Y轴方向,Z轴方向按照右手坐标系确定;最后得到标靶相对机器人基座坐标系位姿矩阵BTG;
步骤二,控制机器人带动摄像机到不同位置,对立体标靶拍照,求解摄像机相与工业机器人工具之间位姿关系,也就是手眼关系,
每次拍照需确保可拍得立体标靶至少两个面,因此可得包括两个标定面上六个图形标定点和立方体六个顶点共12个标定点,用于摄像机和机械臂之间的手眼标定;
首先已知标靶在相机下的位姿转换关系为:
CTG=CTT TTB BTG=CTT TTG
也就是标靶G在相机C下位姿矩阵等于工具T在相机C下位姿矩阵乘以机器人基座B在工具T系位姿矩阵,再乘标靶G在机器人基坐标系B下位姿矩阵;
其中BTG由机器人工具标定得到,TTB可由机器人示教盒读取位姿参数并计算位姿矩阵逆矩阵得到,因此TTG是已知的;
像素点位置和相机坐标系坐标转换关系为:
其中Min为3×4内参矩阵,CTT为4×4手眼关系逆矩阵,设
其中MT和M都为3×4矩阵,包含了内参数和手眼关系外参数据,u、v为像素坐标,Pg代表特征点在标靶坐标系下的位置,由机器人示教得到;
采用Faugeras法即可求解M矩阵,通过多次拍摄,求解最优摄像机内参数及手眼关系位姿矩阵TTC;
其中对应点的ZC可以通过M矩阵和目标点位置求得:
ZC=m31xg+m32yg+m33zg+m34
步骤三,设激光点阵行数和列数都为2n+1,打开辅助光源,通过辅助光源定义激光点阵的行和列,
辅助点光源与点阵光源在安装时需保证辅助点光源的光斑在视距1m的范围内不会与点阵光源区域重合;
投射点阵光源后,点阵光源在平面上打出一个四边形区域,辅助点光源在四边形一边外,由此定义该边的方向为点阵光源Xp方向也就是行方向,与其相交的边定义为点阵光源Yp方向也就是列方向,Zp方向为激光点阵光源中心射线方向;
步骤四,在激光点阵图像上用鼠标拾取某一行激光点在立体标靶上的对应位置,利用在激光行阵在不同标靶平面内三点计算该行激光点在摄像机坐标系下的光平面方程;用同样的方法求解其他行激光点阵的激光平面方程,
当点阵光源投射到立体标靶表面时,根据辅助方向点光源位置,手动选取图像中第i行点阵在不同标靶平面图像上的位置;
根据第i行点阵在各标定面上的像素位置计算激光点在相机坐标系下的位置(xi,j,yi,j,zi,j),其中i为所在行数,i∈(1,2n+1);对于确定的第i行j为该行上各点序号,对于整行激光点来说j∈(1,2n+1),由辅助方向点光源确定顺序;
选择第i行激光点阵在标靶上的三个点,选点时确保三个点不在同一标定面上,则根据三点成一面原理可以得到代表该行点阵在两个标定平面上形成的光平面方程;
其中j1、j2和j3为第i行点阵在立体标靶两个不同平面投射点序号;
考虑到图像处理误差,该行点阵在工件上投影处理结果不一定在同一平面上,因此对于单行点阵的标定需要采用多组样本进行分析;
对于一行点阵列共2n+1个点,假设投射到立体标靶至少两个平面上,各平面点数分别为n1、n2,且n1+n2=2n+1,则可以得到N个平面方程,
然后用最小二乘法求得最优解,得到该行点阵光源对应光平面;
进一步用同样的方法计算其他各行点阵光源对应光平面Σri;
步骤五,采用步骤4的过程,计算各列激光点阵平面方程Σcj;
步骤六,将激光点阵光源整体光路看作一个高和底边无限延伸的正四棱锥,利用第n+1行和第n+1列平面方程计算正四棱锥光学高方向点光源在图像坐标系下的直线方程Lh,并以此计算点阵光源各行平面与高方向所成角αi,及列平面与高方向所成角βj。
利用第n+1行激光点平面方程和n+1列激光点平面方程求解正四棱锥光学高在相机坐标系下方程:
四棱锥光学高方程记为Lh,则正四棱锥高方向数为:
点阵光源激光发生器各行光平面Σri与列光平面Σcj与lh所成角分别为:
最后可得激光点阵光学四棱锥各激光射线角度矩阵:
角度±由行列各自序号决定,对于行序号i<n+1取值为正,对于列序号j<n+1时为取值正,其他为负;
由于对应行列点阵光源所在光平面与四棱锥光学高方向所成角应该是大小相等,方向相反的,因此角度计算完毕后可根据第i行点阵光平面与对应的2n-i+1行光平面角度值差距判断标定结果是否可以满足标定精度,如果不满足可重新进行对应行的标定工作,直到满足精度为止;同样的也要对各列点阵光源的光平面进行判断;
因此对于光学元件的对称性,激光射线角度矩阵也可写为如下形式:
依次计算点阵光源各行及各列光平面与点阵光源四棱锥光学高的交点作为四棱锥顶点;
通过等式(15)和等式(16)可以分别求得各行点阵与各列点阵所在光平面与四棱锥高交点坐标Pv,也就是四棱锥坐标系原点Op;
理想状态下这些交点是同一点,但是由于标靶加工误差、标靶图像处理误差、机器人本体误差等因素,得到的各交点不可能是同一个点,因此需要继续采用最小二乘法求出四棱锥顶点的最优解;
设激光点阵四棱锥光学顶点在相机坐标系下坐标为(xv,yv,zv),根据式(10)可得四棱锥光学高在相机坐标系C下的方程为:
激光点阵四棱锥的坐标系以顶点(xv,yv,zv)为坐标原点,以lh、mh,nh为四棱锥在相机坐标系Zp轴方向,Xp轴和Yp轴方向根据第n+1行点阵和n+1列点阵光平面的法向量得出,正方向由辅助点光源确定,设激光点阵四棱锥坐标系P在相机坐标系下位姿矩阵为:
则激光点阵光源各点光斑射线方程可通过下式求得:
所得4×4矩阵的第三列即为对应行列点光斑在相机坐标系下射线方向向量,并且该射线肯定经过四棱锥坐标原点(xv,yv,zv);
通过上述计算过程可以得到相机坐标系下点阵光源四棱锥高方程、顶点坐标以及激光点阵各光斑的直线方程,
步骤七,在实际工件测量或机器人路径规划时,可根据四棱锥高方向直线方程Lh和其他点阵射线所在行、列光平面与光学高方向直线方程所成角αi,βj计算智能传感器点阵在空间曲面工件上的坐标,用于确定工件外形尺寸,也可根据点阵在三维曲面上的信息进行空间曲面特征的路径规划工作。
由于采用上述技术方案,本发明涉及基于智能视觉传感器的快速标定及机器人工作的自动规划,(1)相对于传统的结构光激光视觉传感器,本发明的激光点阵光源智能视觉传感器可以在对曲面工件进行三维扫描或定位时提供更多的工件曲面信息,从而为工业机器人加工过程的智能规划和快速定位提供便利。(2)本发明所设计立体标靶更便于结构光在摄像机中的标定,标靶上的图形由点和线组成,相较于传统的棋盘格和点阵类标靶,更适用于激光点阵在标靶表面精确位置的计算。(3)本发明的标定方案将激光点阵结构光看作一个正四棱锥,通过计算正四棱锥高的直线方程和顶点在相机坐标系下的位姿转换关系,并结合各光平面与四棱锥高所成角可以快速计算激光点阵各光斑射线在相机坐标系下的空间位姿关系。采用这种定义方案便于操作者快速了解激光点阵光源及视觉传感器在机器人工作空间的位姿变化情况。
附图说明
下面通过参考附图并结合实例具体地描述本发明,本发明的优点和实现方式将会更加明显,其中附图所示内容仅用于对本发明的解释说明,而不构成对本发明的任何意义上的限制,在附图中:
图1是本发明的使用状态示意图
图2是本发明智能视觉传感器的结构示意图
图3是本发明立体标靶及坐标系的建立示意图
图4是本发明辅助点光源与点阵光源行列方向示意图
图5是本发明点阵光源正四棱锥光路参数示意图
图中:
1、工业机器人及其控制系统 2、末端执行机构
3、工业计算机 4、智能视觉传感器
5、工业相机 6、点阵激光器
7、辅助方向点光源 8、立体标靶
具体实施方式
下面结合实施例及其附图进一步叙述本发明:
如图1至图5所示,
一种点阵光源智能视觉传感器,包括智能视觉传感器4,智能视觉传感器4包括工业相机5和点阵激光器6,点阵激光器6与工业相机5固联,可发射投影形状为正方形的等距点阵,智能视觉传感器4上安装有专用辅助方向点光源7。
一种点阵光源智能视觉传感器的应用,包括工业机器人及其控制系统1,末端执行机构2,工业计算机3和智能视觉传感器4,智能视觉传感器4采用eye-in-hand方式控制工业机器人;在使用过程中结合专用的辅助方向点光源7确定点阵的正方向;采用专用立体标靶8标定激光点阵参数。工业机器人智能传感器标定过程分为相机内参及手眼关系标定,智能传感器点阵光源参数标定两部分。
一种点阵光源智能视觉传感器的标定方法,包括以下步骤:
步骤一:采用eye-in-hand方式安装智能视觉传感器4,示教专用立体标靶8特征点,求解标靶与机器人基坐标系间关系,
在步骤一中,专用立体标靶8为正立方体形状,尺寸200×200×200mm,标靶精度可达0.01mm,
立体标靶8各表面上印有图形作为标记点,在示教标定工作中用于确认标靶工件方向;标靶各表面图形都由代表起点的正方形标定点,以及两个圆形标定点组成,各点用直线连接起来用于激光点阵光源的标定;标靶平面上图形与标靶相对位置已知;标靶底面是一张传统标定用棋盘格可辅助摄像机时间标定,在点阵光源视觉传感器标定工作时该面朝下;
标靶坐标系G中心在正方体体心,方向与标靶上标定面0方向相同;
则面0、面1、面2、面3、面4坐标系与标靶坐标系转换矩阵分别为:
工件示教标定时,可根据各平面上特殊标定图形指示的方向,由正方形标定点对应顶点①到中间圆形标定点对应顶点②,最后到尾部圆形标定点对应顶点③,控制机器人工具完成示教工作;
计算标靶上平面X和Y轴坐标方向,其中点①到点②为各标定平面X轴方向,点②到点③为各标定平面Y轴方向,Z轴方向按照右手坐标系确定;最后得到标靶相对机器人基座坐标系位姿矩阵BTG;
步骤二,控制机器人带动摄像机到不同位置,对立体标靶拍照,求解摄像机相与工业机器人工具之间位姿关系,也就是手眼关系,
每次拍照需确保可拍得立体标靶至少两个面,因此可得包括两个标定面上六个图形标定点和立方体六个顶点共12个标定点,用于摄像机和机械臂之间的手眼标定;
首先已知标靶在相机下的位姿转换关系为:
CTG=CTT TTB BTG=CTT TTG (2)
也就是标靶G在相机C下位姿矩阵等于工具T在相机C下位姿矩阵乘以机器人基座B在工具T系位姿矩阵,再乘标靶G在机器人基坐标系B下位姿矩阵;
其中BTG由机器人工具标定得到,TTB可由机器人示教盒读取位姿参数并计算位姿矩阵逆矩阵得到,因此TTG是已知的;
像素点位置和相机坐标系坐标转换关系为:
其中Min为3×4内参矩阵,CTT为4×4手眼关系逆矩阵,设
其中MT和M都为3×4矩阵,包含了内参数和手眼关系外参数据,u、v为像素坐标,Pg代表特征点在标靶坐标系下的位置,由机器人示教得到;
采用Faugeras法即可求解M矩阵,通过多次拍摄,求解最优摄像机内参数及手眼关系位姿矩阵TTC;
其中对应点的ZC可以通过M矩阵和目标点位置求得:
ZC=m31xg+m32yg+m33zg+m34 (6)
步骤三,设激光点阵行数和列数都为2n+1,打开辅助光源,通过辅助光源定义激光点阵的行和列,
辅助点光源与点阵光源在安装时需保证辅助点光源的光斑在视距1m的范围内不会与点阵光源区域重合;
投射点阵光源后,点阵光源在平面上打出一个四边形区域,辅助点光源在四边形一边外,由此定义该边的方向为点阵光源Xp方向也就是行方向,与其相交的边定义为点阵光源Yp方向也就是列方向,Zp方向为激光点阵光源中心射线方向;
步骤四,在激光点阵图像上用鼠标拾取某一行激光点在立体标靶上的对应位置,利用在激光行阵在不同标靶平面内三点计算该行激光点在摄像机坐标系下的光平面方程;用同样的方法求解其他行激光点阵的激光平面方程,
当点阵光源投射到立体标靶表面时,根据辅助方向点光源位置,手动选取图像中第i行点阵在不同标靶平面图像上的位置;
根据第i行点阵在各标定面上的像素位置计算激光点在相机坐标系下的位置(xi,j,yi,j,zi,j),其中i为所在行数,i∈(1,2n+1);对于确定的第i行j为该行上各点序号,对于整行激光点来说j∈(1,2n+1),由辅助方向点光源确定顺序;
选择第i行激光点阵在标靶上的三个点,选点时确保三个点不在同一标定面上,则根据三点成一面原理可以得到代表该行点阵在两个标定平面上形成的光平面方程;
其中j1、j2和j3为第i行点阵在立体标靶两个不同平面投射点序号;
考虑到图像处理误差,该行点阵在工件上投影处理结果不一定在同一平面上,因此对于单行点阵的标定需要采用多组样本进行分析;
对于一行点阵列共2n+1个点,假设投射到立体标靶至少两个平面上,各平面点数分别为n1、n2,且n1+n2=2n+1,则可以得到N个平面方程,
然后用最小二乘法求得最优解,得到该行点阵光源对应光平面;
进一步用同样的方法计算其他各行点阵光源对应光平面Σri;
步骤五,采用步骤4的过程,计算各列激光点阵平面方程Σcj;
步骤六,将激光点阵光源整体光路看作一个高和底边无限延伸的正四棱锥,利用第n+1行和第n+1列平面方程计算正四棱锥光学高方向点光源在图像坐标系下的直线方程Lh,并以此计算点阵光源各行平面与高方向所成角αi,及列平面与高方向所成角βj。
利用第n+1行激光点平面方程和n+1列激光点平面方程求解正四棱锥光学高在相机坐标系下方程:
四棱锥光学高方程记为Lh,则正四棱锥高方向数为:
点阵光源激光发生器各行光平面Σri与列光平面Σcj与lh所成角分别为:
最后可得激光点阵光学四棱锥各激光射线角度矩阵:
角度±由行列各自序号决定,对于行序号i<n+1取值为正,对于列序号j<n+1时为取值正,其他为负;
由于对应行列点阵光源所在光平面与四棱锥光学高方向所成角应该是大小相等,方向相反的,因此角度计算完毕后可根据第i行点阵光平面与对应的2n-i+1行光平面角度值差距判断标定结果是否可以满足标定精度,如果不满足可重新进行对应行的标定工作,直到满足精度为止;同样的也要对各列点阵光源的光平面进行判断;
因此对于光学元件的对称性,激光射线角度矩阵也可写为如下形式:
依次计算点阵光源各行及各列光平面与点阵光源四棱锥光学高的交点作为四棱锥顶点;
通过等式(15)和等式(16)可以分别求得各行点阵与各列点阵所在光平面与四棱锥高交点坐标Pv,也就是四棱锥坐标系原点Op;
理想状态下这些交点是同一点,但是由于标靶加工误差、标靶图像处理误差、机器人本体误差等因素,得到的各交点不可能是同一个点,因此需要继续采用最小二乘法求出四棱锥顶点的最优解;
设激光点阵四棱锥光学顶点在相机坐标系下坐标为(xv,yv,zv),根据式(10)可得四棱锥光学高在相机坐标系C下的方程为:
激光点阵四棱锥的坐标系以顶点(xv,yv,zv)为坐标原点,以lh、mh,nh为四棱锥在相机坐标系Zp轴方向,Xp轴和Yp轴方向根据第n+1行点阵和n+1列点阵光平面的法向量得出,正方向由辅助点光源确定,设激光点阵四棱锥坐标系P在相机坐标系下位姿矩阵为:
则激光点阵光源各点光斑射线方程可通过下式求得:
所得4×4矩阵的第三列即为对应行列点光斑在相机坐标系下射线方向向量,并且该射线肯定经过四棱锥坐标原点(xv,yv,zv);
通过上述计算过程可以得到相机坐标系下点阵光源四棱锥高方程、顶点坐标以及激光点阵各光斑的直线方程,
步骤七,在实际工件测量或机器人路径规划时,可根据四棱锥高方向直线方程Lh和其他点阵射线所在行、列光平面与光学高方向直线方程所成角αi,βj计算智能传感器点阵在空间曲面工件上的坐标,用于确定工件外形尺寸,也可根据点阵在三维曲面上的信息进行空间曲面特征的路径规划工作。
以上对本发明的实施例进行了详细说明,但所述内容仅为本发明的较佳实施例,不能被认为用于限定本发明的实施范围。凡依本发明范围所作的均等变化与改进等,均应仍归属于本专利涵盖范围之内。
Claims (10)
1.一种点阵光源智能视觉传感器,其特征在于:包括智能视觉传感器,所述智能视觉传感器包括工业相机和点阵激光器,所述点阵激光器与工业相机固联,可发射投影形状为正方形的等距点阵,所述智能视觉传感器上安装有专用辅助方向点光源。
2.一种点阵光源智能视觉传感器的应用,其特征在于:包括工业机器人及其控制系统,末端执行机构,工业计算机和智能视觉传感器,所述智能视觉传感器采用eye-in-hand方式控制工业机器人;在使用过程中结合专用的辅助方向点光源确定点阵的正方向;采用专用立体标靶标定激光点阵参数。
3.根据权利要求2所述的点阵光源智能视觉传感器的应用,其特征在于:所述工业机器人智能传感器标定过程分为相机内参及手眼关系标定,智能传感器点阵光源参数标定两部分。
4.一种点阵光源智能视觉传感器的标定方法,其特征在于:包括以下步骤:
步骤一:采用eye-in-hand方式安装智能视觉传感器,示教立体标靶特征点,求解标靶与机器人基坐标系间关系;
步骤二,控制机器人带动摄像机到不同位置,对立体标靶拍照,求解摄像机相与工业机器人工具之间位姿关系,也就是手眼关系;
步骤三,设激光点阵行数和列数都为2n+1,打开辅助光源,通过辅助光源定义激光点阵的行和列;
步骤四,在激光点阵图像上用鼠标拾取某一行激光点在立体标靶上的对应位置,利用在激光行阵在不同标靶平面内三点计算该行激光点在摄像机坐标系下的光平面方程;用同样的方法求解其他行激光点阵的激光平面方程;
步骤五,采用步骤4的过程,计算各列激光点阵平面方程Σcj;
步骤六,将激光点阵光源整体光路看作一个高和底边无限延伸的正四棱锥,利用第n+1行和第n+1列平面方程计算正四棱锥光学高方向点光源在图像坐标系下的直线方程Lh,并以此计算点阵光源各行平面与高方向所成角αi,及列平面与高方向所成角βj;
步骤七,在实际工件测量或机器人路径规划时,可根据四棱锥高方向直线方程Lh和其他点阵射线所在行、列光平面与光学高方向直线方程所成角αi,βj计算智能传感器点阵在空间曲面工件上的坐标,用于确定工件外形尺寸,也可根据点阵在三维曲面上的信息进行空间曲面特征的路径规划工作。
5.根据权利要求4所述的点阵光源智能视觉传感器的标定方法,其特征在于:在步骤一中,所述立体标靶为正立方体形状,尺寸200×200×200mm,标靶精度达0.01mm。
6.根据权利要求4所述的点阵光源智能视觉传感器的标定方法,其特征在于:在步骤一中,所述立体标靶各表面上印有图形作为标记点,在示教标定工作中用于确认标靶工件方向;标靶各表面图形都由代表起点的正方形标定点,以及两个圆形标定点组成,各点用直线连接起来用于激光点阵光源的标定;标靶平面上图形与标靶相对位置已知;标靶底面是一张传统标定用棋盘格可辅助摄像机时间标定,在点阵光源视觉传感器标定工作时该面朝下;
标靶坐标系G中心在正方体体心,方向与标靶上标定面0方向相同;
则面0、面1、面2、面3、面4坐标系与标靶坐标系转换矩阵分别为:
工件示教标定时,可根据各平面上特殊标定图形指示的方向,由正方形标定点对应顶点①到中间圆形标定点对应顶点②,最后到尾部圆形标定点对应顶点③,控制机器人工具完成示教工作;
计算标靶上平面X和Y轴坐标方向,其中点①到点②为各标定平面X轴方向,点②到点③为各标定平面Y轴方向,Z轴方向按照右手坐标系确定;最后得到标靶相对机器人基座坐标系位姿矩阵BTG。
7.根据权利要求6所述的点阵光源智能视觉传感器的标定方法,其特征在于:在步骤二中,每次拍照需确保可拍得立体标靶至少两个面,因此可得包括两个标定面上六个图形标定点和立方体六个顶点共12个标定点,用于摄像机和机械臂之间的手眼标定;
首先已知标靶在相机下的位姿转换关系为:
CTG=CTT TTB BTG=CTT TTG
也就是标靶G在相机C下位姿矩阵等于工具T在相机C下位姿矩阵乘以机器人基座B在工具T系位姿矩阵,再乘标靶G在机器人基坐标系B下位姿矩阵;
其中BTG由机器人工具标定得到,TTB可由机器人示教盒读取位姿参数并计算位姿矩阵逆矩阵得到,因此TTG是已知的;
像素点位置和相机坐标系坐标转换关系为:
其中Min为3×4内参矩阵,CTT为4×4手眼关系逆矩阵,设
其中MT和M都为3×4矩阵,包含了内参数和手眼关系外参数据,u、v为像素坐标,Pg代表特征点在标靶坐标系下的位置,由机器人示教得到;
采用Faugeras法即可求解M矩阵,通过多次拍摄,求解最优摄像机内参数及手眼关系位姿矩阵TTC;
其中对应点的ZC可以通过M矩阵和目标点位置求得:
ZC=m31xg+m32yg+m33zg+m34
8.根据权利要求7所述的点阵光源智能视觉传感器的标定方法,其特征在于:在步骤三中,辅助点光源与点阵光源在安装时需保证辅助点光源的光斑在视距1m的范围内不会与点阵光源区域重合;投射点阵光源后,点阵光源在平面上打出一个四边形区域,辅助点光源在四边形一边外,由此定义该边的方向为点阵光源Xp方向也就是行方向,与其相交的边定义为点阵光源Yp方向也就是列方向,Zp方向为激光点阵光源中心射线方向。
9.根据权利要求8所述的点阵光源智能视觉传感器的标定方法,其特征在于:在步骤四中,当点阵光源投射到立体标靶表面时,根据辅助方向点光源位置,手动选取图像中第i行点阵在不同标靶平面图像上的位置;根据第i行点阵在各标定面上的像素位置计算激光点在相机坐标系下的位置(xi,j,yi,j,zi,j),其中i为所在行数,i∈(1,2n+1);对于确定的第i行j为该行上各点序号,对于整行激光点来说j∈(1,2n+1),由辅助方向点光源确定顺序;选择第i行激光点阵在标靶上的三个点,选点时确保三个点不在同一标定面上,则根据三点成一面原理可以得到代表该行点阵在两个标定平面上形成的光平面方程;
其中j1、j2和j3为第i行点阵在立体标靶两个不同平面投射点序号;
考虑到图像处理误差,该行点阵在工件上投影处理结果不一定在同一平面上,因此对于单行点阵的标定需要采用多组样本进行分析;
对于一行点阵列共2n+1个点,假设投射到立体标靶至少两个平面上,各平面点数分别为n1、n2,且n1+n2=2n+1,则可以得到N个平面方程,
然后用最小二乘法求得最优解,得到该行点阵光源对应光平面;
进一步用同样的方法计算其他各行点阵光源对应光平面Σri。
10.根据权利要求9所述的点阵光源智能视觉传感器的标定方法,其特征在于:在步骤六中,利用第n+1行激光点平面方程和n+1列激光点平面方程求解正四棱锥光学高在相机坐标系下方程:
四棱锥光学高方程记为Lh,则正四棱锥高方向数为:
点阵光源激光发生器各行光平面Σri与列光平面Σcj与lh所成角分别为:
最后可得激光点阵光学四棱锥各激光射线角度矩阵:
角度±由行列各自序号决定,对于行序号i<n+1取值为正,对于列序号j<n+1时为取值正,其他为负;
由于对应行列点阵光源所在光平面与四棱锥光学高方向所成角应该是大小相等,方向相反的,因此角度计算完毕后可根据第i行点阵光平面与对应的2n-i+1行光平面角度值差距判断标定结果是否可以满足标定精度,如果不满足可重新进行对应行的标定工作,直到满足精度为止;同样的也要对各列点阵光源的光平面进行判断;
因此对于光学元件的对称性,激光射线角度矩阵也可写为如下形式:
依次计算点阵光源各行及各列光平面与点阵光源四棱锥光学高的交点作为四棱锥顶点;
通过上述式子可以分别求得各行点阵与各列点阵所在光平面与四棱锥高交点坐标Pv,也就是四棱锥坐标系原点Op;
理想状态下这些交点是同一点,但是由于标靶加工误差、标靶图像处理误差、机器人本体误差等因素,得到的各交点不可能是同一个点,因此需要继续采用最小二乘法求出四棱锥顶点的最优解;
设激光点阵四棱锥光学顶点在相机坐标系下坐标为(xv,yv,zv),可得四棱锥光学高在相机坐标系C下的方程为:
激光点阵四棱锥的坐标系以顶点(xv,yv,zv)为坐标原点,以lh、mh,nh为四棱锥在相机坐标系Zp轴方向,Xp轴和Yp轴方向根据第n+1行点阵和n+1列点阵光平面的法向量得出,正方向由辅助点光源确定,设激光点阵四棱锥坐标系P在相机坐标系下位姿矩阵为:
则激光点阵光源各点光斑射线方程可通过下式求得:
所得4×4矩阵的第三列即为对应行列点光斑在相机坐标系下射线方向向量,并且该射线肯定经过四棱锥坐标原点(xv,yv,zv);
通过上述计算过程可以得到相机坐标系下点阵光源四棱锥高方程、顶点坐标以及激光点阵各光斑的直线方程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110236831.9A CN113028988B (zh) | 2021-03-03 | 2021-03-03 | 一种点阵光源智能视觉传感器及其应用和标定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110236831.9A CN113028988B (zh) | 2021-03-03 | 2021-03-03 | 一种点阵光源智能视觉传感器及其应用和标定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113028988A true CN113028988A (zh) | 2021-06-25 |
CN113028988B CN113028988B (zh) | 2022-03-25 |
Family
ID=76466514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110236831.9A Active CN113028988B (zh) | 2021-03-03 | 2021-03-03 | 一种点阵光源智能视觉传感器及其应用和标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113028988B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113566706A (zh) * | 2021-08-01 | 2021-10-29 | 北京工业大学 | 一种复合快速高精度视觉定位的装置与方法 |
CN113834488A (zh) * | 2021-11-25 | 2021-12-24 | 之江实验室 | 基于结构光阵列远程识别的机器人空间姿态解算方法 |
CN115641382A (zh) * | 2022-10-21 | 2023-01-24 | 哈尔滨工业大学 | 正交型立体视觉结构的外参数标定方法 |
CN116152357A (zh) * | 2023-04-04 | 2023-05-23 | 国科天成科技股份有限公司 | 一种无限远对焦相机的参数标定系统和方法 |
CN116485918A (zh) * | 2023-06-25 | 2023-07-25 | 天府兴隆湖实验室 | 一种标定方法、系统及计算机可读存储介质 |
CN117182931A (zh) * | 2023-11-07 | 2023-12-08 | 上海仙工智能科技有限公司 | 一种机械臂标定数据校准方法及系统,存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015080090A (ja) * | 2013-10-17 | 2015-04-23 | 国立大学法人電気通信大学 | 電気触覚提示装置およびプログラム並びに記録媒体 |
CN206732416U (zh) * | 2017-05-03 | 2017-12-12 | 武汉科技大学 | 一种焊缝跟踪系统 |
CN206818145U (zh) * | 2017-06-07 | 2017-12-29 | 西安艾蒙希科技有限公司 | Ccd光电检测装置 |
-
2021
- 2021-03-03 CN CN202110236831.9A patent/CN113028988B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015080090A (ja) * | 2013-10-17 | 2015-04-23 | 国立大学法人電気通信大学 | 電気触覚提示装置およびプログラム並びに記録媒体 |
CN206732416U (zh) * | 2017-05-03 | 2017-12-12 | 武汉科技大学 | 一种焊缝跟踪系统 |
CN206818145U (zh) * | 2017-06-07 | 2017-12-29 | 西安艾蒙希科技有限公司 | Ccd光电检测装置 |
Non-Patent Citations (1)
Title |
---|
谢剑: "镜面瓷砖表面平整度视觉检测研究", 《现代信息科技》 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113566706A (zh) * | 2021-08-01 | 2021-10-29 | 北京工业大学 | 一种复合快速高精度视觉定位的装置与方法 |
CN113834488A (zh) * | 2021-11-25 | 2021-12-24 | 之江实验室 | 基于结构光阵列远程识别的机器人空间姿态解算方法 |
CN115641382A (zh) * | 2022-10-21 | 2023-01-24 | 哈尔滨工业大学 | 正交型立体视觉结构的外参数标定方法 |
CN115641382B (zh) * | 2022-10-21 | 2023-09-08 | 哈尔滨工业大学 | 正交型立体视觉结构的外参数标定方法 |
CN116152357A (zh) * | 2023-04-04 | 2023-05-23 | 国科天成科技股份有限公司 | 一种无限远对焦相机的参数标定系统和方法 |
CN116485918A (zh) * | 2023-06-25 | 2023-07-25 | 天府兴隆湖实验室 | 一种标定方法、系统及计算机可读存储介质 |
CN116485918B (zh) * | 2023-06-25 | 2023-09-08 | 天府兴隆湖实验室 | 一种标定方法、系统及计算机可读存储介质 |
CN117182931A (zh) * | 2023-11-07 | 2023-12-08 | 上海仙工智能科技有限公司 | 一种机械臂标定数据校准方法及系统,存储介质 |
CN117182931B (zh) * | 2023-11-07 | 2024-01-23 | 上海仙工智能科技有限公司 | 一种机械臂标定数据校准方法及系统,存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113028988B (zh) | 2022-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113028988B (zh) | 一种点阵光源智能视觉传感器及其应用和标定方法 | |
CN109794938B (zh) | 一种适用于曲面结构的机器人制孔误差补偿装置及其方法 | |
CN108555908B (zh) | 一种基于rgbd相机的堆叠工件姿态识别及拾取方法 | |
CN111536902B (zh) | 一种基于双棋盘格的振镜扫描系统标定方法 | |
CN107292927B (zh) | 一种基于双目视觉的对称运动平台位姿测量方法 | |
CN111604598B (zh) | 一种机械臂进给式激光刻蚀系统的对刀方法 | |
ES2399883T3 (es) | Procedimiento y sistema para la visualización de errores de superficie | |
CN107256568B (zh) | 一种高精度机械臂手眼相机标定方法及标定系统 | |
CN107175660B (zh) | 一种基于单目视觉的六自由度机器人运动学标定方法 | |
CN109794963B (zh) | 一种面向曲面构件的机器人快速定位方法 | |
CN108098762A (zh) | 一种基于新型视觉引导的机器人定位装置及方法 | |
CN110906863B (zh) | 一种用于线结构光传感器的手眼标定系统及标定方法 | |
CN110298888B (zh) | 基于单轴高精度位移平台的相机标定方法 | |
Boochs et al. | Increasing the accuracy of untaught robot positions by means of a multi-camera system | |
CN112958960B (zh) | 一种基于光学靶标的机器人手眼标定装置 | |
CN109059755B (zh) | 一种机器人高精度手眼标定方法 | |
CN112697112B (zh) | 一种相机水平面倾斜角的测量方法及装置 | |
CN110202560A (zh) | 一种基于单个特征点的手眼标定方法 | |
CN115284292A (zh) | 基于激光相机的机械臂手眼标定方法及装置 | |
TWI708667B (zh) | 運動裝置之位置與姿態校正裝置及系統與方法 | |
CN115139283A (zh) | 基于随机标记点阵的机器人手眼标定方法 | |
CN107123135B (zh) | 一种无序三维点云的无畸变成像方法 | |
CN113781558A (zh) | 一种姿态与位置解耦的机器人视觉寻位方法 | |
CN109773589A (zh) | 对工件表面进行在线测量和加工导引的方法及装置、设备 | |
US20220357153A1 (en) | Calibration method for computer vision system and three-dimensional reference object for use in same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |