CN113028988B - 一种点阵光源智能视觉传感器及其应用和标定方法 - Google Patents

Abstract

本发明公开了一种点阵光源智能视觉传感器及其应用和标定方法，属于属于工业机器人视觉控制领域，本发明的激光点阵光源智能视觉传感器可以在对曲面工件进行三维扫描或定位时提供更多的工件曲面信息，从而为工业机器人加工过程的智能规划和快速定位提供便利；其立体标靶便于结构光在摄像机中的标定，更适用于激光点阵在标靶表面精确位置的计算；其标定方案将激光点阵结构光看作一个正四棱锥，通过计算正四棱锥高的直线方程和顶点在相机坐标系下的位姿转换关系，结合各光平面与四棱锥高所成角可以快速计算激光点阵各光斑射线在相机坐标系下的空间位姿关系。采用这种方案便于操作者快速了解激光点阵光源及视觉传感器在机器人工作空间的位姿变化情况。

Description

一种点阵光源智能视觉传感器及其应用和标定方法

技术领域

本发明属于工业机器人视觉控制领域，具体涉及一种点阵光源智能视觉传感器及其应用和标定方法。

背景技术

目前，工业机器人的自动控制过程，需要以对工件的精确定位或工件曲面特征三维测量作为前提。传统的无结构光多目视觉控制技术精度低，且无法实现对曲面特征工件的准确轮廓提取及定位。而对于带有单线或多线激光光源的智能视觉测量系统，虽然可以得到空间曲面工件的表面特征，但是不便于提取线之间的曲面变换趋势，很难满足对空间曲面工件的快速规划任务。其具体问题为：(1)单目视觉法仅能提取活动工件部分轮廓特征，无法快速准确提取活动空间曲面工件的表面信息；(2)双面视觉法标定过程复杂且误差较大，并且同样很难完全满足对空间曲面工件的准确测量；(3)线激光光源可以实现空间曲面工件的表面测量，但是由于很难得到各条激光线与线之间的关系，在对空间曲面加工时计算量较大，规划难度较大。

因此，采用点阵光源视觉系统，成为解决上述问题的可行办法。但现有的点阵光源标定方案存在以下问题：需要首先通过调整摄像机角度，入射激光角度与工件关系，使标靶图像在计算机图像中保证水平，因此人为参与因素较多，不利于保证标定的便捷性，工程实用性低，无法实现对空间曲面工件准确定位，精确测量及快速规划。

为实现基于点阵光源的智能视觉传感器在机器人自动规划的应用，需要重点解决点阵光源智能视觉传感器的准确标定问题。

发明内容

本发明要解决的问题是提供一种实现对空间曲面工件准确定位、轮廓提取、精确测量及路径快速规划的点阵光源智能视觉传感器及其应用和标定方法。

为解决上述技术问题，本发明采用的技术方案是：一种点阵光源智能视觉传感器，包括智能视觉传感器，所述智能视觉传感器包括工业相机和点阵激光器，所述点阵激光器与工业相机固联，可发射投影形状为正方形的等距点阵，所述智能视觉传感器上安装有专用辅助方向点光源。

一种点阵光源智能视觉传感器的应用，包括工业机器人及其控制系统，末端执行机构，工业计算机和智能视觉传感器，所述智能视觉传感器采用eye-in-hand方式控制工业机器人；在使用过程中结合专用的辅助方向点光源确定点阵的正方向；采用专用立体标靶标定激光点阵参数。

所述工业机器人智能传感器标定过程分为相机内参及手眼关系标定，智能传感器点阵光源参数标定两部分。

一种点阵光源智能视觉传感器的标定方法，包括以下步骤：

步骤一：采用eye-in-hand方式安装智能视觉传感器，示教专用立体标靶特征点，求解标靶与机器人基坐标系间关系，

在步骤一中，所述专用立体标靶为正立方体形状，尺寸200×200×200mm，标靶精度可达0.01mm，

所述立体标靶各表面上印有图形作为标记点，在示教标定工作中用于确认标靶工件方向；标靶各表面图形都由代表起点的正方形标定点，以及两个圆形标定点组成，各点用直线连接起来用于激光点阵光源的标定；标靶平面上图形与标靶相对位置已知；标靶底面是一张传统标定用棋盘格可辅助摄像机时间标定，在点阵光源视觉传感器标定工作时该面朝下；

标靶坐标系G中心在正方体体心，方向与标靶上标定面0方向相同；

则面0、面1、面2、面3、面4坐标系与标靶坐标系转换矩阵分别为：

工件示教标定时，可根据各平面上特殊标定图形指示的方向，由正方形标定点对应顶点①到中间圆形标定点对应顶点②，最后到尾部圆形标定点对应顶点③，控制机器人工具完成示教工作；

计算标靶上平面X和Y轴坐标方向，其中点①到点②为各标定平面X轴方向，点②到点③为各标定平面Y轴方向，Z轴方向按照右手坐标系确定；最后得到标靶相对机器人基座坐标系位姿矩阵^BT_G；

步骤二，控制机器人带动摄像机到不同位置，对立体标靶拍照，求解摄像机相与工业机器人工具之间位姿关系，也就是手眼关系，

每次拍照需确保可拍得立体标靶至少两个面，因此可得包括两个标定面上六个图形标定点和立方体六个顶点共12个标定点，用于摄像机和机械臂之间的手眼标定；

首先已知标靶在相机下的位姿转换关系为：

^CT_G＝^CT_T ^TT_B ^BT_G＝^CT_T ^TT_G

也就是标靶G在相机C下位姿矩阵等于工具T在相机C下位姿矩阵乘以机器人基座B在工具T系位姿矩阵，再乘标靶G在机器人基坐标系B下位姿矩阵；

其中^BT_G由机器人工具标定得到，^TT_B可由机器人示教盒读取位姿参数并计算位姿矩阵逆矩阵得到，因此^TT_G是已知的；

像素点位置和相机坐标系坐标转换关系为：

其中M_in为3×4内参矩阵，^CT_T为4×4手眼关系逆矩阵，设

则

其中M_T和M都为3×4矩阵，包含了内参数和手眼关系外参数据，u、v为像素坐标，P_g代表特征点在标靶坐标系下的位置，由机器人示教得到；

采用Faugeras法即可求解M矩阵，通过多次拍摄，求解最优摄像机内参数及手眼关系位姿矩阵^TT_C；

其中对应点的Z_C可以通过M矩阵和目标点位置求得：

Z_C＝m₃₁x_g+m₃₂y_g+m₃₃z_g+m₃₄

步骤三，设激光点阵行数和列数都为2n+1，打开辅助光源，通过辅助光源定义激光点阵的行和列，

辅助点光源与点阵光源在安装时需保证辅助点光源的光斑在视距1m的范围内不会与点阵光源区域重合；

投射点阵光源后，点阵光源在平面上打出一个四边形区域，辅助点光源在四边形一边外，由此定义该边的方向为点阵光源Xp方向也就是行方向，与其相交的边定义为点阵光源Yp方向也就是列方向，Zp方向为激光点阵光源中心射线方向；

步骤四，在激光点阵图像上用鼠标拾取某一行激光点在立体标靶上的对应位置，利用在激光行阵在不同标靶平面内三点计算该行激光点在摄像机坐标系下的光平面方程；用同样的方法求解其他行激光点阵的激光平面方程，

当点阵光源投射到立体标靶表面时，根据辅助方向点光源位置，手动选取图像中第i行点阵在不同标靶平面图像上的位置；

根据第i行点阵在各标定面上的像素位置计算激光点在相机坐标系下的位置(x_i,j，y_i,j，z_i,j)，其中i为所在行数，i∈(1,2n+1)；对于确定的第i行j为该行上各点序号，对于整行激光点来说j∈(1,2n+1)，由辅助方向点光源确定顺序；

选择第i行激光点阵在标靶上的三个点，选点时确保三个点不在同一标定面上，则根据三点成一面原理可以得到代表该行点阵在两个标定平面上形成的光平面方程；

其中j1、j2和j3为第i行点阵在立体标靶两个不同平面投射点序号；

考虑到图像处理误差，该行点阵在工件上投影处理结果不一定在同一平面上，因此对于单行点阵的标定需要采用多组样本进行分析；

对于一行点阵列共2n+1个点，假设投射到立体标靶至少两个平面上，各平面点数分别为n1、n2，且n1+n2＝2n+1，则可以得到N个平面方程，

然后用最小二乘法求得最优解，得到该行点阵光源对应光平面；

进一步用同样的方法计算其他各行点阵光源对应光平面Σ_ri；

步骤五，采用步骤4的过程，计算各列激光点阵平面方程Σ_cj；

步骤六，将激光点阵光源整体光路看作一个高和底边无限延伸的正四棱锥，利用第n+1行和第n+1列平面方程计算正四棱锥光学高方向点光源在图像坐标系下的直线方程L_h，并以此计算点阵光源各行平面与高方向所成角α_i，及列平面与高方向所成角β_j。

利用第n+1行激光点平面方程和n+1列激光点平面方程求解正四棱锥光学高在相机坐标系下方程：

四棱锥光学高方程记为L_h，则正四棱锥高方向数为：

点阵光源激光发生器各行光平面Σ_ri与列光平面Σ_cj与l_h所成角分别为：

最后可得激光点阵光学四棱锥各激光射线角度矩阵：

角度±由行列各自序号决定，对于行序号i＜n+1取值为正，对于列序号j＜n+1时为取值正，其他为负；

由于对应行列点阵光源所在光平面与四棱锥光学高方向所成角应该是大小相等，方向相反的，因此角度计算完毕后可根据第i行点阵光平面与对应的2n-i+1行光平面角度值差距判断标定结果是否可以满足标定精度，如果不满足可重新进行对应行的标定工作，直到满足精度为止；同样的也要对各列点阵光源的光平面进行判断；

因此对于光学元件的对称性，激光射线角度矩阵也可写为如下形式：

依次计算点阵光源各行及各列光平面与点阵光源四棱锥光学高的交点作为四棱锥顶点；

通过等式(15)和等式(16)可以分别求得各行点阵与各列点阵所在光平面与四棱锥高交点坐标P_v,也就是四棱锥坐标系原点O_p；

理想状态下这些交点是同一点，但是由于标靶加工误差、标靶图像处理误差、机器人本体误差等因素，得到的各交点不可能是同一个点，因此需要继续采用最小二乘法求出四棱锥顶点的最优解；

设激光点阵四棱锥光学顶点在相机坐标系下坐标为(x_v，y_v，z_v)，根据式(10)可得四棱锥光学高在相机坐标系C下的方程为：

激光点阵四棱锥的坐标系以顶点(x_v，y_v，z_v)为坐标原点，以l_h、m_h，n_h为四棱锥在相机坐标系Zp轴方向，Xp轴和Yp轴方向根据第n+1行点阵和n+1列点阵光平面的法向量得出，正方向由辅助点光源确定,设激光点阵四棱锥坐标系P在相机坐标系下位姿矩阵为：

则激光点阵光源各点光斑射线方程可通过下式求得：

所得4×4矩阵的第三列即为对应行列点光斑在相机坐标系下射线方向向量，并且该射线肯定经过四棱锥坐标原点(x_v，y_v，z_v)；

通过上述计算过程可以得到相机坐标系下点阵光源四棱锥高方程、顶点坐标以及激光点阵各光斑的直线方程，

步骤七，在实际工件测量或机器人路径规划时，可根据四棱锥高方向直线方程L_h和其他点阵射线所在行、列光平面与光学高方向直线方程所成角α_i，β_j计算智能传感器点阵在空间曲面工件上的坐标，用于确定工件外形尺寸，也可根据点阵在三维曲面上的信息进行空间曲面特征的路径规划工作。

由于采用上述技术方案，本发明涉及基于智能视觉传感器的快速标定及机器人工作的自动规划，(1)相对于传统的结构光激光视觉传感器，本发明的激光点阵光源智能视觉传感器可以在对曲面工件进行三维扫描或定位时提供更多的工件曲面信息，从而为工业机器人加工过程的智能规划和快速定位提供便利。(2)本发明所设计立体标靶更便于结构光在摄像机中的标定，标靶上的图形由点和线组成，相较于传统的棋盘格和点阵类标靶，更适用于激光点阵在标靶表面精确位置的计算。(3)本发明的标定方案将激光点阵结构光看作一个正四棱锥，通过计算正四棱锥高的直线方程和顶点在相机坐标系下的位姿转换关系，并结合各光平面与四棱锥高所成角可以快速计算激光点阵各光斑射线在相机坐标系下的空间位姿关系。采用这种定义方案便于操作者快速了解激光点阵光源及视觉传感器在机器人工作空间的位姿变化情况。

附图说明

下面通过参考附图并结合实例具体地描述本发明，本发明的优点和实现方式将会更加明显，其中附图所示内容仅用于对本发明的解释说明，而不构成对本发明的任何意义上的限制，在附图中：

图1是本发明的使用状态示意图

图2是本发明智能视觉传感器的结构示意图

图3是本发明立体标靶及坐标系的建立示意图

图4是本发明辅助点光源与点阵光源行列方向示意图

图5是本发明点阵光源正四棱锥光路参数示意图

图中：

1、工业机器人及其控制系统 2、末端执行机构

3、工业计算机 4、智能视觉传感器

5、工业相机 6、点阵激光器

7、辅助方向点光源 8、立体标靶

具体实施方式

下面结合实施例及其附图进一步叙述本发明：

如图1至图5所示，

一种点阵光源智能视觉传感器，包括智能视觉传感器4，智能视觉传感器4包括工业相机5和点阵激光器6，点阵激光器6与工业相机5固联，可发射投影形状为正方形的等距点阵，智能视觉传感器4上安装有专用辅助方向点光源7。

一种点阵光源智能视觉传感器的应用，包括工业机器人及其控制系统1，末端执行机构2，工业计算机3和智能视觉传感器4，智能视觉传感器4采用eye-in-hand方式控制工业机器人；在使用过程中结合专用的辅助方向点光源7确定点阵的正方向；采用专用立体标靶8标定激光点阵参数。工业机器人智能传感器标定过程分为相机内参及手眼关系标定，智能传感器点阵光源参数标定两部分。

一种点阵光源智能视觉传感器的标定方法，包括以下步骤：

步骤一：采用eye-in-hand方式安装智能视觉传感器4，示教专用立体标靶8特征点，求解标靶与机器人基坐标系间关系，

在步骤一中，专用立体标靶8为正立方体形状，尺寸200×200×200mm，标靶精度可达0.01mm，

立体标靶8各表面上印有图形作为标记点，在示教标定工作中用于确认标靶工件方向；标靶各表面图形都由代表起点的正方形标定点，以及两个圆形标定点组成，各点用直线连接起来用于激光点阵光源的标定；标靶平面上图形与标靶相对位置已知；标靶底面是一张传统标定用棋盘格可辅助摄像机时间标定，在点阵光源视觉传感器标定工作时该面朝下；

标靶坐标系G中心在正方体体心，方向与标靶上标定面0方向相同；

则面0、面1、面2、面3、面4坐标系与标靶坐标系转换矩阵分别为：

工件示教标定时，可根据各平面上特殊标定图形指示的方向，由正方形标定点对应顶点①到中间圆形标定点对应顶点②，最后到尾部圆形标定点对应顶点③，控制机器人工具完成示教工作；

计算标靶上平面X和Y轴坐标方向，其中点①到点②为各标定平面X轴方向，点②到点③为各标定平面Y轴方向，Z轴方向按照右手坐标系确定；最后得到标靶相对机器人基座坐标系位姿矩阵^BT_G；

步骤二，控制机器人带动摄像机到不同位置，对立体标靶拍照，求解摄像机相与工业机器人工具之间位姿关系，也就是手眼关系，

每次拍照需确保可拍得立体标靶至少两个面，因此可得包括两个标定面上六个图形标定点和立方体六个顶点共12个标定点，用于摄像机和机械臂之间的手眼标定；

首先已知标靶在相机下的位姿转换关系为：

^CT_G＝^CT_T ^TT_B ^BT_G＝^CT_T ^TT_G (2)

也就是标靶G在相机C下位姿矩阵等于工具T在相机C下位姿矩阵乘以机器人基座B在工具T系位姿矩阵，再乘标靶G在机器人基坐标系B下位姿矩阵；

其中^BT_G由机器人工具标定得到，^TT_B可由机器人示教盒读取位姿参数并计算位姿矩阵逆矩阵得到，因此^TT_G是已知的；

像素点位置和相机坐标系坐标转换关系为：

其中M_in为3×4内参矩阵，^CT_T为4×4手眼关系逆矩阵，设

则

其中M_T和M都为3×4矩阵，包含了内参数和手眼关系外参数据，u、v为像素坐标，P_g代表特征点在标靶坐标系下的位置，由机器人示教得到；

采用Faugeras法即可求解M矩阵，通过多次拍摄，求解最优摄像机内参数及手眼关系位姿矩阵^TT_C；

其中对应点的Z_C可以通过M矩阵和目标点位置求得：

Z_C＝m₃₁x_g+m₃₂y_g+m₃₃z_g+m₃₄ (6)

步骤三，设激光点阵行数和列数都为2n+1，打开辅助光源，通过辅助光源定义激光点阵的行和列，

辅助点光源与点阵光源在安装时需保证辅助点光源的光斑在视距1m的范围内不会与点阵光源区域重合；

投射点阵光源后，点阵光源在平面上打出一个四边形区域，辅助点光源在四边形一边外，由此定义该边的方向为点阵光源Xp方向也就是行方向，与其相交的边定义为点阵光源Yp方向也就是列方向，Zp方向为激光点阵光源中心射线方向；

步骤四，在激光点阵图像上用鼠标拾取某一行激光点在立体标靶上的对应位置，利用在激光行阵在不同标靶平面内三点计算该行激光点在摄像机坐标系下的光平面方程；用同样的方法求解其他行激光点阵的激光平面方程，

当点阵光源投射到立体标靶表面时，根据辅助方向点光源位置，手动选取图像中第i行点阵在不同标靶平面图像上的位置；

根据第i行点阵在各标定面上的像素位置计算激光点在相机坐标系下的位置(x_i,j，y_i,j，z_i,j)，其中i为所在行数，i∈(1,2n+1)；对于确定的第i行j为该行上各点序号，对于整行激光点来说j∈(1,2n+1)，由辅助方向点光源确定顺序；

选择第i行激光点阵在标靶上的三个点，选点时确保三个点不在同一标定面上，则根据三点成一面原理可以得到代表该行点阵在两个标定平面上形成的光平面方程；

其中j1、j2和j3为第i行点阵在立体标靶两个不同平面投射点序号；

考虑到图像处理误差，该行点阵在工件上投影处理结果不一定在同一平面上，因此对于单行点阵的标定需要采用多组样本进行分析；

对于一行点阵列共2n+1个点，假设投射到立体标靶至少两个平面上，各平面点数分别为n1、n2，且n1+n2＝2n+1，则可以得到N个平面方程，

然后用最小二乘法求得最优解，得到该行点阵光源对应光平面；

进一步用同样的方法计算其他各行点阵光源对应光平面Σ_ri；

步骤五，采用步骤4的过程，计算各列激光点阵平面方程Σ_cj；

步骤六，将激光点阵光源整体光路看作一个高和底边无限延伸的正四棱锥，利用第n+1行和第n+1列平面方程计算正四棱锥光学高方向点光源在图像坐标系下的直线方程L_h，并以此计算点阵光源各行平面与高方向所成角α_i，及列平面与高方向所成角β_j。

利用第n+1行激光点平面方程和n+1列激光点平面方程求解正四棱锥光学高在相机坐标系下方程：

四棱锥光学高方程记为L_h，则正四棱锥高方向数为：

点阵光源激光发生器各行光平面Σ_ri与列光平面Σ_cj与l_h所成角分别为：

最后可得激光点阵光学四棱锥各激光射线角度矩阵：

角度±由行列各自序号决定，对于行序号i＜n+1取值为正，对于列序号j＜n+1时为取值正，其他为负；

由于对应行列点阵光源所在光平面与四棱锥光学高方向所成角应该是大小相等，方向相反的，因此角度计算完毕后可根据第i行点阵光平面与对应的2n-i+1行光平面角度值差距判断标定结果是否可以满足标定精度，如果不满足可重新进行对应行的标定工作，直到满足精度为止；同样的也要对各列点阵光源的光平面进行判断；

因此对于光学元件的对称性，激光射线角度矩阵也可写为如下形式：

依次计算点阵光源各行及各列光平面与点阵光源四棱锥光学高的交点作为四棱锥顶点；

通过等式(15)和等式(16)可以分别求得各行点阵与各列点阵所在光平面与四棱锥高交点坐标P_v,也就是四棱锥坐标系原点O_p；

理想状态下这些交点是同一点，但是由于标靶加工误差、标靶图像处理误差、机器人本体误差等因素，得到的各交点不可能是同一个点，因此需要继续采用最小二乘法求出四棱锥顶点的最优解；

设激光点阵四棱锥光学顶点在相机坐标系下坐标为(x_v，y_v，z_v)，根据式(10)可得四棱锥光学高在相机坐标系C下的方程为：

激光点阵四棱锥的坐标系以顶点(x_v，y_v，z_v)为坐标原点，以l_h、m_h，n_h为四棱锥在相机坐标系Zp轴方向，Xp轴和Yp轴方向根据第n+1行点阵和n+1列点阵光平面的法向量得出，正方向由辅助点光源确定,设激光点阵四棱锥坐标系P在相机坐标系下位姿矩阵为：

则激光点阵光源各点光斑射线方程可通过下式求得：

所得4×4矩阵的第三列即为对应行列点光斑在相机坐标系下射线方向向量，并且该射线肯定经过四棱锥坐标原点(x_v，y_v，z_v)；

通过上述计算过程可以得到相机坐标系下点阵光源四棱锥高方程、顶点坐标以及激光点阵各光斑的直线方程，

步骤七，在实际工件测量或机器人路径规划时，可根据四棱锥高方向直线方程L_h和其他点阵射线所在行、列光平面与光学高方向直线方程所成角α_i，β_j计算智能传感器点阵在空间曲面工件上的坐标，用于确定工件外形尺寸，也可根据点阵在三维曲面上的信息进行空间曲面特征的路径规划工作。

以上对本发明的实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明范围所作的均等变化与改进等，均应仍归属于本专利涵盖范围之内。

Claims (7)

1.一种点阵光源智能视觉传感器的标定方法，其特征在于：包括以下步骤：

步骤一：采用eye-in-hand方式安装智能视觉传感器，示教立体标靶特征点，求解标靶与机器人基坐标系间关系；

步骤二，控制机器人带动摄像机到不同位置，对立体标靶拍照，求解摄像机相与工业机器人工具之间位姿关系，也就是手眼关系；

步骤三，设激光点阵行数和列数都为2n+1，打开辅助光源，通过辅助光源定义激光点阵的行和列；

步骤四，在激光点阵图像上用鼠标拾取某一行激光点在立体标靶上的对应位置，利用在激光行阵在不同标靶平面内三点计算该行激光点在摄像机坐标系下的光平面方程；用同样的方法求解其他行激光点阵的激光平面方程；

步骤五，采用步骤4的过程，计算各列激光点阵平面方程Σ_cj；

步骤六，将激光点阵光源整体光路看作一个高和底边无限延伸的正四棱锥，利用第n+1行和第n+1列平面方程计算正四棱锥光学高方向点光源在图像坐标系下的直线方程L_h，并以此计算点阵光源各行平面与高方向所成角α_i，及列平面与高方向所成角β_j；

步骤七，在实际工件测量或机器人路径规划时，可根据四棱锥高方向直线方程L_h和其他点阵射线所在行、列光平面与光学高方向直线方程所成角α_i，β_j计算智能传感器点阵在空间曲面工件上的坐标，用于确定工件外形尺寸，也可根据点阵在三维曲面上的信息进行空间曲面特征的路径规划工作。

2.根据权利要求1所述的点阵光源智能视觉传感器的标定方法，其特征在于：在步骤一中，所述立体标靶为正立方体形状，尺寸200×200×200mm，标靶精度达0.01mm。

3.根据权利要求1所述的点阵光源智能视觉传感器的标定方法，其特征在于：在步骤一中，所述立体标靶各表面上印有图形作为标记点，在示教标定工作中用于确认标靶工件方向；标靶各表面图形都由代表起点的正方形标定点，以及两个圆形标定点组成，各点用直线连接起来用于激光点阵光源的标定；标靶平面上图形与标靶相对位置已知；标靶底面是一张传统标定用棋盘格可辅助摄像机时间标定，在点阵光源视觉传感器标定工作时该面朝下；

标靶坐标系G中心在正方体体心，方向与标靶上标定面0方向相同；

则面0、面1、面2、面3、面4坐标系与标靶坐标系转换矩阵分别为：

工件示教标定时，可根据各平面上特殊标定图形指示的方向，由正方形标定点对应顶点①到中间圆形标定点对应顶点②，最后到尾部圆形标定点对应顶点③，控制机器人工具完成示教工作；

计算标靶上平面X和Y轴坐标方向，其中点①到点②为各标定平面X轴方向，点②到点③为各标定平面Y轴方向，Z轴方向按照右手坐标系确定；最后得到标靶相对机器人基座坐标系位姿矩阵^BT_G。

4.根据权利要求3所述的点阵光源智能视觉传感器的标定方法，其特征在于：在步骤二中，每次拍照需确保可拍得立体标靶至少两个面，因此可得包括两个标定面上六个图形标定点和立方体六个顶点共12个标定点，用于摄像机和机械臂之间的手眼标定；

首先已知标靶在相机下的位姿转换关系为：

^CT_G＝^CT_T ^TT_B ^BT_G＝^CT_T ^TT_G

也就是标靶G在相机C下位姿矩阵等于工具T在相机C下位姿矩阵乘以机器人基座B在工具T系位姿矩阵，再乘标靶G在机器人基坐标系B下位姿矩阵；

其中^BT_G由机器人工具标定得到，^TT_B可由机器人示教盒读取位姿参数并计算位姿矩阵逆矩阵得到，因此^TT_G是已知的；

像素点位置和相机坐标系坐标转换关系为：

其中M_in为3×4内参矩阵，^CT_T为4×4手眼关系逆矩阵，设

则

其中M_T和M都为3×4矩阵，包含了内参数和手眼关系外参数据，u、v为像素坐标，P_g代表特征点在标靶坐标系下的位置，由机器人示教得到；

采用Faugeras法即可求解M矩阵，通过多次拍摄，求解最优摄像机内参数及手眼关系位姿矩阵^TT_C；

其中对应点的Z_C可以通过M矩阵和目标点位置求得：

Z_C＝m₃₁x_g+m₃₂y_g+m₃₃z_g+m₃₄。

5.根据权利要求4所述的点阵光源智能视觉传感器的标定方法，其特征在于：在步骤三中，辅助点光源与点阵光源在安装时需保证辅助点光源的光斑在视距1m的范围内不会与点阵光源区域重合；投射点阵光源后，点阵光源在平面上打出一个四边形区域，辅助点光源在四边形一边外，由此定义该边的方向为点阵光源Xp方向也就是行方向，与其相交的边定义为点阵光源Yp方向也就是列方向，Zp方向为激光点阵光源中心射线方向。

6.根据权利要求5所述的点阵光源智能视觉传感器的标定方法，其特征在于：在步骤四中，当点阵光源投射到立体标靶表面时，根据辅助方向点光源位置，手动选取图像中第i行点阵在不同标靶平面图像上的位置；根据第i行点阵在各标定面上的像素位置计算激光点在相机坐标系下的位置(x_i,j，y_i,j，z_i,j)，其中i为所在行数，i∈(1,2n+1)；对于确定的第i行j为该行上各点序号，对于整行激光点来说j∈(1,2n+1)，由辅助方向点光源确定顺序；选择第i行激光点阵在标靶上的三个点，选点时确保三个点不在同一标定面上，则根据三点成一面原理可以得到代表该行点阵在两个标定平面上形成的光平面方程；

其中j1、j2和j3为第i行点阵在立体标靶两个不同平面投射点序号；

考虑到图像处理误差，该行点阵在工件上投影处理结果不一定在同一平面上，因此对于单行点阵的标定需要采用多组样本进行分析；

对于一行点阵列共2n+1个点，假设投射到立体标靶至少两个平面上，各平面点数分别为n1、n2，且n1+n2＝2n+1，则可以得到N个平面方程，

然后用最小二乘法求得最优解，得到该行点阵光源对应光平面；

进一步用同样的方法计算其他各行点阵光源对应光平面Σ_ri。

7.根据权利要求6所述的点阵光源智能视觉传感器的标定方法，其特征在于：在步骤六中，利用第n+1行激光点平面方程和n+1列激光点平面方程求解正四棱锥光学高在相机坐标系下方程：

四棱锥光学高方程记为L_h，则正四棱锥高方向数为：

点阵光源激光发生器各行光平面Σ_ri与列光平面Σ_cj与l_h所成角分别为：

最后可得激光点阵光学四棱锥各激光射线角度矩阵：

角度±由行列各自序号决定，对于行序号i＜n+1取值为正，对于列序号j＜n+1时为取值正，其他为负；

由于对应行列点阵光源所在光平面与四棱锥光学高方向所成角应该是大小相等，方向相反的，因此角度计算完毕后可根据第i行点阵光平面与对应的2n-i+1行光平面角度值差距判断标定结果是否可以满足标定精度，如果不满足可重新进行对应行的标定工作，直到满足精度为止；同样的也要对各列点阵光源的光平面进行判断；

因此对于光学元件的对称性，激光射线角度矩阵也可写为如下形式：

依次计算点阵光源各行及各列光平面与点阵光源四棱锥光学高的交点作为四棱锥顶点；

通过上述式子可以分别求得各行点阵与各列点阵所在光平面与四棱锥高交点坐标P_v,也就是四棱锥坐标系原点O_p；

理想状态下这些交点是同一点，但是由于标靶加工误差、标靶图像处理误差、机器人本体误差等因素，得到的各交点不可能是同一个点，因此需要继续采用最小二乘法求出四棱锥顶点的最优解；

设激光点阵四棱锥光学顶点在相机坐标系下坐标为(x_v，y_v，z_v)，可得四棱锥光学高在相机坐标系C下的方程为：

激光点阵四棱锥的坐标系以顶点(x_v，y_v，z_v)为坐标原点，以l_h、m_h，n_h为四棱锥在相机坐标系Zp轴方向，Xp轴和Yp轴方向根据第n+1行点阵和n+1列点阵光平面的法向量得出，正方向由辅助点光源确定,设激光点阵四棱锥坐标系P在相机坐标系下位姿矩阵为：

则激光点阵光源各点光斑射线方程可通过下式求得：

所得4×4矩阵的第三列即为对应行列点光斑在相机坐标系下射线方向向量，并且该射线肯定经过四棱锥坐标原点(x_v，y_v，z_v)；

通过上述计算过程可以得到相机坐标系下点阵光源四棱锥高方程、顶点坐标以及激光点阵各光斑的直线方程。

Images