CN109443207B - 一种光笔式机器人原位测量系统与方法 - Google Patents

Abstract

本发明属于精密测量的领域，并具体公开了光笔式机器人原位测量系统与方法。该系统主要包括工业机器人、光笔测量单元、双目视觉单元和工业计算机，在光笔测量单元中设置有光笔、探针、弹簧和力传感器。采用工业机器人夹持光笔测量单元按照规划的路径运动，使得探针在弹簧的作用下与被测工件柔性接触，同时采用双目视觉单元按照设定的帧率实时采集光笔图像，传输到工业计算机中进行图像处理，运用双目视觉三维重建原理计算光笔上探针球心的位置，并在此基础上基于力传感器采集的接触力合力方向进行探针球头半径误差补偿，进而获得工件表面的测量结果。本发明中光笔测量单元按照规划的路径进行自动化测量，有效地提高了轮廓测量的效率和精度。

Description

一种光笔式机器人原位测量系统与方法

技术领域

本发明属于精密测量领域，更具体地，涉及一种光笔式机器人原位测量系统与方法。

背景技术

产品型面尺寸测量是产品生产过程中非常重要的一个环节，目前工业中常采用三坐标测量机进行测量。三坐标测量机具有测量精度高、范围广的特点，但是三坐标测量机由于具有精密的运动平台和光栅单元，需要安放在恒温恒湿的洁净室中，工件的测量必须经过“加工-拆卸-装夹-测量-拆卸-装夹-再加工”几个过程，使得测量和再加工过程中不可避免的会引入二次装夹误差，这不仅降低了工件的加工精度，还严重影响了加工效率。除了传统的接触式测量之外，采用激光和结构光等视觉测量方法可以实现工件的原位测量，能显著提高测量效率，快速获得大量的点云特征数据，但是视觉测量方法对于隐性特征如孔、槽等也无法实现精确测量，无法精确获得单个特征点的三维坐标，无法适用于曲面的反光部分的测量，而且采集到的大量点云数据会导致计算复杂。

近几年的研究中，国内外研究人员将接触式测量和视觉非接触式测量结合起来，采用手持光笔式测量实现零件的快速精确测量。光笔式测量即在接触式探针上设置特征点，采用视觉的方式捕捉特征点的位置，从而建立光笔坐标系，通过标定即可得到探针中心相对于光笔坐标系的位置。采用这种方法既可以实现零件各种特征的测量，还能有效较少测量数据量，提高测量效率。国内相关方面的研究较多，专利CN1570547A(天津大学)提出了一种光笔式测量单元，设计了包含3个光靶标的光笔，采用单目视觉和计算机单元实现光笔的位姿反馈，其光笔上探针球心与光靶标的圆心在同一个直线上；专利CN105423912A提出了基于精密二轴转台的光笔跟踪单元，采用单目视觉和计算机单元实现光笔的位姿反馈，并通过计算机控制二轴精密转台运动，增大相机的测量范围。

上述光笔式测量的专利均采用手持的方式使光笔与工件接触，触发单目视觉相机采集图片，通过透视成像原理计算探针球心的位置。该方案需要对光笔上的特征点的位置关系进行精确标定才能实现透视变换计算，且采用人工手持的测量方式根据人的经验选点测量，无法对工件表面的特征进行合理测量，尤其是针对复杂曲面类零件的测量，合理的规划测量路径是提高测量精度和效率的关键步骤之一。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种光笔式机器人原位测量系统与方法，其目的在于，通过将光笔设于工业机器人末端，并通过双目视觉单元实时进行坐标采集和变换，实现光笔的测量轨迹控制，由此避免了个人经验带来的测量误差，即使针对复杂曲面类零件也能够实现合理的路径规划，同时提升测量效率。

为实现上述目的，按照本发明的一个方面，提供了一种一种光笔式机器人原位测量系统，包括：工业机器人、光笔测量单元、双目视觉单元和工业计算机；

工业机器人用于夹持并带动光笔测量单元运动；

光笔测量单元包括力传感器、光笔和探针；力传感器固定于工业机器人末端，用于检测探针与工件的接触力信号，并将接触力信号传输至工业计算机；光笔一端直接或间接连接力传感器，另一端固定探针，光笔上设置有特征圆，用于确定光笔坐标系；

双目视觉单元包含两个工业相机，两个工业相机同步触发，并与工业计算机实时通讯；两个工业相机用于按照设定的帧率同步采集光笔的图像，并传输至工业计算机；

工业计算机用于根据接收到的光笔图像进行特征圆的坐标提取并完成光笔与探针的三维重建、根据接收到的接触力信号确定探针球心坐标的半径补偿向量的方向，以及根据被测工件拟合工业机器人运动轨迹规划，驱动工业机器人带动光笔测量单元运动完成工件原位测量。

进一步地，光笔测量单元还包括：法兰、挡圈、滑块、导槽、弹簧和导杆；

法兰安装在工业机器人末端；力传感器安装在法兰与挡圈之间，通过法兰连接工业机器人；滑块设于导槽内部并能够沿导槽前后滑动，导槽的后端固定在挡圈上；导杆的后端从导槽前端插入导槽内部，并与滑块连接；光笔固定于导杆前端，探针固定于光笔前端；滑块与导槽的前端内壁面之间，以及导杆的前端凸台与导槽的前端外壁面之间的至少一处设有弹簧，以使探针与工件表面柔性接触。

为了实现上述目的，本发明还提供了一种基于上述光笔式机器人原位测量系统对工件进行原位测量的方法，包括以下步骤：

S1：对工业机器人末端的光笔坐标系进行标定，计算出光笔坐标系相对于机器人坐标系的变换矩阵；在被测工件上选取特征点，对工件坐标系进行标定，计算出工件坐标系相对于机器人坐标系的变换矩阵；从而获得工件坐标系到光笔坐标系的变换关系；

S2：使用标定好的两个工业相机拍摄光笔图像并传输到工业计算机，分别计算两幅图像中各个特征圆和探针球头圆轮廓的中心点坐标，进而求出特征圆和探针球头圆心点在世界坐标系中的三维坐标；随后，通过拟合特征圆圆心建立光笔坐标系，计算出世界坐标系到光笔坐标系的变换矩阵，并确定探针球心在光笔坐标系中的位置；

在工件坐标系上寻找正交的特征平面，在平面上分别贴上靶点，用两个工业相机采集靶点图片并按照上述计算圆心点坐标的过程计算靶点的三维坐标，并拟合建立工件坐标系，计算世界坐标系到工件坐标系的变换矩阵，进而结合世界坐标系到光笔坐标系的变换矩阵获得光笔坐标系到工件坐标系的变换矩阵；

S3：在工业计算机上设定被测工件的测量轨迹，并将工件坐标系中测量轨迹上的离散坐标点按照步骤S1获得的变换关系变换到光笔坐标系中，光笔坐标系中的离散坐标点即为工业机器人的测量路径，根据工业机器人的运行轨迹生成机器人的运动控制程序，驱动工业机器人按照测量路径运动，以使探针与被测工件接触，进行原位测量。

进一步地，步骤S1包括如下步骤：

对工业机器人末端的光笔坐标系o₁-x₁y₁z₁进行标定，计算出光笔坐标系o₁-x₁y₁z₁相对于机器人坐标系o_R-x_Ry_Rz_R的变换矩阵则：

其中，分别为光笔坐标系相对于机器人坐标系的旋转矩阵和平移矩阵；

在被测工件上选取特征点，对工件坐标系o₀-x₀y₀z₀进行标定，计算出工件坐标系o₀-x₀y₀z₀相对于机器人坐标系o_R-x_Ry_Rz_R的变换矩阵则：

其中，分别为工件坐标系相对于机器人坐标系的旋转矩阵和平移矩阵；

从而获得工件坐标系o₀-x₀y₀z₀到光笔坐标系o₁-x₁y₁z₁的变换关系为：

进一步地，步骤S2包括如下步骤：

使用标定好的工业相机拍摄光笔图像并传输到工业计算机，提取特征圆轮廓和探针球头的圆形轮廓，分别计算左右两个工业相机所获取的两幅图像中各个圆轮廓的中心点坐标(u_L,v_L)和(u_R,v_R)；

根据双目视觉投影原理可得：

d＝(u_L-u_R)s (7)

其中，T_x表示左右相机之间的距离，(u₀,v₀)表示相机图像坐标系原点在像素坐标系中的位置，s表示单个图像像素所表示的物理尺寸，d为各圆形轮廓的圆心在两幅图像像素坐标系中的视差，(x,y)表示圆心在左图图像坐标系下的坐标值，f表示相机的焦距，(c_x,c_y)表示左图中的光心位置；

根据式(4)～(7)可得：

则圆心点在世界坐标系中的三维坐标(x_w,y_w,z_w)可表示为

(x_w,y_w,z_w)＝(X/W,Y/W,Z/W) (9)

根据公式(4)～(9)对光笔上的特征圆和探针球头进行三维重建，得到圆心的三维坐标；通过拟合特征圆的圆心建立光笔坐标系o₁-x₁y₁z₁，计算世界坐标系o_w-x_wy_wz_w到光笔坐标系o₁-x₁y₁z₁的变换矩阵并确定探针球心在光笔坐标系中的位置，则有：

其中，分别为世界坐标系到光笔坐标系的旋转矩阵和平移矩阵；

在工件坐标系上寻找正交的特征平面，在特征平面上分别设置靶点，用两个工业相机采集图片并按照上述计算圆心点坐标的过程计算靶点的三维坐标，通过拟合建立工件坐标系o₀-x₀y₀z₀，计算世界坐标系o_w-x_wy_wz_w到工件坐标系o₀-x₀y₀z₀的变换矩阵则有：

其中，分别为世界坐标系到工件坐标系的旋转矩阵和平移矩阵；

因此光笔坐标系o₁-x₁y₁z₁到工件坐标系o₀-x₀y₀z₀的转换关系为：

进一步地，步骤S3中还包括如下半径补偿步骤：

探针与被测工件的接触力采用力传感器采集并上传至工业计算机；使用标定好的两个工业相机按照设定好的帧率实时采集光笔图像，反馈给工业计算机；按照S2的方法拟合建立光笔坐标系并计算探针球心的位置，并在探针球心坐标上增加一个半径补偿向量的大小等于探针的球头半径，的方向为力传感器所采集到的当前时刻的接触力合力方向；补偿后的结果为被测工件表面在光笔坐标系中的实际坐标，将该坐标转换到工件坐标系，即获得最终的测量结果。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1、本发明通过将光笔式测量安装到工业机器人末端，使光笔式测量能按照预定的测量路径对工件进行测量，实现了高度自动化，相对于传统的手动测量，具有更高的测量精度；

2、本发明通过在光笔测量单元中设置弹簧，使得探针与工件表面的柔性接触，既能满足实时接触的测量需求，又不会对工件表面产生破坏；

3、本发明通过双目视觉对探针球心的位置进行标定，具有更高的标定精度和效率；

4、本发明通过力传感器采集探针与工件的接触力，基于力信息进行探针球头半径误差补偿，具有更高的测量精度。

附图说明

图1是本发明优选实施例的光笔式机器人原位测量系统简图；

图2是本发明优选实施例的光笔结构示意图；

图3是本发明的三个坐标系的转换关系示意图；

图4是双目视觉投影原理图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明实施例提供的光笔式机器人原位测量系统包括工业机器人1、光笔测量单元2、双目视觉单元和工业计算机4，其中：

如图2所示，光笔测量单元2包括法兰5、力传感器6、挡圈7、滑块8、导槽9、弹簧10、导杆11、光笔12和探针13，其中，法兰5安装在工业机器人1末端，力传感器6安装在法兰5与挡圈7之间，挡圈7和导槽9通过螺钉连接，其中的圆柱形空间供滑块8滑动，滑块8与导杆11通过螺纹连接，滑块8、导杆11和导槽9之间设置有两段弹簧10，光笔12安装在导杆11上，其上设置有特征圆，光笔12上安装有探针13。双目视觉单元包含两个工业相机3，两个工业相机3之间实现了同步触发，并与工业计算机4实时通讯。测量工件如叶片时，在工业计算机4上进行工件测量轨迹规划，并生成工业机器人1的运动控制程序，工业机器人1夹持光笔测量单元2按照规划的路径运动，使得探针13与工件接触，同时采用双目视觉单元按照设定的帧率同步采集光笔12的图像，在工业计算机4上完成图像处理、特征圆坐标提取、三维重建和数据后处理。

由于工业机器人1末端重复精度不高，且标定过程也存在一定的误差，不可能使规划的轨迹能与被测工件表面完全重合，因此为了避免探针13与被测工件接触不上或者划伤工件，在导杆11、滑块8和导槽9之间设置了两段弹簧10，探针13与被测工件接触后，在弹簧10作用下推动导杆11和滑块8在导槽9中滑动，保证探针13与被测工件稳定接触。

进一步的，本发明还提供了光笔式机器人原位测量系统的方法，包括以下步骤：

S1：如图3所示，在工业机器人1的工作空间内设置标定杆，采用四点法对所述工业机器人末端的光笔坐标系o₁-x₁y₁z₁进行标定，计算出光笔坐标系o₁-x₁y₁z₁相对于机器人坐标系o_R-x_Ry_Rz_R的变换矩阵则

并在被测工件上找特征点，采用四点法对工件坐标系o₀-x₀y₀z₀进行标定，计算出工件坐标系o₀-x₀y₀z₀相对于机器人坐标系o_R-x_Ry_Rz_R的变换矩阵则

因此工件坐标系o₀-x₀y₀z₀到光笔坐标系o₁-x₁y₁z₁的变换关系为

S2：使用标定好的工业相机3拍摄光笔12图像，将图像传输到工业计算机3，进行立体校正和图像处理，提取特征圆轮廓和探针球头的圆形轮廓，分别计算两幅图像中各个圆轮廓的中心点坐标(u_L,v_L)和(u_R,v_R)。

如图4所示，根据双目视觉投影原理可得

d＝(u_L-u_R)s (7)

其中，T_x表示左右相机之间的距离，(u₀,v₀)表示相机图像坐标系原点在像素坐标系中的位置，s表示单个图像像素所表示的物理尺寸，d为圆心在两幅图像像素坐标系中的视差，(x,y)表示圆心在左图图像坐标系下的坐标值，f表示相机的焦距，(c_x,c_y)表示左图中的光心位置。

根据上式可得

则圆心点在世界坐标系中的三维坐标(x_w,y_w,z_w)可表示为

(x_w,y_w,z_w)＝(X/W,Y/W,Z/W) (9)

通过上述过程分别对光笔12上的特征圆和探针球头进行三维重建，得到圆心的三维坐标。通过拟合特征圆圆心建立光笔坐标系o₁-x₁y₁z₁，计算世界坐标系o_w-x_wy_wz_w到光笔坐标系o₁-x₁y₁z₁的变换矩阵并确定探针13球心在光笔坐标系中的位置。则有

在工件坐标系上寻找正交的特征平面，在平面上分别贴上靶点，用两个工业相机3采集图片并按照上述过程计算靶点的三维坐标，通过拟合建立工件坐标系o₀-x₀y₀z₀，计算世界坐标系o_w-x_wy_wz_w到工件坐标系o₀-x₀y₀z₀的变换矩阵则有

因此光笔坐标系o₁-x₁y₁z₁到工件坐标系o₀-x₀y₀z₀的转换关系为

S3：在工业计算机4上设定被测工件的测量轨迹，并将工件坐标系o₀-x₀y₀z₀中测量轨迹上的离散坐标点采用S1所述方法变换到光笔坐标系o₁-x₁y₁z₁中，光笔坐标系o₁-x₁y₁z₁中的离散坐标点即为工业机器人1需要运行的轨迹，采用工业机器人1后处理软件生成机器人的运动控制程序，驱动工业机器人1按照测量路径运动，探针13在弹簧10作用下与被测工件柔性稳定接触，探针13与被测工件的接触力采用力传感器6采集。

使用标定好的两个工业相机3按照设定好的帧率实时采集光笔图像，反馈给工业计算机4，按照S2所述的方法拟合建立光笔坐标系o₁-x₁y₁z₁并计算探针13球心的位置，在探针13球心坐标上增加一个半径补偿向量 的大小等于探针13的球头半径，方向为力传感器6所采集到的当前时刻的接触力合力方向，则补偿后的结果为被测工件表面在光笔坐标系中的实际坐标，将该坐标值转换到工件坐标系o₀-x₀y₀z₀，即为最终的测量结果。

总而言之，本发明采用工业机器人夹持光笔测量单元，按照规划好的测量路径运动，使探针与工件稳定接触，同时采用双目视觉单元反馈光笔的位置，通过设置在光笔测量单元中的力传感器采集探针与工件的接触力，基于力信息进行探针误差的补偿，本发明能够实现高效、高精度的三维尺寸测量。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种光笔式机器人原位测量系统，其特征在于，包括：工业机器人(1)、光笔测量单元(2)、双目视觉单元(3)和工业计算机(4)；

工业机器人(1)用于夹持并带动光笔测量单元(2)运动；

光笔测量单元(2)包括力传感器(6)、光笔(12)和探针(13)；力传感器(6)固定于工业机器人(1)末端，用于检测探针(13)与工件的接触力信号，并将接触力信号传输至工业计算机(4)；光笔(12)一端直接或间接连接力传感器(6)，另一端固定探针(13)，光笔上设置有特征圆，用于确定光笔坐标系；

双目视觉单元(3)包含两个工业相机，两个工业相机同步触发，并与工业计算机(4)实时通讯；两个工业相机用于按照设定的帧率同步采集光笔(12)的图像，并传输至工业计算机(4)；

工业计算机(4)用于根据接收到的光笔图像进行特征圆的坐标提取并完成光笔与探针的三维重建、根据接收到的接触力信号确定探针(13)球心坐标的半径补偿向量的方向，以及根据被测工件拟合工业机器人(1)运动轨迹规划，驱动工业机器人(1)带动光笔测量单元(2)运动完成工件原位测量。

2.如权利要求1所述的一种光笔式机器人原位测量系统，其特征在于，光笔测量单元(2)还包括：法兰(5)、挡圈(7)、滑块(8)、导槽(9)、弹簧(10)和导杆(11)；

法兰(5)安装在工业机器人(1)末端；力传感器(6)安装在法兰(5)与挡圈(7)之间，通过法兰(5)连接工业机器人(1)；滑块(8)设于导槽(9)内部并能够沿导槽(9)前后滑动，导槽(9)的后端固定在挡圈(7)上；导杆(11)的后端从导槽(9)前端插入导槽(9)内部，并与滑块(8)连接；光笔(12)固定于导杆(11)前端，探针(13)固定于光笔(12)前端；滑块(8)与导槽(9)的前端内壁面之间，以及导杆(11)的前端凸台与导槽(9)的前端外壁面之间的至少一处设有弹簧(10)，以使探针(13)与工件表面柔性接触。

3.一种基于权利要求1或2所述的光笔式机器人原位测量系统对工件进行原位测量的方法，其特征在于，包括以下步骤：

S1：对工业机器人末端的光笔坐标系进行标定，计算出光笔坐标系相对于机器人坐标系的变换矩阵；在被测工件上选取特征点，对工件坐标系进行标定，计算出工件坐标系相对于机器人坐标系的变换矩阵；从而获得工件坐标系到光笔坐标系的变换关系；

S2：使用标定好的两个工业相机拍摄光笔图像并传输到工业计算机，分别计算两幅图像中各个特征圆和探针球头圆轮廓的中心点坐标，进而求出特征圆和探针球头圆心点在世界坐标系中的三维坐标；随后，通过拟合特征圆圆心建立光笔坐标系，计算出世界坐标系到光笔坐标系的变换矩阵，并确定探针球心在光笔坐标系中的位置；

在工件坐标系上寻找正交的特征平面，在平面上分别贴上靶点，用两个工业相机采集靶点图片并按照上述计算圆心点坐标的过程计算靶点的三维坐标，并拟合建立工件坐标系，计算世界坐标系到工件坐标系的变换矩阵，进而结合世界坐标系到光笔坐标系的变换矩阵获得光笔坐标系到工件坐标系的变换矩阵；

S3：在工业计算机上设定被测工件的测量轨迹，并将工件坐标系中测量轨迹上的离散坐标点按照步骤S1获得的变换关系变换到光笔坐标系中，光笔坐标系中的离散坐标点即为工业机器人的测量路径，根据工业机器人的运行轨迹生成机器人的运动控制程序，驱动工业机器人按照测量路径运动，以使探针与被测工件接触，进行原位测量。

4.如权利要求3所述的方法，其特征在于，步骤S1包括如下步骤：

对工业机器人末端的光笔坐标系o₁-x₁y₁z₁进行标定，计算出光笔坐标系o₁-x₁y₁z₁相对于机器人坐标系o_R-x_Ry_Rz_R的变换矩阵则：

其中，分别为光笔坐标系相对于机器人坐标系的旋转矩阵和平移矩阵；

在被测工件上选取特征点，对工件坐标系o₀-x₀y₀z₀进行标定，计算出工件坐标系o₀-x₀y₀z₀相对于机器人坐标系o_R-x_Ry_Rz_R的变换矩阵则：

其中，分别为工件坐标系相对于机器人坐标系的旋转矩阵和平移矩阵；

从而获得工件坐标系o₀-x₀y₀z₀到光笔坐标系o₁-x₁y₁z₁的变换关系为：

5.如权利要求3所述的方法，其特征在于，步骤S2包括如下步骤：

使用标定好的工业相机拍摄光笔图像并传输到工业计算机，提取特征圆轮廓和探针球头的圆形轮廓，分别计算左右两个工业相机所获取的两幅图像中各个圆轮廓的中心点坐标(u_L,v_L)和(u_R,v_R)；

根据双目视觉投影原理可得：

d＝(u_L-u_R)s (7)

其中，T_x表示左右相机之间的距离，(u₀,v₀)表示相机图像坐标系原点在像素坐标系中的位置，s表示单个图像像素所表示的物理尺寸，d为各圆形轮廓的圆心在两幅图像像素坐标系中的视差，(x,y)表示圆心在左图图像坐标系下的坐标值，f表示相机的焦距，(c_x,c_y)表示左图中的光心位置；

根据式(4)～(7)可得：

则圆心点在世界坐标系中的三维坐标(x_w,y_w,z_w)可表示为(x_w,y_w,z_w)＝(X/W,Y/W,Z/W) (9)

根据公式(4)～(9)对光笔上的特征圆和探针球头进行三维重建，得到圆心的三维坐标；通过拟合特征圆的圆心建立光笔坐标系o₁-x₁y₁z₁，计算世界坐标系o_w-x_wy_wz_w到光笔坐标系o₁-x₁y₁z₁的变换矩阵并确定探针球心在光笔坐标系中的位置，则有：

其中，分别为世界坐标系到光笔坐标系的旋转矩阵和平移矩阵；

在工件坐标系上寻找正交的特征平面，在特征平面上分别设置靶点，用两个工业相机采集图片并按照上述计算圆心点坐标的过程计算靶点的三维坐标，通过拟合建立工件坐标系o₀-x₀y₀z₀，计算世界坐标系o_w-x_wy_wz_w到工件坐标系o₀-x₀y₀z₀的变换矩阵则有：

其中，分别为世界坐标系到工件坐标系的旋转矩阵和平移矩阵；

因此光笔坐标系o₁-x₁y₁z₁到工件坐标系o₀-x₀y₀z₀的转换关系为：

6.如权利要求3～5任意一项所述的方法，其特征在于，步骤S3中还包括如下半径补偿步骤：

探针与被测工件的接触力采用力传感器采集并上传至工业计算机；使用标定好的两个工业相机按照设定好的帧率实时采集光笔图像，反馈给工业计算机；按照S2的方法拟合建立光笔坐标系并计算探针球心的位置，并在探针球心坐标上增加一个半径补偿向量 的大小等于探针的球头半径，的方向为力传感器所采集到的当前时刻的接触力合力方向；补偿后的结果为被测工件表面在光笔坐标系中的实际坐标，将该坐标转换到工件坐标系，即获得最终的测量结果。