CN108871216A - 一种基于视觉引导的机器人多孔接触式自动测量方法 - Google Patents

Abstract

本发明针对一种具有多个深孔的工件，提供了一种在视觉的引导下，机器人运用接触式测量自动测量深孔的孔径、垂直度等参数的方法，属于机器人测量领域。其主要步骤有，对视觉系统进行标定；标定工件坐标系；获取工件上待测圆孔的空间位置；对工件上的圆孔进行编号，从而对测量路径进行规划；视觉引导机器人运动到起始测量位置并监控测量过程。所述对待测量工件的标定，发明了一种借助视觉对工件进行标定的方法；在对圆孔进行编号的过程中，发明了一种能够使视觉识别到的圆孔能与实际工件上的圆孔一一对应的编号方法；在测量过程中，发明了一种避免测针与工件发生碰撞的方法。此种机器人测量方法，借助视觉的引导使机器人进行接触式自动测量，既保留了接触式测量的精确性，又提高了接触式测量的速度，省去了繁杂的示教过程，避免了测头的碰撞损坏，大大提高了测量效率。

Description

一种基于视觉引导的机器人多孔接触式自动测量方法

技术领域

本发明涉及机器人测量问题领域，更具体地，涉及一种基于视觉引导的机器人多孔接触式自动测量方法。

背景技术

在机械加工行业，孔是重要的加工对象，孔径测量结果是判断加工质量的重要指标，测量精度将直接影响后续装配工序，进而影响零部件的整体性能。在核工业生产中，根据任务需求生产出了一批整体尺寸大、孔数目多的工件，后续的装配任务要求先对工件孔径进行测量，测量任务复杂繁重，目前采用人工使用计量工具如百分表、千分尺、气动量仪等方式进行，人为因素影响较大，测量效率低，产品的制造周期长。为了提高生产效率，确保测量精度，亟需一种机械自动化测量的方法。

发明内容

为了解决上述问题，本发明旨在公开一种基于视觉引导的机器人多孔接触式自动测量方法，尤指一种针对一个多个深孔的工件，在视觉的引导下，机器人运用接触式测量自动测量深孔的孔径、垂直度等参数的方法。

为了实现上述目的，本发明所采用的技术方案主要包括以下过程：

步骤1、对测量设备进行组装；

参考图1，本发明针对一个多个深孔的工件，需要对其深孔的孔径、垂直度等参数进行测量，将传感器装载在机器人末端，用于检测测针是否与待测工件孔内壁相接触，若机器人控制系统接收到触碰信号，则控制机器人停止当前运动并记录机器人各关节编码器返回的位置信息，然后开始下一段轨迹任务。

步骤2、对所使用摄像机进行标定，获取摄像机的内参，标定完成后将单个摄像机装在机器人末端上，对其进行手眼标定获取摄像机与机器人末端的相对位姿；

所述摄像机标定采用张正友标定法，由摄像机从不同方向拍摄棋盘格，实时对摄像机进行标定，获取摄像机的内参,进行手眼标定时可将棋盘格固定，则棋盘格坐标系{G}相对于机器人基坐标系{B}固定不变，于是驱动机器人从不同的方向拍摄棋盘格，则有其中{W}表示机器人末端坐标系，{C}表示摄像机坐标系，可由机器人正运动学得到，即为摄像机外参，可由摄像机标定得到。令 则有AX＝XB，再运用Tsai算法求解该方程，获取摄像机相对于机器人末端的位姿。

步骤3、运用摄像机对工件进行标定，获取工件相对于机器人基座标系的相对位姿以及工件上各圆孔在机器人基座标系中的坐标；

在工程图上绘制工件形状的最小外接正方形，并获取该最小正方形的实际尺寸。以该正方形作为标志物，对摄像机进行标定，获取摄像机内参数矩阵M₂，即为待测量工件相对于摄像机坐标系的位姿，则待测量工件相对于机器人基坐标系的位姿为在已知摄像机内、外参数的情况下，由霍夫变换识别出工件中圆孔的圆心，并获取其像素坐标，由摄像机成像模型方程，便可以求出各圆孔在工件坐标系下的坐标，经坐标系变换便可求取各圆孔圆心在机器人基坐标系下的坐标。

步骤4、求出工件外形的重心，根据每个圆孔圆心到工件重心的距离大小对工件上的各圆孔进行编号；

所述编号方法必须使得摄像机识别到的圆孔能与工件上的圆孔一一对应，则需要满足，在工程图上利用工件边界轮廓求出工件图形的重心，然后根据编号方法对圆孔进行编号与由视觉识别的工件的几何特征(由各特征点的坐标描述)，直接根据编号方法自动求取重心后进行编号的结果能够一一对应上，其编号规则如下：

1)根据各圆孔圆心距工件图形重心的距离大小，以距离重心最近的圆孔为起始点，从小到大依次编号；

2)若有两个圆孔到工件图形重心距离相等，则根据以重心作为圆心、两圆孔到重心距离为半径形成的圆弧顺时针从小到大编号；

3)若有三个以上圆孔距工件图形的重心距离相等，则以重心为圆心，各圆孔到重心距离为半径绘圆，再比较相邻两圆孔圆心所形成的圆弧圆心角大小，(a)选取最小的圆心角，将在其圆弧上的两个圆孔顺时针从小到大编号，再沿着圆周顺时针方向对其他圆孔从小到大编号；(b)若最小圆心角的数目不止一个，则比较与这些最小圆心角相邻的圆心角的大小，若某个最小圆心角相邻的圆心角最大，则选取该最小圆心角，将在其圆弧上的两个圆孔顺时针从小到大编号，再沿着圆周顺时针方向对其他圆孔从小到大编号；(c)若所有的圆心角大小均相等，则可先预留与圆孔数目相同的编号数目，先对距离重心比这些圆孔远一点的圆孔(以下简称较远圆孔)进行编号，编好之后，选取较远圆孔中编号最小的作为基准圆孔，比较形成圆心角大小均相等的圆孔到基准圆孔的距离，若某个圆孔到基准圆孔的距离最小，则以该圆孔为起始圆孔，再沿着圆周顺时针方向对其他圆孔从小到大依次编号；(d)若(c)中所述距离重心更远一点的圆孔个数也不止一个，而且两圆孔圆心与工件重心所形成的圆心角大小也均相同，则对距离重心更远一点的圆孔进行编号，依次类推，若距离重心最远处的圆孔也是这种情况，则在最远处的圆孔中随机抽取一个圆孔为起始圆孔，再沿着圆周顺时针方向对其他圆孔从小到大依次编号。

步骤5、对单一圆孔进行测量时，为简化机器人路径规划的重复性工作，在工件坐标系内对每个孔进行统一的路径规划。

本方法主要用于测量圆孔的孔径以及垂直度，其测量方法为：在圆孔内选取两个与工件平面平行的截面，在该截面圆上选取三个测量点，三个测量点在圆周上均匀分布。通过同一截面的三个测量点的空间位置获取圆孔的孔径，通过两个截面圆的相对位置获取圆孔的垂直度。

对单一圆孔进行测量时，使测针与待测平面始终保持垂直，为保证机器人在末端工具能与孔内壁接触，在测量截面采用直径为D的圆进行包裹，并指定机器人在测量第一个截面的三个方向O₁P₁，O₁P₂,O₁P₃，三个方向间夹角均为120^°，使机器人沿这三个方向做直线运动，获取并记录三个测量点。在测量第二个截面时以同样的方法获取并记录三个测量点。

步骤6、根据规划好的测量路径，在视觉的引导下将机器人运动至测量的起始位置，使得探针始终垂直于工件平面，并在视觉的检测下进行测量。

开始测量前，由视觉系统获取待测量工件的位姿，再获取规划好的测量路径的初始点位置，引导机器人运动至初始点，再根据规划好的路径进行测量，测量过程中，在测头进入圆孔前，检测测头所在位置坐标的x,y值是否与视觉所获取的该圆孔圆心坐标的x,y值相差过大，过大时则终止机器人运动，防止测头损坏。

附图说明

图1是本发明测量装置示意图；

图2、3、4、5是给工件上圆孔进行编号示意图；

图6是机器人对单孔进行测量时的示意图；

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图详细说明本发明的具体实施方式：

步骤1、测量设备的组装；

如图1所示，将用于检测测针是否与待测工件孔内壁相接触的传感器装载在机器人末端，若机器人控制系统接收到触碰信号，则控制机器人停止当前运动并记录机器人各关节编码器返回的位置信息，然后开始下一段轨迹任务；若控制系统未接收到触碰信号，机器人继续沿着当前方向运动。单目摄像头装在机器人的末端，用来采集图像信息，获取工件位姿及其上圆孔的空间坐标。

步骤2、对所使用摄像机进行标定，获取摄像机的内参，标定完成后将单目摄像机装在机器人末端上，对其进行手眼标定获取摄像机与机器人末端的相对位姿；

所述摄像机标定采用张正友标定法，借助棋盘格对摄像机进行标定，获取摄像机的内参。

进行手眼标定时可将棋盘格固定，则棋盘格坐标系{G}相对于机器人基坐标系{B}固定不变，于是驱动机器人从不同的方向拍摄棋盘格，则有其中{W}表示机器人末端坐标系，{C}表示摄像机坐标系，可由机器人正运动学得到，即为摄像机外参，可由摄像机标定得到。令则有

AX＝XB (1)

运用Tsai算法求解该方程。机器人手眼标定的过程总体步骤如下所示：

S1、控制机器人末端执行器从位置A运动到位置B，运动前后对摄像机作标定，求出其外参数，从而求取出再读取机器人运动参数

S2、控制机器人末端执行器从位置B运动到位置C，重复上述操作，求取出再读取机器人运动参数

S3、将S1、S2中得到的数据代入方程组(1)即可得到手眼关系矩阵X,即

步骤3、求出工件的重心，以每个圆孔圆心到工件重心的距离大小对工件上的各圆孔进行编号；

对工件圆孔的编号规则需要在工件工程图上以及由摄像机所获取的图像中同时适用，下面将阐述以上两种情况的编号规则，

在工程图中，工件的各顶点坐标为(x_i,y_i)，则重心坐标为各圆孔圆心(x_j,y_j)距工件图形重心的距离为

由视觉所获取的工件各顶点在摄像机坐标系里的坐标为(x_C,y_C,z_C)，则工件在摄像机坐标系里的重心坐标为各圆孔圆心(x_j,y_j,z_j)距工件图形重心的距离为

具体的编号方法如下例所示：

(a)如图2所示，图中圆心黑点代表重心，距离重心最近的圆孔编号为1，稍远的编号为2，最远的标号为3；(b)则如图3所示，有多个圆孔到重心距离相等，则以重心为圆心，各圆孔到重心距离为半径绘圆，比较相邻两圆孔圆心所形成的的圆弧圆心角大小，将最小圆心角的一组圆孔沿圆弧顺时针方向编号1、2，再由顺时针方向依次编号为3；(c)则如图4所示，有多个圆心角大小相等，比较与之相邻的圆心角，选取具有最大相邻圆心角的一组最小圆心角，在其圆弧上顺时针编号1、2，再由顺时针依次编号3、4、5、6；(d)如图5所示，最外圈有两个圆孔到圆心距离相等，则根据以重心为圆心，沿两圆孔到重心距离为半径形成的圆弧顺时针依次编号8、9，两个内圈上所有圆心角的大小均相同，呈对称分布，对最内圈进行编号时，选取与8号最近的圆孔编号为1，再由顺时针依次编号2、3、4，再用同样的方法编号5、6、7。

步骤4、运用摄像机对工件进行标定，获取工件相对于机器人基座标系的相对位姿以及工件上各圆孔在机器人基座标系中的坐标；

摄像机成像模型数学表达式如下所示：

[u v 1]^T＝M₁M₂[X_G Y_G Z_G 1]^T (2)

式中，[u v 1]^T为特征点在图像坐标系中的坐标，[X_G Y_G Z_G 1]^T为特征点在世界坐标系中的坐标，M₁为摄像机内参矩阵，为摄像机外参矩阵。

在步骤2中由摄像机标定获取到了摄像机内参矩阵M₁，因此可以借助摄像机标定的过程对工件进行标定，获取工件相对于摄像机坐标系的相对位姿，进而借助公式(2)求取各待测圆孔的空间坐标，过程如下所示：

S1、在工程图上绘制工件形状的最小外接正方形，并获取该最小正方形的实际尺寸L；

S2、以该最小正方形所在平面建立世界坐标系，四个顶点在该坐标系中的坐标分别为

S3、对摄像机获取到的图像运用Canny算子获取工件边缘图形，并外接最小正方形，获取该最小正方形的四个顶点的像素坐标；

S4、将所获取的世界坐标与其相对应的像素坐标以及得到的摄像机内参代入公式(2)即可求得当前位置的外参矩阵M₂，即工件相对于摄像机坐标系的位姿接着可以得到工件相对于机器人基坐标系的相对位姿为

S5、对摄像机所获取图像进行霍夫变换，识别出工件上各圆孔及其圆心，获取圆心坐标[u_i v_i 1]^T；

S6、将获取的摄像机内外参矩阵以及圆心坐标代入公式(2)，即可获取圆孔圆心在工件坐标系中的坐标[X_G Y_G Z_G 1]^T，接着可以获取圆孔圆心在机器人基坐标系中的坐标[X_BY_B Z_B 1]^T＝B_GT[X_G Y_G Z_G 1]^T

步骤5、对单一圆孔进行测量时，为简化机器人路径规划的重复性工作，在工件坐标系内对每个孔进行统一的路径规划。

如图所示，对单一圆孔进行测量时，使测针与待测平面始终保持垂直，为保证机器人在末端工具能与孔内壁接触，在测量截面采用直径为D的圆进行包裹，并指定机器人在测量第一个截面的三个方向O₁P₁，O₁P₂,O₁P₃，三个方向间夹角均为120°，令圆孔圆心坐标O(x₁,y₁,z₁),三个点在工件坐标系中的坐标分别为 同样的方法给出P₁₁，P₂₂，P₃₃三点的坐标。机器人末端测头的孔径测量过程如下：

S1、从O点进入至第一个测量截面的O₁处。

S2、由O₁向P₁方向沿直线移动，移动过程中机器人末端传感器接受到信号便停止移动并记录下第一个测量点的空间位置，返回至O₁处；同理，由O₁分别向P₂和P₃方向移动，可记录下第二个测量点和第三个测量点的空间位置。

S3、从运动至第一个测量截面的O₂处，按同样的方法记录下三个测量点的位置。

S4、从O₂返回至O，并进入下一个内孔的上平面中心坐标O处。

步骤6、根据规划好的测量路径，在视觉的引导下将机器人运动至测量的起始位置，并在视觉的检测下进行测量。

开始测量前，由视觉系统获取待测量工件的位姿，再获取规划好的测量路径的初始点位置，引导机器人运动至初始点，再根据规划好的路径进行测量，测量过程中，在测头进入圆孔前，检测测头所在位置坐标的x,y值是否与视觉所获取的该圆孔圆心坐标的x,y值相差过大，过大时则终止机器人运动，防止测头损坏。

Claims (7)

1.一种基于视觉引导的机器人多孔自动定位测量方法，其特征在于，本发明针对一种具有多个深孔的工件，对其深孔的孔径、垂直度等参数进行测量，主要有以下几个步骤：

步骤1、对测量设备进行组装；

步骤2、对所使用摄像机进行标定，获取摄像机的内参，标定完成后将单目摄像机装在机器人末端上，对其进行手眼标定获取摄像机与机器人末端的相对位姿；

步骤3、运用摄像机对工件进行标定，获取工件相对于机器人基座标系的相对位姿以及工件上各圆孔在机器人基座标系中的坐标；

步骤4、求出工件外形的重心，以每个圆孔圆心到工件重心的距离大小对工件上的各圆孔进行编号；

步骤5、对单一圆孔进行测量时，为简化机器人路径规划的重复性工作，在工件坐标系内对每个孔进行统一的路径规划；

步骤6、根据规划好的测量路径，在视觉的引导下将机器人运动至测量的起始位置，并在视觉的检测下进行测量。

2.根据权利要求1中所述的一种基于视觉引导的机器人多孔自动定位测量方法，其特征在于，将传感器装载在机器人末端，用于检测测针是否与待测工件孔内壁相接触，若机器人控制系统接收到触碰信号，则控制机器人停止当前运动并记录机器人各关节编码器返回的位置信息，然后开始下一段轨迹任务。

3.根据权利要求1中所述的一种基于视觉引导的机器人多孔自动定位测量方法，其特征在于，单个摄像机固定在机器人末端，摄像机与机器人末端的相对位姿固定不变，借助棋盘格运用“两步法”对摄像机进行标定，获取摄像机的内参矩阵，完成摄像机标定后，将棋盘格固定，驱动机器人从三个区别较大的角度拍摄棋盘格，记录在这三个位置的机器人位姿矩阵以及与之对应的摄像机外参矩阵，再运用Tsai算法求解获取摄像机相对于机器人末端的位姿矩阵。

4.根据权利要求1中所述的一种基于视觉引导的机器人多孔自动定位测量方法，其特征在于，获取摄像机的内参矩阵以及摄像机相对于机器人末端的位姿矩阵之后，便可以可利用工件外形的外接最小正方形为作为标志，借助摄像机标定，求取工件相对于机器人基坐标系的位姿矩阵，从而实现对待测量工件的标定，再对摄像机所获取图像进行霍夫变换识别工件中的圆孔及其圆心，由摄像机模型方程便可求取各圆心的空间坐标。

5.根据权利要求1中所述的一种基于视觉引导的机器人多孔自动定位测量方法，其特征在于，所述编号方法使得摄像机识别到的圆孔能与工件上的圆孔一一对应，步骤4中所述的对各圆孔进行编号的方法特征在于先利用工件边界轮廓求出工件图形的重心，然后对圆孔进行编号，其编号规则如下：

1）根据各圆孔圆心距工件图形重心的距离大小，以距离重心最近的圆孔为起始点，从小到大依次编号；

2）若有两个圆孔到工件图形重心距离相等，则根据以重心作为圆心、两圆孔到重心距离为半径形成的圆弧顺时针从小到大编号；

3）若有三个以上圆孔距工件图形的重心距离相等，则以重心为圆心，各圆孔到重心距离为半径绘圆，再比较相邻两圆孔圆心所形成的圆弧圆心角大小，（a）选取最小的圆心角，将在其圆弧上的两个圆孔顺时针从小到大编号，再沿着圆周顺时针方向对其他圆孔从小到大编号；（b）若最小圆心角的数目不止一个，则比较与这些最小圆心角相邻的圆心角的大小，若某个最小圆心角相邻的圆心角最大，则选取该最小圆心角，将在其圆弧上的两个圆孔顺时针从小到大编号，再沿着圆周顺时针方向对其他圆孔从小到大编号；（c）若所有的圆心角大小均相等，则可先预留与圆孔数目相同的编号数目，先对距离重心比这些圆孔远一点的圆孔（以下简称较远圆孔）进行编号，编好之后，选取较远圆孔中编号最小的作为基准圆孔，比较形成圆心角大小均相等的圆孔到基准圆孔的距离，若某个圆孔到基准圆孔的距离最小，则以该圆孔为起始点，再沿着圆周顺时针方向对其他圆孔从小到大依次编号；（d）若（c）中所述距离重心更远一点的圆孔个数也不止一个，而且相邻两圆孔圆心与工件重心所形成的圆心角大小也均相同，则先对距离重心更远一点的圆孔进行编号，依次类推，若距离重心最远处的圆孔也是这种情况，则在最远处的圆孔中随机抽取一个圆孔为起始圆孔，再沿着圆周顺时针方向对其他圆孔从小到大依次编号。

6.根据权利要求1中所述的一种基于视觉引导的机器人多孔自动定位测量方法，其特征在于，对单一圆孔进行测量时，使测针与待测平面始终保持垂直，为保证机器人在末端工具能与孔内壁接触，在测量截面采用直径为D的圆进行包裹，并规定机器人在测量第一个截面的三个方向，三个方向间夹角均为，在测量其余截面时按照相同的三个方向进行测量。

7.根据权利要求1中所述的一种基于视觉引导的机器人多孔自动定位测量方法，其特征在于，在测量前，由视觉系统获取待测量工件的位姿，再获取规划好的测量路径的初始点位置，引导机器人运动至初始点，再根据规划好的路径进行测量，测量过程中，在测头进入圆孔前，检测测头所在位置坐标的x,y值是否与视觉所获取的该圆孔圆心坐标的x,y值相差过大，则在视觉的引导下驱动机器人调整测针位置，防止测头损坏。