CN108994844B - 一种打磨操作臂手眼关系的标定方法和装置 - Google Patents

Abstract

本发明公开了一种打磨操作臂手眼关系的标定方法和装置，包括：获取采集到的标定块表面的三维点云数据；对所述三维点云数据进行预处理，以剔除相应的噪声点；采用一致性算法对剔除噪声点后的三维点云数据进行平面分割，得到估计平面模型；根据预置的凸包算法对所述估计平面模型进行求解，得到对应的凸多边形；通过拟合所述凸多边形的顶点计算相机外参数旋转平移矩阵

以确定机器人手眼标定中三维扫描相机坐标系相对于机器人执行器末端的转换关系

解决了传统视觉传感器3D立体标定不适用于打磨系统要求的快速自动识别的技术问题。

Description

一种打磨操作臂手眼关系的标定方法和装置

技术领域

本发明涉及手眼关系标定技术领域，尤其涉及一种打磨操作臂手眼关系的标定方法和装置。

背景技术

点云数据是机器人领域、光学测量、逆向工程、地理测绘等领域中重要的三维数据。三维激光扫描技术通过发射激光进行非接触式扫描测量，获取物体表面空间位姿信息也就是当前研究热点的点云数据。它改变以往单点测量精度不高的方法，三维激光扫描采用双目测距，从两个摄像头得到同一物体，根据视差高精度测量距离，并且适用于各种测量各种复杂环境，扫描获取的点云数据通过特定的数据处理后能真实还原物体的几何信息和重要特征信息，因此也是当前运用在机器人获取物体位姿信息的重要载体。

基于智能打磨系统重要功能中的机械臂快速自动识别出加工目标，直接关系制造系统加工的效率和智能化程度。因此机器人激光扫描系统标定技术起着智能打磨成败的关键作用。传统视觉传感器3D立体标定是基于三维标定靶完成，三维立体标定对特征点三维坐标精度要求高，而且特征点三维空间坐标测量错综复杂，因此不适用于打磨系统要求的快速自动识别。

发明内容

本发明提供了一种打磨操作臂手眼关系的标定方法和装置，解决了传统视觉传感器3D立体标定不适用于打磨系统要求的快速自动识别的技术问题。

本发明提供了一种打磨操作臂手眼关系的标定方法，包括：

获取采集到的标定块表面的三维点云数据；

对所述三维点云数据进行预处理，以剔除相应的噪声点；

采用一致性算法对剔除噪声点后的三维点云数据进行平面分割，得到估计平面模型；

根据预置的凸包算法对所述估计平面模型进行求解，得到对应的凸多边形；

通过拟合所述凸多边形的顶点计算相机外参数旋转平移矩阵

以确定机器人手眼标定中三维扫描相机坐标系相对于机器人执行器末端的转换关系

优选地，

对所述三维点云数据进行预处理，以剔除相应的噪声点具体包括：

采用直通滤波对所述三维点云数据进行滤波，然后选取Z轴坐标位于预置范围内的三维点云数据。

优选地，

采用一致性算法对剔除噪声点后的三维点云数据进行平面分割，得到估计平面模型具体包括：

采用一致性算法对剔除噪声点后的三维点云数据进行平面分割，得到表面参数模型；

根据欧氏距离判定准则将每个表面参数模型上的三维点云数据分成局内点和局外点；

将局内点数量最多的表面参数模型作为估计平面模型。

优选地，

在采用一致性算法对剔除噪声点后的三维点云数据进行平面分割，得到估计平面模型之后，再根据预置的凸包算法对所述估计平面模型进行求解，得到对应的凸多边形之前，还包括：

将所述估计平面模型从三维平面降维到二维平面上。

优选地，

通过拟合所述凸多边形的顶点计算相机外参数旋转平移矩阵

具体包括：

遍历所述凸多边形的所有凸包点，将横坐标最大和最小的两个凸包点、纵坐标最大和最小的两个凸包点分别作为所述凸多边形的四个粗略顶点；

根据所述四个粗略顶点将所有凸包点分为四个点云边线子集；

根据四个点云边线子集分别拟合出相应的四条边线；

根据所述四条边线的交点进行相应的向量计算得到相机外参数旋转平移矩阵

本发明提供了一种打磨操作臂手眼关系的标定装置，包括：

获取单元，用于获取采集到的标定块表面的三维点云数据；

预处理单元，用于对所述三维点云数据进行预处理，以剔除相应的噪声点；

平面分割单元，用于采用一致性算法对剔除噪声点后的三维点云数据进行平面分割，得到估计平面模型；

凸多边形求解单元，用于根据预置的凸包算法对所述估计平面模型进行求解，得到对应的凸多边形；

矩阵计算单元，用于通过拟合所述凸多边形的顶点计算相机外参数旋转平移矩阵

以确定机器人手眼标定中三维扫描相机坐标系相对于机器人执行器末端的转换关系

优选地，所述预处理单元具体用于：

采用直通滤波对所述三维点云数据进行滤波，然后选取Z轴坐标位于预置范围内的三维点云数据。

优选地，平面分割单元具体包括：

分割子单元，用于采用一致性算法对剔除噪声点后的三维点云数据进行平面分割，得到表面参数模型；

第一分类子单元，用于根据欧氏距离判定准则将每个表面参数模型上的三维点云数据分成局内点和局外点；

模型确定子单元，用于将局内点数量最多的表面参数模型作为估计平面模型。

优选地，所述的标定装置还包括：

坐标转化单元，用于将所述估计平面模型从三维平面降维到二维平面上。

优选地，矩阵计算单元具体包括：

顶点粗求子单元，用于遍历所述凸多边形的所有凸包点，将横坐标最大和最小的两个凸包点、纵坐标最大和最小的两个凸包点分别作为所述凸多边形的四个粗略顶点；

第二分类子单元，用于根据所述四个粗略顶点将所有凸包点分为四个点云边线子集；

拟合子单元，用于根据四个点云边线子集分别拟合出相应的四条边线；

向量计算子单元，用于根据所述四条边线的交点进行相应的向量计算得到相机外参数旋转平移矩阵

从以上技术方案可以看出，本发明具有以下优点：

获取采集到的标定块表面的三维点云数据；对所述三维点云数据进行预处理，以剔除相应的噪声点；采用一致性算法对剔除噪声点后的三维点云数据进行平面分割，得到估计平面模型；根据预置的凸包算法对所述估计平面模型进行求解，得到对应的凸多边形；通过拟合所述凸多边形的顶点计算相机外参数旋转平移矩阵，以确定机器人手眼标定中三维扫描相机坐标系相对于机器人执行器末端的转换关系；本发明不需要知道标定块的尺寸大，也不需要相机拍摄多帧照片进行标定，只需要扫描仪对标定块进行扫描，因此可以快速得到三维扫描相机坐标系相对于机器人执行器末端的转换关系，解决了传统视觉传感器3D立体标定不适用于打磨系统要求的快速自动识别的技术问题，从而提高打磨操作臂的打磨速度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明提供的一种打磨操作臂手眼关系的标定方法的一个实施例的流程示意图；

图2为本发明提供的一种打磨操作臂手眼关系的标定方法的另一个实施例的流程示意图；

图3为本发明提供的一种打磨操作臂手眼关系的标定装置的一个实施例的流程示意图；

图4为空间坐标系转换关系示意图；

图5为采集到的标定块的三维点云数据示意图；

图6为标定块上表面的凸多边形；

图7为本发明中拟合四条边线后的示意图；

图8逆时针扫描求解点集合的凸包图形；

图9为加入新点时图形重新求解示意图。

具体实施方式

本发明实施例提供了一种打磨操作臂手眼关系的标定方法和装置，解决了传统视觉传感器3D立体标定不适用于打磨系统要求的快速自动识别的技术问题。

为了更好地理解本发明技术方案，需要说明的是：

因为传统视觉传感器3D立体标定不适用于打磨系统要求的快速自动识别，所以Shiu等提出的手眼关系即根据已知机器人相邻两次运动时末端关节坐标之间的关系A和视觉传感器坐标之间的关系B，建立AX＝XB矩阵方程，求解视觉传感器和机器人末端转换关系矩阵X。

机器人三维扫描系统的标定包括扫描仪的内参数的标定，传感器坐标系和机器人末端执行器坐标系之间的转换关系，也就是手眼标定。

如图4所示，空间坐标系转换关系示意图已标定好机器人U_rob和扫描仪相机的关系

矩阵计算公式：

为扫描仪相机在标定块坐标系的表示关系，

为标定块在打磨机器人的表示关系；在标定块上创建的世界坐标系到视觉传感器坐标系之间的转换关系

世界坐标系与机器人基坐标系

将机器人基坐标系视为全局坐标系，视觉传感器的测量结果到机器人基坐标系的转换过程为

其中，P_b是被测点P在机器人基坐标系下的坐标，P_s是被测点P在视觉传感器下的坐标，

机器人末端执行器和机器人基坐标系之间的坐标转换关系，也是是机器人的运动学方程参数，可以从机器人控制器里读取。

传感器坐标系到机器人末端执行器坐标转换关系，也就是

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，本发明提供的一种打磨操作臂手眼关系的标定方法的一个实施例的流程示意图。

本发明提供了一种打磨操作臂手眼关系的标定方法的一个实施例，包括：

101，获取采集到的标定块表面的三维点云数据。

本发明实施例采集到三维点云数据如图5所示。

102，对三维点云数据进行预处理，以剔除相应的噪声点。

可以理解的是，剔除噪声点的方式有很多，本发明对此不做限定。

103，采用一致性算法对剔除噪声点后的三维点云数据进行平面分割，得到估计平面模型。

需要说明的是，一致性算法为现有技术，此处不做详述。

104，根据预置的凸包算法对估计平面模型进行求解，得到对应的凸多边形。

需要说明的是，在一个实数向量空间V中，对于给定集合X，所有包含X的凸集的交集S被称为X的凸包。

凸包的计算过程如下：

第一步，在所有点中选取y坐标最小的一点H，当作基点。如果存在多个点的y坐标都为最小值，则选取x坐标最小的一点。坐标相同的点应排除。然后按照其它各点p和基点构成的向量＜H,p>；与x轴的夹角进行排序，夹角由大至小进行顺时针扫描，反之则进行逆时针扫描。实现中无需求得夹角，只需根据余弦定理求出向量夹角的余弦值即可。以下图8为例，基点为H，根据夹角由小至大排序后依次为H，K，C，D，L，F，G，E，I，B，A，J。下面进行逆时针扫描。

第二步，一定在凸包上，接着加入C。假设线段＜K,C>；也在凸包上，因为就H，K，C三点而言，它们的凸包就是由此三点所组成。但是接下来加入D时会发现，线段＜K,D>；才会在凸包上，所以将线段＜K,C>；排除，C点不可能是凸包。

第三步，加入一点时，必须考虑到前面的线段是否会出现在凸包上。从基点开始，凸包上每条相临的线段的旋转方向应该一致，并与扫描的方向相反。如果发现新加的点使得新线段与上线段的旋转方向发生变化，则可判定上一点必然不在凸包上。实现时可用向量叉积进行判断，设新加入的点为pn+1，上一点为pn，再上一点为pn-1。顺时针扫描时，如果向量＜pn-1,pn>；与＜pn,pn+1>；的叉积为正(逆时针扫描判断是否为负)，则将上一点删除。删除过程需要回溯，将之前所有叉积符号相反的点都删除，然后将新点加入凸包。

第四步，在图8中，加入K点时，具体请参阅图9，由于线段＜H,C>要旋转到＜H,K>的角度，为顺时针旋转，所以C点不在凸包上，应该删除，保留K点。接着加入D点，由于线段＜K,D>要旋转到＜H,K>的角度，为逆时针旋转，故D点保留。按照上述步骤进行扫描，直到点集中所有的点都遍历完成，即得到凸包。

在本发明实施例中，得到标定块的凸多边形如图6所示。

105，通过拟合凸多边形的顶点计算相机外参数旋转平移矩阵

以确定机器人手眼标定中三维扫描相机坐标系相对于机器人执行器末端的转换关系

需要说明的是，其中相机外参数旋转平移矩阵

表示标定块上的世界坐标系相对于相机坐标系的旋转矩阵，P表示其平移矩阵，

根据现有的P3P位姿测量原理可以计算得到

然后将

和

代入

计算得到出相机相对于机器人的转化关系

然后通过机器人读取机器人基座标系和机器人执行器末端转换关系

根据

确定机器人手眼标定中三维扫描相机坐标系相对于机器人执行器末端的转换关系

请参阅图2，本发明提供的一种打磨操作臂手眼关系的标定方法的另一个实施例的流程示意图。

本发明提供了一种打磨操作臂手眼关系的标定方法的另一个实施例，包括：

201，获取采集到的标定块表面的三维点云数据。

202，采用直通滤波对三维点云数据进行滤波，然后选取Z轴坐标位于预置范围内的三维点云数据。

可以理解的是，扫描仪采集到的三维点云数据在在x、y方向上分布范围有限，z方向上分布较广，运用直通滤波方法通过对点类型的一个特定字段的约束可以快速剪除离群点，只保留标定块上表面附近的点云数据。

直通滤波是剔除离群点，为了提高滤波效果，可以在Z轴上设置相应的范围，从而可以剔除范围外的噪声点。

203，采用一致性算法对剔除噪声点后的三维点云数据进行平面分割，得到表面参数模型。

可以理解的是，一致性算法可以鲁棒地估计模型参数，可以从包括大量局外点的数据中集中估计出高精度的平面模型。

在本发明实施例中，为了获得标定快的表面参数模型，一致性算法需要在一定置信概率的条件下，获取求解表面参数模型参数最小迭代次数M应满足P＝1-(1-(1-ε)^m)^M，其中P希望成功概率高，一般取0.9-0.99，ε设定为数据错误率；m为计算模型参数需要的最小点数。从确定标定块表面形状中，随机选取m个点云数据，计算表面参数模型。

204，根据欧氏距离判定准则将每个表面参数模型上的三维点云数据分成局内点和局外点。

根据欧氏距离判定准则计算点云数据与表面参数模型之间的距离，如果距离在阈值范围内则判定为局内点，否则判定为局外点。

205，将局内点数量最多的表面参数模型作为估计平面模型。

可以理解的是，局内点数量最多的表面参数模型就是最优平面模型。

206，将估计平面模型从三维平面降维到二维平面上。

将估计平面模型从三维平面降维到二维平面后，便将三维空间中的线结构提取问题降维到二维平面的线结构提取问题，降低了问题复杂度，如果直接拟定标定块边线会存在很大误差。

207，根据预置的凸包算法对估计平面模型进行求解，得到对应的凸多边形。

208，遍历凸多边形的所有凸包点，将横坐标最大和最小的两个凸包点、纵坐标最大和最小的两个凸包点分别作为凸多边形的四个粗略顶点。

在本发明实施例中，四个粗略顶点如下表所示：

209，根据四个粗略顶点将所有凸包点分为四个点云边线子集。

210，根据四个点云边线子集分别拟合出相应的四条边线。

在本发明实施例中，可以采用最小二乘法进行拟合，。

对于给定的数据{(x_i，y_i)}(i＝0，1，…，n)，在选定的函数类p中，求f(x)∈p，使误差平方和∑[f(x_i)-y_i]²最小。几何意义就是拟合曲线y＝f(x)，使{(x_i，y_i)}(i＝0，1，…，n)点到拟合曲线y＝f(x)的距离平方和最小，求解拟合函数f(x)的方法被称作曲线拟合最小二乘法。函数拟合的核心是：给定数据点{(x_i，y_i)}(i＝0，1，…，n)，则找到拟合曲线方程为f(x)，使差值的平方和∑[f(x_i)-y_i]²为最小。以下空间直线最小二乘法拟合的原理：

a.空间直线标准方程为：

化简得：

其中：

b.空间直线相当于上两式表示的平面的交线，拟合这两个平面就是对直线的间接拟合。拟合方程所求得的近似值与实际值两者之差的平方和：

Δx＝∑[x_i-(az_i+b)]² (3.9)

Δy＝∑[y_i-(cz_i+d)]² (3.10)

根据最小二乘法的基本原理，利用(3.9)(3.10)两个式子对a，b，c，d求偏导且令其偏导全为零：

等价于下面的式子

分别求出a，b，c，d的值为

设其中：n₁和n₂为向量，且ni＝{A_i，B_i，C_i}(i＝1，2)有上面的拟合直线可知A₁＝-1，B₁＝0，C₁＝a，D₁＝b，A₂＝0，B₂＝-1，C₂＝c，D₂＝d

拟合直线为：A₁x+B₁y+C₁z+D₁＝0

A₂x+B₂y+C₂z+D₂＝0

在本发明实施例中，拟合四条边线后的示意图如图7所示。

211，根据四条边线的交点进行相应的向量计算得到相机外参数旋转平移矩阵

以确定机器人手眼标定中三维扫描相机坐标系相对于机器人执行器末端的转换关系

请参阅图3，本发明提供的一种打磨操作臂手眼关系的标定装置的一个实施例的流程示意图。

本发明提供了一种打磨操作臂手眼关系的标定装置的一个实施例，包括：

获取单元301，用于获取采集到的标定块表面的三维点云数据；

预处理单元302，用于对三维点云数据进行预处理，以剔除相应的噪声点；

平面分割单元303，用于采用一致性算法对剔除噪声点后的三维点云数据进行平面分割，得到估计平面模型；

凸多边形求解单元304，用于根据预置的凸包算法对估计平面模型进行求解，得到对应的凸多边形；

矩阵计算单元305，用于通过拟合凸多边形的顶点计算相机外参数旋转平移矩阵

以确定机器人手眼标定中三维扫描相机坐标系相对于机器人执行器末端的转换关系

另外，在本发明提供的一种打磨操作臂手眼关系的标定装置的另一个实施例中，预处理单元302于：

采用直通滤波对三维点云数据进行滤波，然后选取Z轴坐标位于预置范围内的三维点云数据。

进一步地，平面分割单元303具体包括：

分割子单元，用于采用一致性算法对剔除噪声点后的三维点云数据进行平面分割，得到表面参数模型；

第一分类子单元，用于根据欧氏距离判定准则将每个表面参数模型上的三维点云数据分成局内点和局外点；

模型确定子单元，用于将局内点数量最多的表面参数模型作为估计平面模型。

进一步地，标定装置还包括：

坐标转化单元，用于将估计平面模型从三维平面降维到二维平面上。

进一步地，矩阵计算单元305具体包括：

顶点粗求子单元，用于遍历凸多边形的所有凸包点，将横坐标最大和最小的两个凸包点、纵坐标最大和最小的两个凸包点分别作为凸多边形的四个粗略顶点；

第二分类子单元，用于根据四个粗略顶点将所有凸包点分为四个点云边线子集；

拟合子单元，用于根据四个点云边线子集分别拟合出相应的四条边线；

向量计算子单元，用于根据四条边线的交点进行相应的向量计算得到相机外参数旋转平移矩阵

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种打磨操作臂手眼关系的标定方法，其特征在于，包括：

获取采集到的标定块表面的三维点云数据；

对所述三维点云数据进行预处理，以剔除相应的噪声点；

采用一致性算法对剔除噪声点后的三维点云数据进行平面分割，得到估计平面模型；

根据预置的凸包算法对所述估计平面模型进行求解，得到对应的凸多边形；

通过拟合所述凸多边形的顶点计算相机外参数旋转平移矩阵

以确定机器人手眼标定中三维扫描相机坐标系相对于机器人执行器末端的转换关系

在采用一致性算法对剔除噪声点后的三维点云数据进行平面分割，得到估计平面模型之后，再根据预置的凸包算法对所述估计平面模型进行求解，得到对应的凸多边形之前，还包括：将所述估计平面模型从三维平面降维到二维平面上；

通过拟合所述凸多边形的顶点计算相机外参数旋转平移矩阵

具体包括：

遍历所述凸多边形的所有凸包点，将横坐标最大和最小的两个凸包点、纵坐标最大和最小的两个凸包点分别作为所述凸多边形的四个粗略顶点；

根据所述四个粗略顶点将所有凸包点分为四个点云边线子集；

根据四个点云边线子集分别拟合出相应的四条边线；

根据所述四条边线的交点进行相应的向量计算得到相机外参数旋转平移矩阵

2.根据权利要求1所述的标定方法，其特征在于，对所述三维点云数据进行预处理，以剔除相应的噪声点具体包括：

采用直通滤波对所述三维点云数据进行滤波，然后选取Z轴坐标位于预置范围内的三维点云数据。

3.根据权利要求1所述的标定方法，其特征在于，采用一致性算法对剔除噪声点后的三维点云数据进行平面分割，得到估计平面模型具体包括：

采用一致性算法对剔除噪声点后的三维点云数据进行平面分割，得到表面参数模型；

根据欧氏距离判定准则将每个表面参数模型上的三维点云数据分成局内点和局外点；

将局内点数量最多的表面参数模型作为估计平面模型。

4.一种打磨操作臂手眼关系的标定装置，其特征在于，包括：

获取单元，用于获取采集到的标定块表面的三维点云数据；

预处理单元，用于对所述三维点云数据进行预处理，以剔除相应的噪声点；

平面分割单元，用于采用一致性算法对剔除噪声点后的三维点云数据进行平面分割，得到估计平面模型；

凸多边形求解单元，用于根据预置的凸包算法对所述估计平面模型进行求解，得到对应的凸多边形；

矩阵计算单元，用于通过拟合所述凸多边形的顶点计算相机外参数旋转平移矩阵

以确定机器人手眼标定中三维扫描相机坐标系相对于机器人执行器末端的转换关系

坐标转化单元，用于将所述估计平面模型从三维平面降维到二维平面上；

矩阵计算单元具体包括：

顶点粗求子单元，用于遍历所述凸多边形的所有凸包点，将横坐标最大和最小的两个凸包点、纵坐标最大和最小的两个凸包点分别作为所述凸多边形的四个粗略顶点；

第二分类子单元，用于根据所述四个粗略顶点将所有凸包点分为四个点云边线子集；

拟合子单元，用于根据四个点云边线子集分别拟合出相应的四条边线；

向量计算子单元，用于根据所述四条边线的交点进行相应的向量计算得到相机外参数旋转平移矩阵

5.根据权利要求4所述的标定装置，其特征在于，所述预处理单元具体用于：

采用直通滤波对所述三维点云数据进行滤波，然后选取Z轴坐标位于预置范围内的三维点云数据。

6.根据权利要求4所述的标定装置，其特征在于，平面分割单元具体包括：

分割子单元，用于采用一致性算法对剔除噪声点后的三维点云数据进行平面分割，得到表面参数模型；

第一分类子单元，用于根据欧氏距离判定准则将每个表面参数模型上的三维点云数据分成局内点和局外点；

模型确定子单元，用于将局内点数量最多的表面参数模型作为估计平面模型。

Images