CN111598945B - 一种汽车发动机曲轴瓦盖的三维定位方法 - Google Patents

Abstract

本发明提出了一种汽车发动机曲轴瓦盖的三维定位方法。本发明分为两个阶段以获取汽车发动机曲轴瓦盖的三维位姿信息。第一阶段，获取一幅瓦盖组完整出现在相机视野中的图像，并提取其二维定位信息(X，Y)和绕Z轴旋转的角度Rz。第二阶段，首先，在不同位置投射激光到第一片和第五片瓦盖的上表面，并获取两幅激光图像I₁和I₂；其次，利用改进的Steger算法分别定位提取激光图像I₁和I₂中的激光条纹中心线Laser1和Laser2，并得到对应的激光中心线图像I_L1和I_L2，将I_L1和I_L2拼接合成一幅新图像I_L3；最后，提取图像I_L3的关键节点，计算得到瓦盖组的高度信息Z和倾斜姿态Rx，Ry。本发明优点在于实时、高精度地完成汽车发动机瓦盖组的三维定位。

Description

一种汽车发动机曲轴瓦盖的三维定位方法

技术领域

本发明涉及一种汽车发动机曲轴瓦盖的三维定位方法，尤其涉及瓦盖组的位姿信息提取方法。

背景技术

发动机作为汽车提供动力的装置，是汽车的高精密核心部件。其中，曲轴瓦盖是一种铸铁材质的发动机主要配件，五个一组，起着固定曲轴、保证发动机正常运转的重要作用。在生产过程中，采用机器人代替人工完成取料任务，即控制气缸夹爪移动到料框的对应位置中夹取瓦盖准确摆放到指定位置，是实现自动化取料装配的关键。

瓦盖在常规环境条件下不易形变，可以将其视为刚体。刚体在空间中有六个自由度，即瓦盖组在空间中的位姿信息由6个坐标：X，Y，Z，Rx，Ry，Rz确定。其中X，Y，Z两两互相垂直，构成空间三维坐标系，Rx，Ry，Rz分别代表瓦盖组绕X轴、Y轴和Z轴旋转的角度。瓦盖成组的放在料框中，上料前装满瓦盖的料框放置在工作台。机器人需要从初始位置移动到工作台抓取瓦盖。相应地，机器人要实现瓦盖的取料任务，必须根据传感器获取的信息得到瓦盖在世界坐标系中的上述6个位姿信息，从而移动一定距离的机器人和调整机器人的当前姿态来完成瓦盖的抓取和摆放。

由于瓦盖组在料框中多层堆叠，层与层之间由塑料托盘隔开。受托盘所用材质、料框放置的情况、托盘的平整性等现场环境因素的影响，料框中待抓取的瓦盖组与取料机器人之间的高度Z实际上是变化的，存在一定的柔性偏差。特别是，当料框的放置本身略有倾斜或者托盘不平整时，该高度的偏差将更大，此时瓦盖组相对水平方向有一定的倾斜、垂直方向上出现俯仰，导致姿态信息中的Rx、Ry发生变化。在此情况下，传统的固定高度结合二维视觉引导的方法可能会出现机器人夹爪与瓦盖组的接触面有限，无法抓紧瓦盖组；严重地会导致机器人夹爪在向抓取位置移动的过程中发生碰撞，从而损坏机械结构和工件。因此，如何确定瓦盖组在空间中的位姿信息成为实现发动机曲轴瓦盖自动取料、装配继续解决的关键难题。

发明内容

针对上述问题，本发明提出一种汽车发动机曲轴瓦盖的三维定位方法，该方法能高速准确地获取瓦盖组在空间中的位姿信息，实现机器人快速、精准地抓取瓦盖，并将瓦盖摆放到指定位置。本发明内容如下：

S100.机器人的成像装置在位置P0获取瓦盖组工件完整出现在相机视野中的图像I₀；

S200.在图像I₀中提取瓦盖的二维定位信息(X，Y)和瓦盖组绕Z轴旋转的角度Rz；

S300.保持机器人当前姿态，移动图像采集模块，机器人的成像装置在位置P1投射激光到第一片瓦盖的上表面，并获取激光图像I₁，在位置P2投射激光到第五片瓦盖的上表面，并获取激光图像I₂；

S400.分别定位提取激光图像I₁和I₂的激光中心线，并得到对应的激光中心线图像I_L1和I_L2，将激光中心线图像I_L1和I_L2拼接合成新图像I_L3；

S500.在图像I_L3中提取瓦盖组的关键节点，计算高度信息Z和倾斜姿态Rx，Ry。

本发明具有如下优点：

1、本发明通过平移单目视觉在不同位置成像代替了多目视觉，避免了多目视觉需要增加线阵相机带来的硬件成本剧增；

2、本发明采用了两次对投射在瓦盖表面的激光成像，以代替对瓦盖上表面逐列密集扫描采集深度信息，在保证测量精度的情况下，大大减少数据量和计算时间，确保了实时性。

附图说明

图1是本发明的方法流程图；

图2是瓦盖堆放方式示意图；

图3是瓦盖组上表面激光拍照方式设计图。具体如下：图3(a)、图3(b)分别为第一次激光拍照方式设计图、水平移动4/5W后的第二次激光拍照方式设计图；

图4是激光中心线图像I_L1和I_L2拼接合成新图像I_L3的过程图；

图5是瓦盖组上表面的三维倾斜信息获取原理图；

图6是瓦盖组的激光三角测距法光路图；

图7为倾斜角度计算示意图。具体如下：图7(a)、图7(b)分别为倾斜角度Rx计算示意图和倾斜角度Ry计算示意图。

具体实施方式

实施本发明，以玉环国瑞机械厂生产的V8型号汽车发动机曲轴瓦盖组(外径180mm，厚壁30mm，宽80mm)的自动取料装配为例进行说明。料框中瓦盖组以固定间距放置，每列间隔距离为L，每行距离间隔为H，每层托盘间的距离为C，如图2所示。取料装置包括处理模块、运动控制模块、图像采集模块、取料机器人。其中，处理模块负责整个系统的协调处理与控制，其核心为研华的工业机；运动控制模块负责完成运动执行模块各个单元的电气控制。接收到位检测等开关的信号，并通过I/O信号驱动气缸和伺服电机的运动，主要包括西门子PLC、研华生产的数字量I/O卡(PCI-1730U)、三菱的伺服控制器(QD77MS4)；图像采集模块复杂采集图像，包括康耐视摄像机(CAM-CIC-5000-24-GC，该相机使用AptinaMT9P031CMOS图像传感器芯片)、奥普特500万像素高清工业镜头(OPT-C0825-5M)、派特莱的24V工业LED光源(CLN-24-CD-T)和线性激光器。取料机器人为取料执行机构，采用发那科6轴机器人(M-20iA)。图像采集模块固定在取料机器人的手臂上关节的下方，其中LED光源入射角度固定为25度，线性激光器与相机安装位置水平相距10cm。成像时，图像采集模块的相机、线性激光器、光源等的方向向下，面向瓦盖，与瓦盖之间的距离为1m左右。

预先采用张正友方法对所采用的相机进行标定，确定相机的参数，将获取到的图像坐标系下的参数换算成世界坐标系中，标定的目的是确定被测对象的实际尺寸与相机采集图像中像素数目的量化对应关系，以便将图像距离和被测对象的真实距离对应起来，实现参数的实际测试需要。

在取料机器人开始工作之前，输入待获取的瓦盖的型号及其与尺寸相关的先验参数，通过示教方式确定瓦盖组工件完整出现在相机视野中的第一次初始拍照位置P0(x_p,y_p,z_p)。

结合图1，本发明具体实施步骤如下：

S100.移动取料机器人到成像装置可获取瓦盖组工件完整出现在相机视野中的初始拍照位置P0，打开LED光源，触发相机，获取的图像I₀。

S200.在图像I₀中提取瓦盖的二维定位信息(X，Y)和瓦盖组绕Z轴旋转的角度Rz：

S210.对图像I₀采用中值滤波、canny算子提取图像中的边缘，在此基础上，采用基于边缘的模板匹配方法对瓦盖在图像中的位置二维定位，得到当前瓦盖在图像坐标系中的位置A(u,v,Rz)和第一片瓦盖上表面形心与激光照射线中点之间的偏差B(△u,△v,Rz)；

从小孔向投影面方向看，在像素坐标系中，以投影面的左上角为原点，u,v轴和投影面两边重合，其坐标系与图像坐标系处在同一平面，但原点不同，其中，所得到的u,v坐标值对应于图像坐标系中的x,y坐标值，Rz代表瓦盖组绕Z轴旋转的角度；

S220.将图像坐标系位置A转换成世界坐标系下的二维位置信息(X，Y)和Rz，将偏差B转换到世界坐标系下的△x，△y和Rz，转换公式为：

式中：M为相机内参数矩阵，R为旋转矩阵，t为平移矩阵，s为相机内外参数计算不同位置的深度值。

S300.保持机器人当前姿态，移动图像采集模块，机器人的成像装置在位置P1投射激光到第一片瓦盖的上表面，并获取激光图像I₁，在位置P2投射激光到第五片瓦盖的上表面，并获取激光图像I₂：

S310.取料机器人的成像装置从P0位置沿X轴移动△x，沿Y轴移动△y，再将手臂旋转Rz，此位置定为P1(x_p+△x,y_p+△y,z_p+△z)，打开线性激光器投射到第一片瓦盖的上表面，触发相机，获取第一幅激光图像I₁；

S320保持线性激光器打开，将取料机器人的成像装置从P1位置沿Y方向平移4W/5的固定距离到位置P2(x_p+△x,y_p+△y+4W/5,z_p+△z)，其中W代表瓦盖组上表面的宽度，保持线性激光器打开并投射到第五片瓦盖的上表面，触发相机，获取第二幅激光图像I₂，如图3所示。

S400.分别定位提取激光图像I₁和I₂的激光中心线，并得到对应的激光中心线图像I_L1和I_L2，将激光中心线图像I_L1和I_L2拼接合成新图像I_L3：

S410.采用改进的Steger算法对激光图像I₁和I₂分别定位提取激光条纹中心线，提取拟合到的激光中心线分别对应为Laser1和Laser2，并得到对应的激光中心线图像分别为I_L1和I_L2，对于待提取激光中心线的激光图像I₁，I_L＝I₁，采用改进的Steger算法提取激光中心线的具体实现步骤为：

S411.取固定阈值将激光图像I_L二值化，得到二值化激光图像I_BL；

S412.对I_BL逐行测试，去掉灰度值全为0的背景部分，剩下连续的部分提取为ROI区域B_ROI，其位置对应激光图像I_L的I_ROI；

S413.对B_ROI纵向灰度累加，求出当前位置激光的近似像素宽度PW，对大小U×V的B_ROI，有：

S414.对B_ROI沿水平方向搜索，将PW值变化不超过阈值PW_th(此处PW_th＝2)的相邻列合并，从而形成n个列集合，将对应的I_ROI分割成I_T1，I_T2，…，I_Tk，…，I_Tn共n个子区域；

S415.假设子区域图像I_Tk由第m列到第h列像素组成，则设置I_Tk对应的高斯函数g_k(x,y)的均方差σ_k为：

S416.对I_T1，I_T2，…，I_Tk，…，I_Tn使用不同的高斯函数通过Steger算法提取中心线，最后将运算后的分割区域合并；

S420.将激光中心线图像I_L1和I_L2在同一个坐标系下拼接合成得到一幅新图像I_L3，如图4所示：

其中，△W表示将世界坐标下的偏移距离4W/5换算成图像坐标系中的坐标偏移量，m×n为激光中心线图像I_L1和I_L2的尺寸，I_L1(i，j)和I_L1(i，j)分别代表激光中心线图像I_L1和I_L2坐标(i，j)的像素的灰度，1≤i≤m，1≤j≤n。

S500.在图像I_L3中提取瓦盖组的关键节点，计算高度信息Z和倾斜姿态Rx，Ry：

S510.结合瓦盖的先验知识在图像坐标系下，提取合成的新图像I_L3中瓦盖组的关键节点：

S511.连接第一片瓦盖上两个螺栓圆孔的圆心，在连接线上距离左圆圆心2R_1L处取点A₁，距右圆圆心2R_1R处取点A₂；同样地，连接第五片瓦盖上两个螺栓圆孔的圆心，在连接线上距离左圆圆心2R_5L处取点A₃，距右圆圆心2R_5R处取点A₄；

其中，R_iL和R_iR分别代表第i片瓦盖上左边圆孔和右边圆孔的半径，1≤i≤5；

S512.连接A₁与A₃，形成直线VLine1，连接A₂与A₄，形成直线VLine2，如图5中的虚线所示；

S513.将虚拟线VLine1和VLine2和激光中心线Laser1和Laser2相交，得到四个交点分别标记为C₁、C₂、C₃、C₄；

S514.提取线段C₁C₂、C₃C₄、C₁C₃、C₂C₄的中点，分别标记为关键节点P₁、P₂、P₃和P₄，如图5所示；

S520.对合成图像I_L3上的关键节点P₁、P₂、P₃和P₄采用激光三角测距法计算获得对应点的高度偏移信息△Z，分别用△ZP₁、△ZP₂、△ZP₃、△Z_P4表示；其中，激光三角测距法计算对应点的高度偏移信息△Z，如图6所示，△Z的计算公式为：

式中：OA为激光器中心与光敏单元中心的距离，f为透镜的焦距即OP，x为光敏单元上激光反射位置和极限位置的距离即MN，x′为待测工件的高度发生变化所对应的投影距离：

x'＝S_p·P_x+V_D (6)

式中：S_p为相机芯片的像元尺寸，本系统中相机CAM-CIC-5000-24-GC所用的Aptina MT9P031芯片的对应值为2.2μm，P_x为激光光点的像素坐标上u轴的值，V_D代表通过坐标计算值和真实值的偏差；

S530.计算整个瓦盖组倾斜姿态Rx和Ry：

其中，L1和L2分别表示P₁与P₂、P₃与P₄之间的距离，以范数形式表示，即L1＝||P₁-P₂||₂，L2＝||P₃-P₄||₂，Rx、Ry分别代表瓦盖组工件绕X轴、Y轴旋转的角度，如图7所示；

S540.结合S220步骤得到的二维位置信息(X，Y)和Rz，即可得到瓦盖组完整的位姿信息(X，Y，Z，Rx，Ry，Rz)，完成瓦盖组工件的准确定位。

将瓦盖组完整的三维信息(X，Y，Z)和姿态(Rx，Ry，Rz)发送给机器人，机器人接收到目标瓦盖组的位姿信息坐标后，控制气缸夹爪移动到料框中瓦盖组的对应位置夹取瓦盖组，搬运并准确放置到指定位置。根据料框中瓦盖组的放置间隔L，机器人的成像装置移动到下一个瓦盖组的初始拍照位置，操作步骤S100-S540进行瓦盖组的搬运；一列搬运后，沿行方向移动H距离到下一列瓦盖组的初始拍照位置，操作步骤S100-S540进行瓦盖组的搬运；一层搬运后，沿层方向移动C距离到下一层瓦盖组的初始拍照位置，操作步骤S100-S540进行瓦盖组的搬运。

Claims (3)

1.一种汽车发动机曲轴瓦盖的三维定位方法，至少包含以下几个步骤：

S100.机器人的成像装置在位置P0获取瓦盖组工件完整出现在相机视野中的图像I₀；

S200.在图像I₀中提取瓦盖的二维定位信息(X，Y)和瓦盖组绕Z轴旋转的角度Rz：

首先，对图像I₀采用中值滤波、canny算子提取图像中的边缘，在此基础上，采用基于边缘的模板匹配方法对瓦盖在图像中的位置二维定位，得到当前瓦盖在图像坐标系中的位置A(u,v,Rz)和第一片瓦盖上表面形心与激光照射线中点之间的偏差B(△u,△v,Rz)，其中，所得到的u,v坐标值对应于图像坐标系中的x,y坐标值，Rz代表瓦盖组绕Z轴旋转的角度；

然后，将图像坐标系位置A转换成世界坐标系下的二维位置信息(X，Y)和Rz，将偏差B转换到世界坐标系下的△x，△y和Rz，转换公式为：

式中：M为相机内参数矩阵，R为旋转矩阵，t为平移矩阵，s为相机内外参数计算不同位置的深度值；

S300.保持机器人当前姿态，移动图像采集模块，机器人的成像装置在位置P1投射激光到第一片瓦盖的上表面，并获取激光图像I₁，在位置P2投射激光到第五片瓦盖的上表面，并获取激光图像I₂；

S400.分别定位提取激光图像I₁和I₂的激光中心线，并得到对应的激光中心线图像I_L1和I_L2，将激光中心线图像I_L1和I_L2拼接合成新图像I_L3；

S500.在图像I_L3中提取瓦盖组的关键节点，计算高度信息Z和倾斜姿态Rx，Ry，S500还包括步骤S510-S530：

S510.在图像坐标系下，提取合成的图像I_L3中瓦盖组的关键节点：

S511.连接第一片瓦盖上两个螺栓圆孔的圆心，在连接线上距离左圆圆心2R_1L处取点A₁，距右圆圆心2R_1R处取点A₂；同样地，连接第五片瓦盖上两个螺栓圆孔的圆心，在连接线上距离左圆圆心2R_5L处取点A₃，距右圆圆心2R_5R处取点A₄；

其中，R_iL和R_iR分别代表第i片瓦盖上左边圆孔和右边圆孔的半径，1≤i≤5；

S512.连接A₁与A₃，形成直线VLine1，连接A₂与A₄，形成直线VLine2；

S513.将虚拟线VLine1和VLine2和激光中心线Laser1和Laser2相交，得到四个交点分别标记为C₁、C₂、C₃、C₄；

S514.提取线段C₁C₂、C₃C₄、C₁C₃、C₂C₄的中点，分别标记为关键节点P₁、P₂、P₃和P₄；

S520.对合成图像I_L3上的关键节点P₁、P₂、P₃和P₄采用激光三角测距法计算获得对应点的高度偏移信息△Z，分别用△Z_P1、△Z_P2、△Z_P3、△Z_P4表示；

S530.计算整个瓦盖组倾斜姿态Rx和Ry：

其中，L1和L2分别表示P₁与P₂、P₃与P₄之间的距离，以范数形式表示，即L1＝||P1-P2||₂，L2＝||P3-P4||₂，Rx、Ry分别代表瓦盖组工件绕X轴、Y轴旋转的角度。

2.根据权利要求1所述的汽车发动机曲轴瓦盖的三维定位方法，其特征在于保持机器人当前姿态，移动图像采集模块，机器人的成像装置在位置P1投射激光到第一片瓦盖的上表面，并获取激光图像I₁，在位置P2投射激光到第五片瓦盖的上表面，并获取激光图像I₂的过程，所述步骤S300至少还包括以下步骤：

S310.取料机器人的成像装置从P0位置沿X轴移动△x，沿Y轴移动△y，再将手臂旋转Rz，此位置定为P1(x_p+△x,y_p+△y,z_p+△z)，打开线性激光器投射到第一片瓦盖的上表面，触发相机，获取第一幅激光图像I₁；

S320.保持线性激光器打开，将取料机器人的成像装置从P1位置沿Y方向平移4W/5的固定距离到位置P2(x_p+△x,y_p+△y+4W/5,z_p+△z)，其中W代表瓦盖组上表面的宽度，保持线性激光器打开并投射到第五片瓦盖的上表面，触发相机，获取第二幅激光图像I₂。

3.根据权利要求1所述的汽车发动机曲轴瓦盖的三维定位方法，其特征在于分别定位提取激光图像I₁和I₂的激光中心线，并得到对应的激光中心线图像I_L1和I_L2，将激光中心线图像I_L1和I_L2拼接合成新图像I_L3的过程，所述步骤S400至少还包括以下步骤：

S410.采用改进的Steger算法对激光图像I₁和I₂分别定位提取激光条纹中心线，提取拟合到的激光中心线分别对应为Laser1和Laser2，并得到对应的激光中心线图像分别为I_L1和I_L2，对于待提取激光中心线的激光图像I₁，I_L＝I₁，采用改进的Steger算法提取激光中心线的具体实现步骤为：

S411.取固定阈值将激光图像I_L二值化，得到二值化激光图像I_BL；

S412.对I_BL逐行测试，去掉灰度值全为0的背景部分，剩下连续的部分提取为ROI区域B_ROI，其位置对应激光图像I_L的I_ROI；

S413.对B_ROI纵向灰度累加，求出当前位置激光的近似像素宽度PW，对大小U×V的B_ROI，有：

S414.对B_ROI沿水平方向搜索，将PW值变化不超过阈值PW_th的相邻列合并，从而形成n个列集合，将对应的I_ROI分割成I_T1，I_T2，…，I_Tk，…，I_Tn共n个子区域；

S415.假设子区域图像I_Tk由第m列到第h列像素组成，则设置I_Tk对应的高斯函数g_k(x,y)的均方差σ_k为：

S416.对I_T1，I_T2，…，I_Tk，…，I_Tn使用不同的高斯函数通过Steger算法提取中心线，最后将运算后的分割区域合并，分割合并后图像为激光中心线图像I_L；

S420.将激光中心线图像I_L1和I_L2在同一个坐标系下拼接合成得到一幅新图像I_L3：

其中，△W表示将世界坐标下的偏移距离4W/5换算成图像坐标系中的坐标偏移量，m×n为激光中心线图像I_L1和I_L2的尺寸，I_L1(i，j)和I_L1(i，j)分别代表激光中心线图像I_L1和I_L2坐标(i，j)的像素的灰度，1≤i≤m，1≤j≤n。