CN106625676A - 一种汽车智能制造自动上料的三维视觉精确引导定位方法 - Google Patents

Abstract

本发明公开一种汽车智能制造自动上料的三维视觉精确引导定位方法，采用相机对零部件进行拍照采集图像，通过图像处理，结合视觉检测算法计算出零件在固定坐标系下的位置和角度偏差，再通过给机器人传送改位置和角度信息，修正机器人轨迹，引导机器人到达正确的工作位置，从而实现机器人自动修正轨迹抓件上料。本发明对零部件的抓取精度高，精度可达±0.5mm，且不需要对料箱精确定位，省去精确定位料箱的成本和维护费用；方便后期维修和调整工艺。

Description

一种汽车智能制造自动上料的三维视觉精确引导定位方法

技术领域

本发明属于车身零部件自动上料技术领域，特别涉及一种汽车智能制造自动上料的三维视觉精确引导定位方法。

背景技术

制造业是国民经济的基础工业部门，是决定国家发展水平的最基本因素之一。智能制造是先进制造技术、信息技术以及人工智能技术在制造装备上的集成和深度融合，是实现高效、高品质、节能环保和安全可靠生产的下一代制造技术。基于三维视觉精确引导定位方法实现了零部件自动上料，大大节约了人力成本和宝贵的时间成本，是汽车厂实现全自动智能制造的重要一环。

现有车身零部件自动上料利用的只是机器人的重复运动。首先通过高精度定位机构将装有零部件的料箱安装在指定位置，然后示教机器人走到该位置抓取零部件，重复该过程实现零部件自动上料。该方法需要对料箱精确定位，不仅前期安装和维护成本高，而且后期出故障的概率更高。

发明内容

本发明针对现有技术中存在的需要对料箱精确定位，不仅前期安装和维护成本高，而且后期出故障的概率更高的技术问题，提供一种汽车智能制造自动上料的三维视觉精确引导定位方法，可达到通过特定算法处理拍到的零部件图片，获得零部件在固定坐标系下的位置和角度偏差，再将偏差值传送到机器人，修正机器人轨迹，指引机器人到达指定位置完成抓件的有益效果。

为解决上述技术问题，本发明采用的技术方案是：一种汽车智能制造自动上料的三维视觉精确引导定位方法，采用相机采集图像，结合视觉检测算法计算出零件在固定坐标系下的位置和角度偏差，从而实现机器人自动修正轨迹抓件上料。

所述视觉检测算法，视觉检测算法就是通过透视投影得到的n个像点求解摄像时刻物体相对于相机的位置和姿态。记摄像机坐标系O_c-x_cy_cz_c关于物体坐标系O-xyz的方位为[R,T]，其中R是旋转矩阵，表示摄像机的方向；T是平移向量，表示摄像机的位置。令X＝(x,y,z)∈R³是控制点在物体坐标系中的坐标，它在摄像机坐标系下的坐标为X_c＝(x_c,y_c,z_c)∈R³，对应的齐次坐标分别记为与其图像点坐标记为U＝(u,v)^T对应的齐次坐标记为则有

当已知零件上至少4个特征在零件坐标系下的坐标，摄像机在初始位置零件特征的图像坐标，就可以求得零件坐标系与相机坐标系直接的位姿关系，即R和T。

获取到零件与相机之间的位姿后，通过传感器标定确定传感器坐标系与机器人Base坐标系的先对关系，最终零件位姿统一到机器人Base坐标系。

这样每次测量系统都可以获取当前待抓取零件相对于机器人Base坐标系的位置，传递给机器人修正轨迹就能完成自动抓件。

所述机器人引导抓件流程如下：

1)在料箱到位后，PLC发送引导开始信号给引导控制柜，控制柜收到信号后依据零件信息初始化测量参数。初始化成功则进入下一步，否则反馈失败信息到界面，等待用户确实故障信息。

2)控制柜发送运动开始信号给机器人，通知机器人按照预先定义的轨迹运动到指定初始位置。

3)当机器人到达指定位置后反馈信号给控制柜，控制柜这时控制测距仪实时测量当前零件与传感器之间的距离。。若测量成功则发送继续运动信号给机器人，机器人以100％速度继续朝零件方向运动，进入下一步。否则控制柜在主界面上显示零件缺失，等待上料信息，机器人停止运动。

4)当控制柜收到的测距仪测量值小于1米时，控制柜发送信号给机器人，机器人运动速度减为50％，继续运动。

5)当控制柜收到的测距仪测量值小于0.7米时，控制柜控制机器人速度减为30％，继续运动。

6)当测距仪反馈测量值小于0.6米时，控制柜控制机器人速度减为10％，继续运动。

7)当传感器与零件距离小于0.5米时，控制柜发送停止运动信号给机器人，机器人停止运动。

8)这时控制柜控制传感器照明模块打开，照亮整个测量零件。同时控制摄像机以预定义的曝光参数拍照，存储下拍摄图像。

9)传感器将图像传递给控制柜，控制柜计算获得当前机器人机器人位置与待抓取的零件之间的位置和角度偏差，进入下一步。若由于图像质量不佳无法获得计算结果，控制柜将反馈测量失败信息给主界面显示，等待用户确认问题。

10)控制柜将待修正的位置和角度偏差发送给机器人，机器人按照偏差信息计算出最优运动轨迹，按此轨迹运动到零件抓取位置。

11)机器人运动到位后发送抓取信号给零件抓手，抓手夹紧抓住零件，反馈零件抓取成功信号给机器人。

12)机器人按照预定义轨迹将零件运送到下一步安装位置，并通知抓手松开零件，机器人回到初始位置。

13)这样一次完整的引导抓件过程完成，控制柜等待PLC发送下一次引导开始信号。

与现有技术相比，本发明所具有的有益效果是：本发明通过利用相机对零部件进行拍照，通过图像处理及特定算法计算后，得到零件在固定坐标系下的位置及角度偏差，再通过给机器人传送改位置和角度信息，修正机器人轨迹，引导机器人到达正确的工作位置。本发明对零部件的抓取精度高，精度可达±0.5mm，且不需要对料箱精确定位，省去精确定位料箱的成本和维护费用；方便后期维修和调整工艺。

附图说明

图1为本发明的流程图。

具体实施方式

为使本领域技术人员更好的理解本发明的技术方案，下面结合附图和具体实施例对本发明作详细说明。

本发明的实施例公开了一种汽车智能制造自动上料的三维视觉精确引导定位方法，如图所示，一种汽车智能制造自动上料的三维视觉精确引导定位方法，采用相机采集图像，结合视觉检测算法计算出零件在固定坐标系下的位置和角度偏差，从而实现机器人自动修正轨迹抓件上料。

所述视觉检测算法，视觉检测算法就是通过透视投影得到的n个像点求解摄像时刻物体相对于相机的位置和姿态。记摄像机坐标系O_c-x_cy_cz_c关于物体坐标系O-xyz的方位为[R,T]，其中R是旋转矩阵，表示摄像机的方向；T是平移向量，表示摄像机的位置。令X＝(x,y,z)∈R³是控制点在物体坐标系中的坐标，它在摄像机坐标系下的坐标为X_c＝(x_c,y_c,z_c)∈R³，对应的齐次坐标分别记为与其图像点坐标记为U＝(u,v)^T对应的齐次坐标记为则有

当已知零件上至少4个特征在零件坐标系下的坐标，摄像机在初始位置零件特征的图像坐标，就可以求得零件坐标系与相机坐标系直接的位姿关系，即R和T。

获取到零件与相机之间的位姿后，通过传感器标定确定传感器坐标系与机器人Base坐标系的先对关系，最终零件位姿统一到机器人Base坐标系。

这样每次测量系统都可以获取当前待抓取零件相对于机器人Base坐标系的位置，传递给机器人修正轨迹就能完成自动抓件。

所述机器人引导抓件流程如下：

1)在料箱到位后，PLC发送引导开始信号给引导控制柜，控制柜收到信号后依据零件信息初始化测量参数。初始化成功则进入下一步，否则反馈失败信息到界面，等待用户确实故障信息。

2)控制柜发送运动开始信号给机器人，通知机器人按照预先定义的轨迹运动到指定初始位置。

3)当机器人到达指定位置后反馈信号给控制柜，控制柜这时控制测距仪实时测量当前零件与传感器之间的距离。。若测量成功则发送继续运动信号给机器人，机器人以100％速度继续朝零件方向运动，进入下一步。否则控制柜在主界面上显示零件缺失，等待上料信息，机器人停止运动。

4)当控制柜收到的测距仪测量值小于1米时，控制柜发送信号给机器人，机器人运动速度减为50％，继续运动。

5)当控制柜收到的测距仪测量值小于0.7米时，控制柜控制机器人速度减为30％，继续运动。

6)当测距仪反馈测量值小于0.6米时，控制柜控制机器人速度减为10％，继续运动。

7)当传感器与零件距离小于0.5米时，控制柜发送停止运动信号给机器人，机器人停止运动。

8)这时控制柜控制传感器照明模块打开，照亮整个测量零件。同时控制摄像机以预定义的曝光参数拍照，存储下拍摄图像。

9)传感器将图像传递给控制柜，控制柜计算获得当前机器人机器人位置与待抓取的零件之间的位置和角度偏差，进入下一步。若由于图像质量不佳无法获得计算结果，控制柜将反馈测量失败信息给主界面显示，等待用户确认问题。

10)控制柜将待修正的位置和角度偏差发送给机器人，机器人按照偏差信息计算出最优运动轨迹，按此轨迹运动到零件抓取位置。

11)机器人运动到位后发送抓取信号给零件抓手，抓手夹紧抓住零件，反馈零件抓取成功信号给机器人。

12)机器人按照预定义轨迹将零件运送到下一步安装位置，并通知抓手松开零件，机器人回到初始位置。

13)这样一次完整的引导抓件过程完成，控制柜等待PLC发送下一次引导开始信号。

以上通过实施例对本发明进行了详细说明，但所述内容仅为本发明的示例性实施例，不能被认为用于限定本发明的实施范围。本发明的保护范围由权利要求书限定。凡利用本发明所述的技术方案，或本领域的技术人员在本发明技术方案的启发下，在本发明的实质和保护范围内，设计出类似的技术方案而达到上述技术效果的，或者对申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖保护范围之内。

Claims (3)

1.一种汽车智能制造自动上料的三维视觉精确引导定位方法，其特征在于，

采用相机采集图像，结合视觉检测算法计算出零件在固定坐标系下的位置和角度偏差，从而实现机器人自动修正轨迹抓件上料。

2.根据权利要求1所述的一种汽车智能制造自动上料的三维视觉精确引导定位方法，其特征在于，所述视觉检测算法，视觉检测算法就是通过透视投影得到的n个像点求解摄像时刻物体相对于相机的位置和姿态；记摄像机坐标系O_c-x_cy_cz_c关于物体坐标系O-xyz的方位为[R,T]，其中R是旋转矩阵，表示摄像机的方向；T是平移向量，表示摄像机的位置；令X＝(x,y,z)∈R³是控制点在物体坐标系中的坐标，它在摄像机坐标系下的坐标为X_c＝(x_c,y_c,z_c)∈R³，对应的齐次坐标分别记为与其图像点坐标记为U＝(u,v)^T对应的齐次坐标记为则有

$s\tilde{U}=K(RX+T)=K\left(\begin{array}{cc}R& T\end{array}\right)\tilde{X}$

当已知零件上至少4个特征在零件坐标系下的坐标，摄像机在初始位置零件特征的图像坐标，就可以求得零件坐标系与相机坐标系直接的位姿关系，即R和T；

获取到零件与相机之间的位姿后，通过传感器标定确定传感器坐标系与机器人Base坐标系的先对关系，最终零件位姿统一到机器人Base坐标系；

这样每次测量系统都可以获取当前待抓取零件相对于机器人Base坐标系的位置，传递给机器人修正轨迹就能完成自动抓件。

3.根据权利要求1所述的一种汽车智能制造自动上料的三维视觉精确引导定位方法，其特征在于，所述机器人引导抓件流程如下：

1)在料箱到位后，PLC发送引导开始信号给引导控制柜，控制柜收到信号后依据零件信息初始化测量参数；初始化成功则进入下一步，否则反馈失败信息到界面，等待用户确实故障信息；

2)控制柜发送运动开始信号给机器人，通知机器人按照预先定义的轨迹运动到指定初始位置；

3)当机器人到达指定位置后反馈信号给控制柜，控制柜这时控制测距仪实时测量当前零件与传感器之间的距离；；若测量成功则发送继续运动信号给机器人，机器人以100％速度继续朝零件方向运动，进入下一步；否则控制柜在主界面上显示零件缺失，等待上料信息，机器人停止运动；

4)当控制柜收到的测距仪测量值小于1米时，控制柜发送信号给机器人，机器人运动速度减为50％，继续运动；

5)当控制柜收到的测距仪测量值小于0.7米时，控制柜控制机器人速度减为30％，继续运动；

6)当测距仪反馈测量值小于0.6米时，控制柜控制机器人速度减为10％，继续运动；

7)当传感器与零件距离小于0.5米时，控制柜发送停止运动信号给机器人，机器人停止运动；

8)这时控制柜控制传感器照明模块打开，照亮整个测量零件；同时控制摄像机以预定义的曝光参数拍照，存储下拍摄图像；

9)传感器将图像传递给控制柜，控制柜计算获得当前机器人机器人位置与待抓取的零件之间的位置和角度偏差，进入下一步；若由于图像质量不佳无法获得计算结果，控制柜将反馈测量失败信息给主界面显示，等待用户确认问题；

10)控制柜将待修正的位置和角度偏差发送给机器人，机器人按照偏差信息计算出最优运动轨迹，按此轨迹运动到零件抓取位置；

11)机器人运动到位后发送抓取信号给零件抓手，抓手夹紧抓住零件，反馈零件抓取成功信号给机器人；

12)机器人按照预定义轨迹将零件运送到下一步安装位置，并通知抓手松开零件，机器人回到初始位置；

13)这样一次完整的引导抓件过程完成，控制柜等待PLC发送下一次引导开始信号。