CN112757057A - 融合视觉深度分析的智能免人工示教打磨抛光方法及系统 - Google Patents

Abstract

本发明涉及智能打磨抛光技术领域，尤其涉及融合视觉深度分析的智能免人工示教打磨抛光方法及系统，包括如下步骤：S1、机械臂移动深度相机从多角度对加工场景及目标加工件拍摄获取三维空间信息；S2、利用环境的三维空间信息数据，进行机器人运动的范围模拟测试，对机器人空间运动轨迹安全验证，用于主动避障；S3、提取后的工件模型与加工件设计的数模进行比对分析，识别出的差异部分，自主规划作业轨迹及自动编写机器人执行程序；S4、合理性验证，验证失败则重新规划运动作业轨迹。本发明能够自适应各种不同的打磨、抛磨对象，无需人为干预或编程。

Description

融合视觉深度分析的智能免人工示教打磨抛光方法及系统

技术领域

本发明涉及智能打磨抛光技术领域，尤其涉及融合视觉深度分析的智能免人工示教打磨抛光方法及系统。

背景技术

铸造、冲压、切割、注塑等生产行业中，如汽车发动机缸体的半成品均可能存在毛刺、飞边、粗糙等问题。半成品加工过程中还存在采用人工打磨情况，不仅加工效率低，且在生产过程中对人体的健康造成危害，并易出现表面打磨质量稳定性差，返工或废品率较高的现象，已经无法满足现代化生产的需求。而传统工业机器人示教技术无法适应生产行业的生产周期短、工艺变化快、产品系列多的特点，因此加工行业尤其是金属、塑料制品打磨、抛光急需一种具备易于操作、速度快、实时性高、高精密加工、可靠性强、适用范围广的新型打磨抛磨机器人解决方案。在这样的形势下，融合视觉深度分析的智能免人工示教打磨抛光机器人方法及系统的出现，很好地解决了加工工厂的金属、塑料等制品打磨出现的以上种种问题。为此，我们提出融合视觉深度分析的智能免人工示教打磨抛光方法及系统。

发明内容

基于背景技术存在的技术问题，本发明提出了融合视觉深度分析的智能免人工示教打磨抛光方法及系统，能够自适应各种不同的打磨、抛磨对象，无需人为干预或编程。解决人眼难以察觉的工件毛刺、飞边等不完善的地方，解决人工操作难、效率低下、容易误操作导致新的缺陷等问题；传统的机器人示教过程繁琐、耗时长等问题；从而能大幅度提高产品加工精度、产品优品率及加工效率。

本发明提供如下技术方案：融合视觉深度分析的智能免人工示教打磨抛光方法及系统，包括如下步骤：

S1、机械臂移动深度相机从多角度对加工场景及目标加工件拍摄，通过三维实景还原技术在数字世界中还原工作场景，将三维空间信息发送给机器人进行主动避障，提取加工件三维模型；

S2、利用环境的三维空间信息数据，进行机器人运动的范围模拟测试，对机器人空间运动轨迹安全验证，用于主动避障；

S3、提取后的工件模型与加工件设计的数模进行比对分析，识别出的差异部分即为需加工作业部分，提取出该部分的空间坐标位置，计算出该加工件需要执行打磨抛光的所有空间点位置及法线方向，通过机器人运动学、轨迹规划算法，结合三维空间运动轨迹安全信息自主规划作业轨迹及自动编写机器人执行程序；

S4、自主规划作业轨迹及自动编写机器人执行程序完成后，由安全监控系统进行运动作业轨迹模拟测试合理性验证通过后，机械臂自动执行加工作业；合理性验证如果失败，则重新规划运动作业轨迹。

优选的，所述步骤S1中深度相机与机器人采用眼在手上安装方式，初次安装、硬件变动、发生碰撞的情况需与机械臂本体进行手眼标定。

优选的，所述步骤S1中深度相机初次拍摄后，获取的初始环境数据信息发送给安全监控系统；由安全监控系统进行机器人初始运动的三维空间主动避障模拟测试，优化移动采集数据中机械臂的运动轨迹。

优选的，所述步骤S2中通过机器人运动学、轨迹规划算法，进行碰撞检测和轨迹合理性验证。

优选的，所述步骤S3中根据打磨抛光要求精度、材质大小、打磨工艺，设置打磨行进速度、力度、角度、间距。

优选的，所述步骤S3中连续的空间点可组成机械臂末端的打磨抛光作业运动轨迹；不连续的空间点通过三维空间主动模拟测试自动生成机械臂末端的过渡运动轨迹，打磨抛光作业运动轨迹与过渡运动轨迹组成完整的机械臂作业运动轨迹。

优选的，所述步骤S4中多次验证不通过后，机械臂自动停止作业，由人工进行异常检查；异常排除后，对运动作业轨迹模拟测试。

优选的，所述步骤S4中合理性验证包括：碰撞检测、作业轨迹的连续性、作业方式是否符合工艺要求、作业轨迹是否满足加工精度要求。

优选的，所述步骤S4中重新规划运动作业轨迹算法：逆运动学求解可得出多组解，即六个关节角度，首先通过前一个位置点机械臂的各轴信息刷选出当前位置最优解；如无可行解，则在打磨工艺允许的范围内，当前需执行增加微小偏置，再通过逆运动学重新求解，即重新规划当前点的作业轨迹。

融合视觉深度分析的智能免人工示教打磨抛光系统，包括视觉智能分析系统、机器人免试教系统和安全监控系统；

所述视觉智能分析系统通过深度相机获取从多角度对加工场景及目标加工件拍摄，通过三维实景还原技术在数字世界中还原工作场景，将三维空间信息发送给机器人免试教系统进行主动避障，提取加工件三维模型；对提取后的工件模型与加工件设计的数模进行比对分析，识别出的差异部分计算出该加工件需要执行打磨抛光的所有空间点位置及法线方向；

所述机器人免试教系统通过移动采集数据，并接收视觉智能分析系统的三维空间信息，根据信息控制机械臂三维空间主动避障，通过机器人运动学、轨迹规划算法，结合三维空间运动轨迹安全信息；自主规划作业轨迹及自动编写机器人执行程序；

所述安全监控系统接收到环境的三维空间信息数据，进行机器人运动的范围模拟测试，对机器人空间运动轨迹安全验证，用于主动避障；

所述安全监控系统在自主规划作业轨迹及自动编写机器人执行程序完成后，进行运动作业轨迹模拟测试，合理性验证通过后，机器人免试教系统控制机械臂自动执行加工作业；合理性验证如果失败，则重新规划运动作业轨迹；多次验证不通过后，机械臂自动停止作业，由人工进行异常检查；异常排除后，对运动作业轨迹模拟测试。

本发明提供了融合视觉深度分析的智能免人工示教打磨抛光方法及系统，具有如下技术效果：

1、视觉智能分析系统，采用深度相机(高精度激光相机)，识别精度可达0.03mm，可解决人眼难以察觉的工件毛刺或不完善的地方甚至可能出现的漏检等情况；

2、视觉智能分析系统，自动比对实际工件与设计数模的差异；速度快、实时性高、高精密加工、可靠性强、适用范围广，使生产加工更科学高效；

3、机器人控制结合视觉智能分析系统，使得机器人在运动过程中具备主动避障功能；保证生产的安全性、保护人员人身安全及设备财产保护等；

4、机器人控制结合视觉智能分析系统进行打磨、抛光作业，机械臂作业精度可达0.02mm，可解决人工操作难或容易误操作导致新的缺陷等问题；

5、机器人免试教系统，降低了使用人员的操作技术要求；自主规划作业轨迹及自动编写机器人执行程序，无需人工使用机械臂点对点示教操作、引导等；

6、安全监控系统，主动检验机器人作业过程运动的合理性，可有效的避免人工误操作、工作人误入机器人工作空间，从而保证生产的安全性、保护人员人身安全及设备财产保护等；

7.视觉智能分析系统、机器人免试教系统及安全监控系统相结合形成完整的闭环回路，使生产加工更安全、科学高效。实际生产作业中无需人为主动操作设备，降低对工作人员的操作技术要求及工作强度；检测到异常时，只需要人工进行异常检查(是否有工人进入机器人工作空间中、环境干扰、机器人硬件状态等因素)；异常排除后，整个系统可自动重新恢复加工作业。

附图说明

图1为本发明手眼标定方式示意图；

图2为本发明系统原理图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种技术方案：融合视觉深度分析的智能免人工示教打磨抛光方法及系统，包括如下步骤：

S1、机械臂移动深度相机从多角度对加工场景及目标加工件拍摄，通过三维实景还原技术在数字世界中还原工作场景，将三维空间信息发送给机器人进行主动避障，提取加工件三维模型；

深度相机初次拍摄后，获取的初始环境数据信息发送给安全监控系统；由安全监控系统进行机器人初始运动的三维空间主动避障模拟测试，优化移动采集数据中机械臂的运动轨迹；

机械臂移动深度相机从多角度、多方位对加工场景及目标加工件拍摄，通过三维实景还原技术将多张具有深度信息的图像(三维点云数据处理)进行融合，在数字世界中还原工作场景。通过固定的工作台位置等信息，可直接分割出加工件三维模型。将整体三维空间信息发送给机器人免试教系统和安全监控系统；

使用的视觉智能分析系统中深度相机(高精度激光相机)安装后，与机器人免试教系统中的机械臂本体进行手眼标定，将深度相机的空间坐标系及位置转换至机械臂坐标系中；

如图1所示：记cam指代的是相机坐标系统，cal指代的是工件坐标系统，tool是工具坐标系统，base为机械手坐标系统，H为转换矩阵，

为校准物坐标系在相机坐标系下的位姿关系。依次类推，则整个坐标转换关系如下：

S2、利用环境的三维空间信息数据，进行机器人运动的范围模拟测试，对机器人空间运动轨迹安全验证，用于主动避障；

安全监控系统接收到信息数据后，进行三维空间主动避障模拟测试。通过机器人运动学、轨迹规划等算法，进行碰撞检测、轨迹合理性验证等。验证机器人空间运动轨迹的安全可靠性，从而实现机械臂三维空间的主动避障。

S3、提取后的工件模型与加工件设计的数模进行比对分析，识别出的差异部分即为需加工作业部分，提取出该部分的空间坐标位置，计算出该加工件需要执行打磨抛光的所有空间点位置及法线方向，通过机器人运动学、轨迹规划算法，结合三维空间运动轨迹安全信息自主规划作业轨迹及自动编写机器人执行程序，免除人工示教编程，简化作业流程；

在视觉智能分析系统中，将提取后的工件模型与加工件设计的数模进行比对分析，识别出的差异部分即为毛刺、飞边等需加工作业部分；对差异部分进行分析，提取出该部分的空间坐标位置；

对比分析算法如下：

通过迭代最近点算法ICP(Iterative Closest Point)，将数模P与目标工件Q坐标系进行统一；

通过KD树最近邻搜索过程，目标工件Q上的点遍历数模P的点；去除重复，距离极近点，剩下即为差异部分。

根据打磨抛光要求精度、材质大小、打磨工艺，设置打磨行进速度、力度、角度、间距。连续的空间点可组成机械臂末端的打磨抛光作业运动轨迹；不连续的空间点通过三维空间主动模拟测试自动生成机械臂末端的过渡运动轨迹，打磨抛光作业运动轨迹与过渡运动轨迹组成完整的机械臂作业运动轨迹。连续的空间点(如：点间距小于3mm(根据打磨抛光要求精度决定))可组成机械臂末端的打磨抛光作业运动轨迹；不连续的空间点通过三维空间主动模拟测试自动生成机械臂末端的过渡运动轨迹。，依据机械臂的正逆运动学可计算出机械臂在空间中位置及判断运动过程中的连贯性，公式如下：

正运动学：

1.变换矩阵：(T对应关机位置)

根据标准DH参数法，可以得到坐标系{i}到坐标系{i-1}的变化矩阵

所以可以求得

对应每一组自变量，有唯一

与之对应，只要确定了[θ₁，θ₂，θ₃，θ₄，θ₅，θ₆]，就能确定

2.末端执行器位姿：

假设

易知，末端执行器笛卡尔坐标系下的位置是

旋转变换矩阵

求得姿态角(也叫欧拉角)：

roll＝θ_z＝atan 2(n_y，n_x)

pitch＝θ_x＝atan 2(o_z，a_z)

逆运动学：

根据末端执行器的位置和姿态[p_x，p_y，p_z，r，y，p]，求解末端坐标系到基坐标系的变换矩阵

已知末端执行器相对于基坐标系的位置和姿态，求对应的六个关节角度。

打磨抛光作业运动轨迹与过渡运动轨迹组成完整的机械臂作业运动轨迹。通过机器人运动学、轨迹规划等算法，结合三维空间运动轨迹安全信息；自主规划作业轨迹及自动编写机器人执行程序，免除人工示教编程，简化作业流程。

S4、自主规划作业轨迹及自动编写机器人执行程序完成后，由安全监控系统进行运动作业轨迹模拟测试合理性验证通过后，机械臂自动执行加工作业；合理性验证如果失败，则重新规划运动作业轨迹。

自主规划作业轨迹及自动编写机器人执行程序完成后，由安全监控系统进行运动作业轨迹模拟测试验证作业轨迹的合理性。合理性验证主要包括：碰撞检测、作业轨迹的连续性、作业方式是否符合工艺要求、作业轨迹是否满足加工精度要求等；

三维空间主动避障模拟测试，根据机器人与三维空间坐标信息的关系，虚拟空间中模拟机器人整个作业动作，判断机器人在工件打磨、抛光作业中是否会与周围场景物件发生擦碰；及在机器人实际运动中出现不适宜的危险动作：如单轴高速正反向运动、与周围环境超近距离运动等；

运动作业轨迹模拟测试结果为不合理时，则重新规划运动作业轨迹；多次验证(一般为三次)不通过后，机械臂自动停止作业，由人工进行异常检查(是否有工人进入机器人工作空间中、环境干扰、机器人硬件状态等因素)；异常排除后，重新规划运动作业轨迹并进行模拟测试；

重新规划运动作业轨迹算法：

逆运动学求解可得出多组解(六个关节角度)，首先通过前一个位置点机械臂的各轴信息刷选出当前位置最优解；如无可行解，则在打磨工艺允许的范围内，当前需执行增加微小偏置(Px+Δx，Py+Δy，Pz+Δz)，再通过逆运动学重新求解，即重新规划当前点的作业轨迹。

运动作业轨迹模拟测试结果为合理性时，机械臂自动执行加工作业完成打磨、抛光等。

如图2所示，融合视觉深度分析的智能免人工示教打磨抛光系统，包括：视觉智能分析系统、机器人免试教系统和安全监控系统；

视觉智能分析系统通过深度相机获取从多角度对加工场景及目标加工件拍摄，通过三维实景还原技术在数字世界中还原工作场景，将三维空间信息发送给机器人免试教系统进行主动避障，提取加工件三维模型；对提取后的工件模型与加工件设计的数模进行比对分析，识别出的差异部分计算出该加工件需要执行打磨抛光的所有空间点位置及法线方向；

机器人免试教系统通过移动采集数据，并接收视觉智能分析系统的三维空间信息，根据信息控制机械臂三维空间主动避障，通过机器人运动学、轨迹规划算法，结合三维空间运动轨迹安全信息；自主规划作业轨迹及自动编写机器人执行程序；

安全监控系统接收到环境的三维空间信息数据，进行机器人运动的范围模拟测试，对机器人空间运动轨迹安全验证，用于主动避障；

安全监控系统在自主规划作业轨迹及自动编写机器人执行程序完成后，进行运动作业轨迹模拟测试，合理性验证通过后，机器人免试教系统控制机械臂自动执行加工作业；合理性验证如果失败，则重新规划运动作业轨迹；多次验证不通过后，机械臂自动停止作业，由人工进行异常检查；异常排除后，对运动作业轨迹模拟测试。

本发明，能够自适应各种不同的打磨、抛磨对象，无需人为干预或编程。解决人眼难以察觉的工件毛刺、飞边等不完善的地方，解决人工操作难、效率低下、容易误操作导致新的缺陷等问题；传统的机器人示教过程繁琐、耗时长等问题；从而能大幅度提高产品加工精度、产品优品率及加工效率。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.融合视觉深度分析的智能免人工示教打磨抛光方法，其特征在于：包括如下步骤：

S1、机械臂移动深度相机从多角度对加工场景及目标加工件拍摄，通过三维实景还原技术在数字世界中还原工作场景，将三维空间信息发送给机器人进行主动避障，提取加工件三维模型；

S2、利用环境的三维空间信息数据，进行机器人运动的范围模拟测试，对机器人空间运动轨迹安全验证，用于主动避障；

S3、提取后的工件模型与加工件设计的数模进行比对分析，识别出的差异部分即为需加工作业部分，提取出该部分的空间坐标位置，计算出该加工件需要执行打磨抛光的所有空间点位置及法线方向，通过机器人运动学、轨迹规划算法，结合三维空间运动轨迹安全信息自主规划作业轨迹及自动编写机器人执行程序；

S4、自主规划作业轨迹及自动编写机器人执行程序完成后，由安全监控系统进行运动作业轨迹模拟测试合理性验证通过后，机械臂自动执行加工作业；合理性验证如果失败，则重新规划运动作业轨迹。

2.根据权利要求1所述的融合视觉深度分析的智能免人工示教打磨抛光方法，其特征在于：所述步骤S1中深度相机与机器人采用眼在手上安装方式，初次安装、硬件变动、发生碰撞的情况需与机械臂本体进行手眼标定。

3.根据权利要求1或2所述的融合视觉深度分析的智能免人工示教打磨抛光方法，其特征在于：所述步骤S1中深度相机初次拍摄后，获取的初始环境数据信息发送给安全监控系统；由安全监控系统进行机器人初始运动的三维空间主动避障模拟测试，优化移动采集数据中机械臂的运动轨迹。

4.根据权利要求1所述的融合视觉深度分析的智能免人工示教打磨抛光方法，其特征在于：所述步骤S2中通过机器人运动学、轨迹规划算法，进行碰撞检测和轨迹合理性验证。

5.根据权利要求1所述的融合视觉深度分析的智能免人工示教打磨抛光方法，其特征在于：所述步骤S3中根据打磨抛光要求精度、材质大小、打磨工艺，设置打磨行进速度、力度、角度、间距。

6.根据权利要求1或5所述的融合视觉深度分析的智能免人工示教打磨抛光方法，其特征在于：所述步骤S3中连续的空间点可组成机械臂末端的打磨抛光作业运动轨迹；不连续的空间点通过三维空间主动模拟测试自动生成机械臂末端的过渡运动轨迹，打磨抛光作业运动轨迹与过渡运动轨迹组成完整的机械臂作业运动轨迹。

7.根据权利要求1所述的融合视觉深度分析的智能免人工示教打磨抛光方法，其特征在于：所述步骤S4中多次验证不通过后，机械臂自动停止作业，由人工进行异常检查；异常排除后，对运动作业轨迹模拟测试。

8.根据权利要求1或7所述的融合视觉深度分析的智能免人工示教打磨抛光方法，其特征在于：所述步骤S4中合理性验证包括：碰撞检测、作业轨迹的连续性、作业方式是否符合工艺要求、作业轨迹是否满足加工精度要求。

9.根据权利要求8所述的融合视觉深度分析的智能免人工示教打磨抛光方法，其特征在于：所述步骤S4中重新规划运动作业轨迹算法：逆运动学求解可得出多组解，即六个关节角度，首先通过前一个位置点机械臂的各轴信息刷选出当前位置最优解；如无可行解，则在打磨工艺允许的范围内，当前需执行增加微小偏置，再通过逆运动学重新求解，即重新规划当前点的作业轨迹。

10.融合视觉深度分析的智能免人工示教打磨抛光系统，其特征在于：包括：视觉智能分析系统、机器人免试教系统和安全监控系统；

所述视觉智能分析系统通过深度相机获取从多角度对加工场景及目标加工件拍摄，通过三维实景还原技术在数字世界中还原工作场景，将三维空间信息发送给机器人免试教系统进行主动避障，提取加工件三维模型；对提取后的工件模型与加工件设计的数模进行比对分析，识别出的差异部分计算出该加工件需要执行打磨抛光的所有空间点位置及法线方向；

所述机器人免试教系统通过移动采集数据，并接收视觉智能分析系统的三维空间信息，根据信息控制机械臂三维空间主动避障，通过机器人运动学、轨迹规划算法，结合三维空间运动轨迹安全信息；自主规划作业轨迹及自动编写机器人执行程序；

所述安全监控系统接收到环境的三维空间信息数据，进行机器人运动的范围模拟测试，对机器人空间运动轨迹安全验证，用于主动避障；

所述安全监控系统在自主规划作业轨迹及自动编写机器人执行程序完成后，进行运动作业轨迹模拟测试，合理性验证通过后，机器人免试教系统控制机械臂自动执行加工作业；合理性验证如果失败，则重新规划运动作业轨迹；多次验证不通过后，机械臂自动停止作业，由人工进行异常检查；异常排除后，对运动作业轨迹模拟测试。

Images