CN117601112A - 基于多深度相机的混线产品机器人喷涂作业在线规划方法 - Google Patents

Abstract

本发明公开了一种基于多深度相机的混线产品机器人喷涂作业在线规划方法。本发明通过多个深度相机采集产品多角度点云数据，使用转台法将多角度点云拼接为完整点云。基于点云切片算法提取点云轮廓折线，生成喷涂机器人喷枪末端轨迹，基于三维喷漆分布模型精确计算产品表面各点喷涂厚度，验证喷涂轨迹合理性，从而生成喷涂机器人的喷涂作业指令。本发明完成从产品点云获取，喷涂效果评估、喷涂机器人喷涂作业程序生成的全流程，整体规划流程耗时极短。本发明能够便捷的采集产品表面点云数据，适应于工业混线生产，根据产品外形和喷涂需求快速自动地生成喷涂机器人喷涂作业轨迹，大幅度提高喷涂轨迹规划效率，满足在线喷涂轨迹规划的实时性要求。

Description

基于多深度相机的混线产品机器人喷涂作业在线规划方法

技术领域

本发明属于自动化喷涂领域，特别是一种基于多深度相机的混线产品机器人喷涂作业在线规划方法。

背景技术

如今工业产品逐渐朝着复杂化发展，为了满足性能要求工件表面往往有着繁杂的形状，表面的涂层质量也对产品的整体性能有着较大的影响。比如汽车、轮船等工艺产品，表面涂层质量也是产品性能指标的重要一环，满足一定厚度并且均匀的喷漆保护层能够防止产品发生腐蚀、变质。

而在大规模工业生产中，喷漆机器人因为其作业柔性强、喷涂范围广、喷漆质量高、喷涂效率高等优势取代了人工喷涂，也避免了工人遭受喷漆带来的生命危害。目前工厂中常用的喷涂机器人轨迹规划技术为人工示教法，经验丰富的喷漆工人通过引导喷涂机器人运动，通过示教器记录下关键的喷涂轨迹点，结合喷涂效果修改轨迹，后续机器人即可复现并重复执行该喷涂轨迹，但总体规划效率低，而且喷漆工人仍然需要遭受喷漆带来的健康危害。

因此很多工厂开始采用计算机辅助喷涂轨迹规划，但由于工厂往往采用混线生产的作业模式，有利于提高工作效率，但不同种类的产品在外形和喷涂作业要求上差别很大，不能简单地使用同一个喷涂作业程序进行喷涂，因此针对不同型号的产品采集外形数据，在线生成喷涂轨迹就显得很有必要，如何针对不同型号的产品快速生成喷涂机器人喷涂作业程序，完成喷涂作业，是一个非常值得研究的问题。

发明内容

为了解决上述问题，本发明提出了一种基于多深度相机的混线产品机器人喷涂作业在线规划方法，实现从大型复杂产品外形点云获取到喷涂轨迹生成的完整过程，完成在线喷涂作业。

本发明采用的技术方案如下：

一、一种基于多深度相机的混线产品机器人喷涂作业在线规划方法

1)采集多视角下的混线产品表面点云数据，进而组成完整产品表面点云数据集；

2)提取完整产品表面点云数据集中轮廓折线，根据提取的轮廓折线生成喷涂机器人的喷枪末端轨迹；

3)根据三维喷涂分布模型，通过喷漆厚度计算验证当前喷枪末端轨迹的合理性，若不合理，则重复2)，更新喷涂机器人的喷枪末端轨迹，直至最终的喷枪末端轨迹合理；

4)计算相机坐标系与喷涂机器人坐标系之间的转换关系，基于该转换关系以及最终的喷枪末端轨迹生成喷涂机器人的喷涂作业指令。

所述2)具体为：

2.1)根据喷涂参数确定喷漆分布模型，进而优化确定喷涂行程间距和喷涂速度，根据喷涂行程间距将完整产品表面点云数据集划分为若干点云切片；

2.2)通过变半径邻近点对搜索方法生成每个点云切片的切片轮廓点集；

2.3)提取当前点云切片的切片轮廓点集中的外部轮廓后，形成折线包围轮廓，最后统计折线包围轮廓中每个线段端点与其他线段相接的次数，将所有只相接一次的端点提取出来后，再按照视线扫掠的坐标轴方向从上往下重新排序，从而形成单向连贯轮廓折线；

2.4)对当前点云切片的单向连贯轮廓折线进行简化，获得简化折线轮廓；

2.5)以当前点云切片的简化折线轮廓中相邻两折线的外角平分线作为喷枪的喷涂方向，结合喷涂高度生成喷枪末端轨迹；

2.6)重复2.2)-2.5)，计算生成剩余点云切片的喷枪末端轨迹，将各分片的喷涂轨迹首尾相连后，得到完整喷涂轨迹。

所述2.2)中，对于每个点云切片，其轮廓点云的生成具体包括以下步骤：

S1：使用垂直于每个点云切片的切片方向且经过当前点云切片中心的切片平面将当前点云切片划分为两个点云带；

S2：通过k-d树对第一点云带中的所有点通过不断增加搜索半径的方式进行最近邻域搜索，直至找到位于第二点云带中的最临近点，然后对该临近点进行反向最近点搜索，若两个点互为跨邻域最近点，则确定为一个求交点对；

S3：重复S2，直至找出两个点云带中的所有求交点对，接着找出所有求交点对连线与切片平面的交点并在切片平面上形成当前点云切片的轮廓点云。

所述2.3)中，通过alpha-shapes法提取切片轮廓点集中的外部轮廓，具体是在经过切片点云中心的竖直线上依次取点，每个点向水平方向延伸后形成一个水平切面，只保留切片轮廓点集中在该水平切面上最外侧的点，形成折线包围轮廓。

所述2.4)具体为：

根据相邻两条折线之间的折角角度对折线包围轮廓进行折线聚类，获得折线聚类簇，然后对各折线聚类分别进行LSE直线拟合，获得初次拟合后的折线轮廓，然后基于夹角法将初次拟合后的折线轮廓中小尺寸折线段删除，获得最终的简化折线轮廓。

所述3)中，通过产品表面采样点法向量与喷枪方向之间的夹角判断是否发生遮挡，若夹角大于90度，则当前喷枪末端轨迹不合理，改变喷涂行程间距和喷涂速度，再重复2)。

二、一种计算机设备

所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述方法的步骤。

三、一种计算机可读存储介质

所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述的方法的步骤。

本发明的有益效果在于：

(1)本发明使用多深度相机多角度采集产品表面点云数据，获取完整产品表面点云，采用基于点云的喷涂轨迹规划方法，极大的提高了喷涂作业的便捷性与高效性。

(2)本发明使用基于点云切片技术的喷涂轨迹生成方法，能够结合大型复杂产品表面的轮廓特征生成轨迹，减少由于产品表面小尺寸特征导致的喷涂路径折回、反复、碰撞等问题，同时保证喷漆覆盖和喷漆厚度，减少喷漆时间和喷漆使用量。

(3)本发明能够精确地通过计算估计产品表面各点喷漆厚度，通过计算验证本发明喷涂轨迹规划的有效性。

(4)本发明提供了从产品点云获取到喷涂质量评估的完整方案，适应于工业中快节奏的生产节拍和工业产品的复杂化趋势。

附图说明

图1是实施例中的喷涂轨迹规划流程图；

图2是实施例中的多角度深度相机布置图；

图3是实施例中的整体喷涂轨迹示意图；

图4是实施例中的喷涂厚度计算示意图；

图5是实施例中的喷涂实验结果图。

具体实施方式

为了更好的理解本发明的技术方案，下面结合附图以及具体实例对本发明做进一步详细说明，整体流程图如图1所示。

1)采集多视角下的混线产品表面点云数据，进而组成完整产品表面点云数据集；

具体实施中，首先，以产品中心为圆心在产品正反两面分别布置三个深度点云相机，6个深度点云相机间隔地布置在以产品中心为圆心、半径为2米的圆周上，中间的相机正对产品，左右相机布置在夹角60度的圆周上，多角度深度相机布置方式如图2所示，通过数据延长线以及USB分线器与电脑相连；

接着，按顺序获取各相机颜色帧以及深度帧，将深度帧与颜色帧对齐后获取每一个颜色像素对应的深度值，就获得了具有颜色信息的点云数据；

最后，结合相机布置的相对位置通过转台法将各相机获取的点云数据转移到同一个相机坐标系中，获取完整产品表面点云数据。

2)基于点云切片算法提取完整产品表面点云数据集中轮廓折线，根据提取的轮廓折线生成喷涂机器人的喷枪末端轨迹；

2)具体为：

2.1)根据喷涂参数确定喷漆分布模型q(x,y)，进而优化确定喷涂行程间距和喷涂速度，根据喷涂行程间距将完整产品表面点云数据集划分为若干点云切片；

2.2)通过变半径邻近点对搜索方法生成每个点云切片的切片轮廓点集；

2.2)中，对于每个点云切片，其轮廓点云的生成具体包括以下步骤：

S1：使用垂直于每个点云切片的切片方向且经过当前点云切片中心的切片平面将当前点云切片划分为两个点云带；

S2：通过k-d树对第一点云带中的所有点通过不断增加搜索半径的方式进行最近邻域搜索，直至找到位于第二点云带中的最临近点，然后对该临近点进行反向最近点搜索，若两个点互为跨邻域最近点，则确定为一个求交点对；

S3：重复S2，直至找出两个点云带中的所有求交点对，接着找出所有求交点对连线与切片平面的交点并在切片平面上形成当前点云切片的轮廓点云。本发明提出的变半径临近点搜索方法与传统遍历搜索相比减小了搜索范围，大幅度减少了搜索时间。

2.3)提取当前点云切片的切片轮廓点集中的外部轮廓后，形成一定精度的折线包围轮廓，最后统计折线包围轮廓中每个线段端点与其他线段相接的次数，将所有只相接一次的端点提取出来后，再按照视线扫掠的坐标轴方向从上往下重新排序，从而形成单向连贯轮廓折线；

2.3)中，通过alpha-shapes法提取切片轮廓点集中的外部轮廓，具体是在经过切片点云中心的竖直线上依次取点，每个点向水平方向延伸后形成一个水平切面，只保留切片轮廓点集中在该水平切面上最外侧的点，中间的点删掉，即完成内部轮廓线的去除，形成折线包围轮廓。

2.4)对当前点云切片的单向连贯轮廓折线进行简化，获得简化折线轮廓；

2.4)具体为：

根据相邻两条折线之间的折角角度对折线包围轮廓进行折线聚类，获得折线聚类簇，然后对各折线聚类分别进行LSE直线拟合，获得初次拟合后的折线轮廓，然后基于夹角法将初次拟合后的折线轮廓中小尺寸折线段删除，获得最终的简化折线轮廓，从而保留大尺寸折线特征，小尺寸折线段为小于预设尺寸的折线段。

2.5)以当前点云切片的简化折线轮廓中相邻两折线的外角平分线作为喷枪的喷涂方向，结合喷涂高度生成喷枪末端轨迹，喷枪由末端位置点指向轮廓点；

2.6)重复2.2)-2.5)，计算生成剩余点云切片的喷枪末端轨迹，将各分片的喷涂轨迹首尾相连后，得到完整喷涂轨迹。

3)根据喷枪末端位置、喷枪姿态、喷漆分布模型以及产品表面的曲率特征，推导得到产品三维表面的喷漆分布模型，如图4所示。根据三维喷涂分布模型，通过喷漆厚度计算验证当前喷枪末端轨迹的合理性，若不合理，则重复2)，更新喷涂机器人的喷枪末端轨迹，直至最终的喷枪末端轨迹合理；

3)中，通过产品表面采样点法向量与喷枪方向之间的夹角判断是否发生遮挡，若夹角大于90度，则喷涂轨迹无法在该点产生喷漆，当前喷枪末端轨迹不合理，改变喷涂行程间距和喷涂速度，再重复2)，否则则合理。

具体实施中，按照三维喷涂分布模型计算每个喷涂轨迹点的喷漆厚度，其公式如下：

其中，q(x,y,z)为三维喷漆分布模型，q(x,y)为喷漆分布模型。

将所有喷涂轨迹点在该点产生的喷漆厚度累加得到该点最终的喷漆厚度，对产品表面所有点进行喷涂厚度计算后评估喷涂效果。

本实施例中，喷漆分布模型经过拟合得到：

因此，每个喷涂轨迹点的喷漆厚度为：

其中，s点是自由曲面上的任意一点，H为标准高度，即平板喷涂实验时的高度，H_s指喷枪中心到s点的竖直距离，θ_s为喷枪方向与竖直方向的夹角，λ_s表示s点法向量与喷枪方向之间的夹角。

具体实施中，确定喷枪喷涂高度为350mm，根据期望喷漆厚度50um优化得到喷涂行程间距为253.1276mm，喷枪移动速度为720mm/s，通过点云切片算法生成喷涂轨迹，喷涂轨迹如图3所示，其中较粗的白色线段表示喷枪末端轨迹，较细的白色线段表示喷枪末端姿态，由喷枪末端轨迹点指向产品表面轮廓点，可以看到喷涂轨迹基本垂直于产品轮廓表面，而且覆盖了整个产品表面。计算得到产品喷漆平均厚度为57.5375um，满足了喷漆厚度的要求。

4)计算相机坐标系与喷涂机器人坐标系之间的转换关系，基于该转换关系以及最终的喷枪末端轨迹生成喷涂机器人的喷涂作业指令。

4)具体为：

首先，测量相机与产品流水线上产品吊钩之间的相对位置关系，过滤获取多深度相机拍摄点云中吊钩的位置，然后测量喷涂机器人与产品吊钩之间的相对位置关系，通过两组相对位置关系计算得到相机与喷涂机器人之间的坐标系转换关系，将计算得到的喷涂机器人的最终喷枪末端轨迹转换为喷涂机器人坐标系下的喷涂机器人喷涂作业轨迹，并生成喷涂机器人喷涂作业程序。

经测试，点云采集耗时10秒，喷涂机器人喷涂轨迹生成耗时12秒，总共耗时22秒，远低于产线生产节拍90秒，满足在线喷涂作业的要求。

实际喷涂作业时，喷漆耗时32s，极大的减少了喷涂时间，消耗喷漆与固化剂共357ml，减少了喷漆消耗，喷涂结果如图5所示。喷漆车间使用空气喷涂与静压喷涂结合的混气喷涂方式，喷漆利用率在40％左右，因此可以估计喷漆平均厚度为51.5um。

从图中可以看到喷漆基本均匀的覆盖到了发动机表面，在烘干后测量得到产品表面喷漆平均厚度为55.0um，满足喷漆质量要求。

以上结合附图详细阐述了本发明的基本原理与主要特征，采用上述发明，可以便捷快速的获取产品外形数据，结合喷涂工艺需求自动生成喷涂作业轨迹，满足喷漆厚度的要求，整体规划流程耗时极短，满足在线喷涂轨迹规划的实时性要求。但是这些说明不能被理解为限制了本发明的范围，本发明的保护范围由附随的权利要求书限定，任何在本发明权利要求基础上进行的改动都是本发明的保护范围。

Claims (8)

1.一种基于多深度相机的混线产品机器人喷涂作业在线规划方法，其特征在于，包括以下步骤：

1)采集多视角下的混线产品表面点云数据，进而组成完整产品表面点云数据集；

2)提取完整产品表面点云数据集中轮廓折线，根据提取的轮廓折线生成喷涂机器人的喷枪末端轨迹；

3)根据三维喷涂分布模型，通过喷漆厚度计算验证当前喷枪末端轨迹的合理性，若不合理，则重复2)，更新喷涂机器人的喷枪末端轨迹，直至最终的喷枪末端轨迹合理；

4)计算相机坐标系与喷涂机器人坐标系之间的转换关系，基于该转换关系以及最终的喷枪末端轨迹生成喷涂机器人的喷涂作业指令。

2.根据权利要求1所述的一种基于多深度相机的混线产品机器人喷涂作业在线规划方法，其特征在于，所述2)具体为：

2.1)根据喷涂参数确定喷漆分布模型，进而优化确定喷涂行程间距和喷涂速度，根据喷涂行程间距将完整产品表面点云数据集划分为若干点云切片；

2.2)通过变半径邻近点对搜索方法生成每个点云切片的切片轮廓点集；

2.3)提取当前点云切片的切片轮廓点集中的外部轮廓后，形成折线包围轮廓，最后统计折线包围轮廓中每个线段端点与其他线段相接的次数，将所有只相接一次的端点提取出来后，再按照视线扫掠的坐标轴方向从上往下重新排序，从而形成单向连贯轮廓折线；

2.4)对当前点云切片的单向连贯轮廓折线进行简化，获得简化折线轮廓；

2.5)以当前点云切片的简化折线轮廓中相邻两折线的外角平分线作为喷枪的喷涂方向，结合喷涂高度生成喷枪末端轨迹；

2.6)重复2.2)-2.5)，计算生成剩余点云切片的喷枪末端轨迹，将各分片的喷涂轨迹首尾相连后，得到完整喷涂轨迹。

3.根据权利要求2所述的一种基于多深度相机的混线产品机器人喷涂作业在线规划方法，其特征在于，所述2.2)中，对于每个点云切片，其轮廓点云的生成具体包括以下步骤：

S1：使用垂直于每个点云切片的切片方向且经过当前点云切片中心的切片平面将当前点云切片划分为两个点云带；

S2：通过k-d树对第一点云带中的所有点通过不断增加搜索半径的方式进行最近邻域搜索，直至找到位于第二点云带中的最临近点，然后对该临近点进行反向最近点搜索，若两个点互为跨邻域最近点，则确定为一个求交点对；

S3：重复S2，直至找出两个点云带中的所有求交点对，接着找出所有求交点对连线与切片平面的交点并在切片平面上形成当前点云切片的轮廓点云。

4.根据权利要求2所述的一种基于多深度相机的混线产品机器人喷涂作业在线规划方法，其特征在于，所述2.3)中，通过alpha-shapes法提取切片轮廓点集中的外部轮廓，具体是在经过切片点云中心的竖直线上依次取点，每个点向水平方向延伸后形成一个水平切面，只保留切片轮廓点集中在该水平切面上最外侧的点，形成折线包围轮廓。

5.根据权利要求2所述的一种基于多深度相机的混线产品机器人喷涂作业在线规划方法，其特征在于，所述2.4)具体为：

根据相邻两条折线之间的折角角度对折线包围轮廓进行折线聚类，获得折线聚类簇，然后对各折线聚类分别进行LSE直线拟合，获得初次拟合后的折线轮廓，然后基于夹角法将初次拟合后的折线轮廓中小尺寸折线段删除，获得最终的简化折线轮廓。

6.根据权利要求1所述的一种基于多深度相机的混线产品机器人喷涂作业在线规划方法，其特征在于，所述3)中，通过产品表面采样点法向量与喷枪方向之间的夹角判断是否发生遮挡，若夹角大于90度，则当前喷枪末端轨迹不合理，改变喷涂行程间距和喷涂速度，再重复2)。

7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。