CN106327561A - 一种基于机器视觉技术的智能喷涂方法及系统 - Google Patents

Abstract

本发明公开了一种基于机器视觉技术的智能喷涂方法及系统，所述的方法包括：获取喷涂件的不同方位的点云数据；对喷涂件的不同方位的点云数据做合成处理，得到喷涂件的三维模型；基于喷涂件的三维模型，采用预定方式计算出每一个喷涂区域的喷涂路径和喷涂时喷枪的朝向；控制喷涂机器人到指定位置，按照每一个喷涂区域生成的喷涂路径以及喷枪的朝向，对喷涂区域进行走枪喷涂。通过本发明，不需要针对喷涂件对喷涂喷涂机器人进行编程，喷涂路径是依据喷涂件的表面动态生成，即使更换了喷涂件，也无需作人工干预；可以自动识别喷涂件的三维模型，无需人工干预，既可针对不同的喷涂件进行喷涂工作，又无需专业建模人士对喷涂件进行三维建模。

Description

一种基于机器视觉技术的智能喷涂方法及系统

技术领域

本发明涉及智能喷涂技术领域，具体涉及一种基于机器视觉技术的智能喷涂方法及系统。

背景技术

目前主流的喷涂机器人有两种类型，一种是示教型，另一种是离线编程型。此类喷涂机器人在一定程度上实现了自动化，使用喷涂机器人代替了油漆工人的工作，但它们都还存在着不足：

适应性不强，针对不同的喷涂件，甚至是同一喷涂件换了个位置或角度，都需要重新进行编程；编程过程需要专业人士人为参与，且繁琐、效率低。精度不易掌控，基本都是靠示教者目测来决定。近来也出现了依靠三维成像技术来对喷涂件建模的技术，但不够成熟：建模过程依赖人为参与，需要针对三维模型进行后处理，来手工进行编辑和优化。这样做的缺点一方面无法做到完全自动化，需要专业的三维模型编辑人士参与；另一方面人工编辑难免出现误差，导致模型不够精准，影响最终的喷涂效果。

发明内容

本发明提供了一种基于机器视觉技术的智能喷涂方法及系统，克服了现有技术的缺陷。

本发明解决上述技术问题的技术方案如下：提供了一种基于机器视觉技术的智能喷涂方法，包括：

S1，获取喷涂件的不同方位的点云数据；

S2，对所述喷涂件的不同方位的点云数据做合成处理，得到喷涂件的三维模型；

S3，基于所述喷涂件的三维模型，依据三维模型的表面特征，采用预定方式计算出每一个喷涂区域的喷涂路径和喷涂时喷枪的朝向；

S4，控制机器人到指定位置，按照喷涂区域生成的喷涂路径以及喷涂时喷枪的朝向，对喷涂件的喷涂区域进行走枪喷涂。

为了解决本发明的技术问题，还提供了一种基于机器视觉技术的智能喷涂系统，包括：

点云数据获取模块，用于获取喷涂件的不同方位的点云数据；

合成处理模块，用于对所述喷涂件的不同方位的点云数据做合成处理，得到喷涂件的三维模型；

喷涂路径计算模块，用于基于所述喷涂件的三维模型，依据三维模型的表面特征，采用预定方式计算出喷涂区域的喷涂路径和喷涂时喷枪的朝向；

喷涂控制模块，用于控制机器人到指定位置，按照喷涂区域生成的喷涂路径以及喷涂时喷枪的朝向，对喷涂件的喷涂区域进行走枪喷涂。

本发明的有益效果为：不需要针对喷涂件对喷涂喷涂机器人进行编程，喷涂路径是依据喷涂件的表面动态生成，即使更换了喷涂件，也无需作人工干预；可以自动识别喷涂件的三维模型，无需人工干预，既可针对不同的喷涂件进行喷涂工作，又无需专业建模人士对喷涂件进行三维建模。

附图说明

图1为实施例1的一种基于机器视觉技术的智能喷涂方法流程图；

图2为实施例2的一种基于机器视觉技术的智能喷涂系统框图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

实施例1、一种基于机器视觉技术的智能喷涂方法。

参见图1，本实施例提供的智能喷涂方法包括：

S1，获取喷涂件的不同方位的点云数据；

S2，对所述喷涂件的不同方位的点云数据做合成处理，得到喷涂件的三维模型；

S3，基于所述喷涂件的三维模型，依据三维模型的表面特征，采用预定方式计算出喷涂区域的喷涂路径和喷涂时喷枪的朝向；

S4，控制机器人到指定位置，按照喷涂区域生成的喷涂路径以及喷涂时喷枪的朝向，对喷涂件的喷涂区域进行走枪喷涂。

下面对上述步骤具体说明：

在获取喷涂件的不同方位的点云数据时，可采用多个深度相机对喷涂件的不同方位进行拍摄获取喷涂件的不同方位的点云数据，其中，一部深度相机对应拍摄喷涂件一个方位的点云数据；或者，利用一部相机通过转换位置对喷涂件的不同方位进行拍摄获取喷涂件的不同方位的点云数据。在本实施例中，采用多部相机对喷涂件的不同方位进行拍摄。由于相机之间的参数是存在细微差异的，相机本身的参数随着使用的时间也会存在差异，为了精确计算出相机的这些参数，同时为了获得各个相机之间的位置关系(当使用一个相机来拍摄喷涂件的不同方位的点云数据时，位置关系即为相机放置的不同方位)。从不同的方位对喷涂件进行拍摄得到的点云数据彼此是独立的。本实施例可以借助于标定板，对各个相机自身的参数予以修正，得到标准参数，即对相机的参数进行标定。同时还需要确定各个相机的位置关系，具体包括每一个相机的三维坐标参数和角度参数，利用这些参数，可以精确知道空间中各个相机之间的三维关系，从而对相机获取的喷涂件的点云数据进行后期的合成处理。

具体标定过程为：预设多个相机拍摄喷涂件的位置，借助于标定板，运用视觉算法库，通过计算棋盘格在图像平面中角点的图像二维坐标，通过小孔成像原理，建立各相机坐标之间以及各相机坐标与世界坐标之间的映射关系。具体为：设计一个棋盘格立方体，将棋盘格立方体的体中心定义为世界坐标系原点；每两个相邻相机称为一组相机对，获取每对相机的公共事业区里棋盘长方体的一部分棋盘格表面图像；根据所述棋盘格表面图像并运用OpenCV库标定算法计算角点的图像二维坐标；根据所述图像二维坐标运用OpenKinect库中算法计算出3D点云组对坐标数据；根据两两3D点云组对坐标数据，运用PCL库中的SVD算法计算两两组对之间的外参变换矩阵；优化各相机外参矩阵得到以参考相机为参考的各组外参变换矩阵，得到各个相机之间在空间中的三维位置关系。

完成相机的标定工作后，就可以在预定好的位置上对喷涂件进行拍摄获取喷涂件的点云数据，多部相机所拍摄到的点云数据彼此都是独立的，只能从一个角度反映出喷涂件的表面数据。但是通过上述标定的相机参数，对这些点云数据进行计算，将各个不同角度获取的点云数据进行合成，从而获取到喷涂件的完整三维模型。

上述对各相机的参数进行了标定之后，所述步骤S2具体包括：

选择多个相机中的一个相机的角度信息作为参考位置坐标，通过标定获取到的相机之间的两两变换关系，将各个相机拍摄到的喷涂件不同方位的点云数据通过变换统一到所述参考位置坐标，最终变换到世界坐标系中；将变换到了世界坐标系中的各点云数据进行合成，进而获取到喷涂件的三维模型。

基于喷涂件的三维模型，所述步骤S3具体包括：

S31，基于喷涂件的三维模型，将喷涂区域的点云数据进行三角面片重构，形成喷涂区域表面；

S32，根据喷涂区域的表面曲率和面积大小，确定喷涂区域表面的喷涂控制点的位置和个数；

S33，将所有喷涂控制点以接近工人人工喷涂的形式连接起来形成喷涂路径，其中，每一个喷涂控制点为喷枪喷涂时的走位，法线方向为喷枪喷涂时的朝向。

通过上述步骤S31-S33，能够得到喷涂区域的喷涂路径以及喷涂时喷枪的走向和朝向，最后控制喷涂机器人到指定位置，按照生成的喷涂路径对喷涂区域表面进行走枪喷涂，完成对喷涂区域的喷涂过程。

实施例2、一种基于机器视觉技术的智能喷涂系统。

参见图2，本实施例提供的智能喷涂系统包括点云数据获取模块2、合成处理模块3、喷涂路径计算模块4和喷涂控制模块5。

点云数据获取模块2，用于获取喷涂件的不同方位的点云数据；

合成处理模块3，用于对所述喷涂件的不同方位的点云数据做合成处理，得到喷涂件的三维模型；

喷涂路径计算模块4，用于基于所述喷涂件的三维模型，依据三维模型的表面曲率和面积大小，采用预定方式计算出喷涂区域的喷涂路径和喷涂时喷枪的朝向；

喷涂控制模块5，用于控制机器人到指定位置，按照喷涂区域生成的喷涂路径以及喷涂时喷枪的朝向，对喷涂件的喷涂区域进行走枪喷涂。

其中，所述点云数据获取模块2具体用于：

利用多个深度相机对喷涂件的不同方位进行拍摄获取喷涂件的不同方位的点云数据，其中，一部深度相机对应拍摄喷涂件一个方位的点云数据。

在点云数据获取模块2之前还包括：

相机参数标定模块1，用于用于预设多个相机拍摄喷涂件的位置，借助于标定板，运用视觉算法库，通过计算棋盘格在图像平面中角点的图像二维坐标，通过小孔成像原理，建立各相机坐标之间以及各相机坐标与世界坐标之间的映射关系。

具体的借助于标定板，运用视觉算法库，建立各相机坐标之间以及各相机坐标与世界坐标之间的映射关系具体为：

设计一个棋盘格立方体，将棋盘格立方体的体中心定义为世界坐标系原点；

每两个相邻相机称为一组相机对，获取每对相机的公共事业区里棋盘长方体的一部分棋盘格表面图像；

根据所述棋盘格表面图像并运用OpenCV库标定算法计算角点的图像二维坐标；

根据所述图像二维坐标运用OpenKinect库中算法计算出3D点云组对坐标数据；

根据两两3D点云组对坐标数据，运用PCL库中的SVD算法计算两两组对之间的外参变换矩阵；

优化各相机外参矩阵得到以参考相机为参考的各组外参变换矩阵，得到各个相机之间在空间中的三维位置关系。

所述合成处理模块2，具体用于选择多个相机中的一个相机的角度信息作为参考位置坐标，通过标定获取到的相机之间的两两变换关系，将各个相机拍摄到的喷涂件不同方位的点云数据通过变换统一到所述参考位置坐标，最终变换到世界坐标系中，将变换到了世界坐标系中的各点云数据进行合成，进而获取到喷涂件的三维模型。

所述喷涂路径计算模块4具体包括：

三角面片重构模块41，用于基于喷涂件的三维模型，将喷涂区域的点云数据进行三角面片重构，形成喷涂区域表面；

控制点确定模块42，用于根据喷涂区域的表面曲率和面积大小，确定喷涂区域表面的控制喷涂点的位置和个数，以及喷涂控制点的喷枪朝向；

路径生成模块43，用于以简洁有效的原则将所有喷涂控制点串起来形成一条喷涂路径。路径生成用模仿工人喷漆的方式让喷枪尽量按照直线来行走，并在一条直线过渡到另外一条时以圆弧的方式补充过渡点，这样可以让喷枪走起来更加平滑。

本发明提供的一种基于机器视觉技术的智能喷涂方法及智能喷涂系统，不需要针对喷涂件对喷涂喷涂机器人进行编程，喷涂路径是依据喷涂件的表面动态生成，即使更换了喷涂件，也无需作人工干预；可以自动识别喷涂件的三维模型，无需人工干预，既可针对不同的喷涂件进行喷涂工作，又无需专业建模人士对喷涂件进行三维建模；对喷涂件的摆放位置和摆放角度没有严格要求，只要摆放在喷涂区域即可；在整个喷涂的过程中，只需要下达简单的几个指令即可，不需要太多的培训即可上手，完全可以替代一般喷涂工人的工作，从而实现喷涂过完全自动化。

在本说明书的描述中，参考术语“实施例一”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体方法、装置或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、方法、装置或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于机器视觉技术的智能喷涂方法，其特征在于，包括以下步骤：

S1，获取喷涂件的不同方位的点云数据；

S2，对所述喷涂件的不同方位的点云数据做合成处理，得到喷涂件的三维模型；

S3，基于所述喷涂件的三维模型，依据三维模型的表面特征，采用预定方式计算出喷涂区域的喷涂路径和喷涂时喷枪的朝向；

S4，控制机器人到指定位置，按照喷涂区域生成的喷涂路径以及喷涂时喷枪的朝向，对喷涂件的喷涂区域进行走枪喷涂。

2.如权利要求1所述的基于机器视觉技术的智能喷涂方法，其特征在于，所述步骤S1具体包括：

利用多个深度相机对喷涂件的不同方位进行拍摄获取喷涂件的不同方位的点云数据，其中，一部深度相机对应拍摄喷涂件一个方位的点云数据。

3.如权利要求2所述的基于机器视觉技术的智能喷涂方法，其特征在于，所述步骤S1之前还包括：

S0、预设多个相机拍摄喷涂件的位置，借助于标定板，运用视觉算法库，通过计算棋盘格在图像平面中角点的图像二维坐标，通过小孔成像原理，建立各相机坐标之间以及各相机坐标与世界坐标之间的映射关系。

4.如权利要求3所述的基于机器视觉技术的智能喷涂方法，其特征在于，所述步骤S0具体包括：

设计一个棋盘格立方体，将棋盘格立方体的体中心定义为世界坐标系原点；

每两个相邻相机称为一组相机对，获取每对相机的公共视野区里棋盘长方体的一部分棋盘格表面图像；

根据所述棋盘格表面图像并运用OpenCV库标定算法计算角点的图像二维坐标；

根据所述图像二维坐标运用OpenKinect库中算法计算出3D点云组对坐标数据；

根据两两3D点云组对坐标数据，运用PCL库中的SVD算法计算两两组对之间的外参变换矩阵；

优化各相机外参矩阵得到以参考相机为参考的各组外参变换矩阵，得到各个相机之间在空间中的三维位置关系。

5.如权利要求4所述的基于机器视觉技术的智能喷涂方法，其特征在于，所述步骤S2具体包括：

选择多个相机中的一个相机的角度信息作为参考位置坐标，通过标定获取到的相机之间的两两变换关系，将各个相机拍摄到的喷涂件不同方位的点云数据通过变换统一到所述参考位置坐标，最终变换到世界坐标系中；

将变换到了世界坐标系中的各点云数据进行合成，进而获取到喷涂件的三维模型。

6.如权利要求5所述的基于机器视觉技术的智能喷涂方法，其特征在于，所述步骤S3具体包括：

S31，基于喷涂件的三维模型，将喷涂区域的点云数据进行三角面片重构，形成喷涂区域表面；

S32，根据喷涂区域的表面曲率和面积大小，计算出喷涂区域表面的所需喷涂控制点的三围位置和各个喷涂控制点相对于喷涂表面的法线；

S33，将所有喷涂控制点以接近工人人工喷涂的形式连接起来形成喷涂路径，其中，每一个喷涂控制点为喷枪喷涂时的走位，法线方向为喷枪喷涂时的朝向。

7.一种基于机器视觉技术的智能喷涂系统，其特征在于，包括：

点云数据获取模块，用于获取喷涂件的不同方位的点云数据；

合成处理模块，用于对所述喷涂件的不同方位的点云数据做合成处理，得到喷涂件的三维模型；

喷涂路径计算模块，用于基于所述喷涂件的三维模型，依据三维模型的表面特征，采用预定方式计算出喷涂区域的喷涂路径和喷涂时喷枪的朝向；

喷涂控制模块，用于控制机器人到指定位置，按照喷涂区域生成的喷涂路径以及喷涂时喷枪的朝向，对喷涂件的喷涂区域进行走枪喷涂。

8.如权利要求7所述的基于机器视觉技术的智能喷涂系统，其特征在于，所述点云数据获取模块具体用于：

利用多个深度相机对喷涂件的不同方位进行拍摄获取喷涂件的不同方位的点云数据，其中，一部深度相机对应拍摄喷涂件一个方位的点云数据。

9.如权利要求8所述的基于机器视觉技术的智能喷涂系统，其特征在于，还包括：

相机参数标定模块，用于预设多个相机拍摄喷涂件的位置，借助于标定板，运用视觉算法库，通过计算棋盘格在图像平面中角点的图像二维坐标，通过小孔成像原理，建立各相机坐标之间以及各相机坐标与世界坐标之间的映射关系。

10.如权利要求9所述的基于机器视觉技术的智能喷涂系统，其特征在于，所述合成处理模块具体用于：

选择多个相机中的一个相机的角度信息作为参考位置坐标，通过标定获取到的相机之间的两两变换关系，将各个相机拍摄到的喷涂件不同方位的点云数据通过变换统一到所述参考位置坐标，最终变换到世界坐标系中，将变换到了世界坐标系中的各点云数据进行合成，进而获取到喷涂件的三维模型。

11.如权利要求10所述的基于机器视觉技术的智能喷涂系统，其特征在于，所述喷涂路径计算模块具体包括：

三角面片重构模块，用于基于喷涂件的三维模型，将喷涂区域的点云数据进行三角面片重构，形成喷涂区域表面；

控制点确定模块，用于根据喷涂区域的表面曲率和面积大小，确定喷涂区域表面的喷涂控制点的位置和个数，以及各个喷涂控制点的喷枪朝向；

路径生成模块，用于将所有喷涂控制点串起来形成一条喷涂路径，且计算出每一个喷涂控制点相对于喷涂路径的曲率以及法线方向，其中，每一个控制喷涂点相对于喷涂路径的曲率为喷枪喷涂时的走向，法线方向为喷枪喷涂时的朝向。