CN108274092A - 基于三维视觉与模型匹配的坡口自动切割系统及切割方法 - Google Patents

Abstract

本发明提供了基于三维视觉与模型匹配的坡口自动切割系统及切割方法，涉及坡口加工设备技术领域，该基于三维视觉与模型匹配的坡口自动切割系统包括3D视觉子系统、上位机、运动控制系统、切割机器人和切割设备，3D视觉子系统与上位机信号连接，上位机与运动控制系统信号连接，切割设备设置在述切割机器人上，运动控制系统与切割机器人电连接；坡口自动切割方法利用三维视觉系统以及图像处理软件，基于图像处理算法，利用三维相机内外参标定算法、三点标定法以及姿态匹配算法，实现了系统内机器人、三维视觉系统、工件坐标系之间的映射。本发明可对不同工件和坡口类型进行自动切割，坡口质量好、效率高、提高了坡口切割系统的自动化和智能化。

Description

基于三维视觉与模型匹配的坡口自动切割系统及切割方法

技术领域

本发明涉及坡口加工设备技术领域，尤其是涉及一种基于三维视觉与模型匹配的坡口自动切割系统及切割方法，通过图像采集和图像处理将工件与模板匹配获得加工轨迹信息，进而控制机器人运动进行坡口加工。

背景技术

在盾构机等大型设备的加工和生产过程中，零件坡口加工量很大。目前，对于小批量、非直线等异形坡口，多采用手动或半自动的切割方式，存在坡口切割质量差、质量不稳定、坡口加工效率较低、成本高等一系列问题；而且坡口质量差或加工质量不稳定，不仅对零件本身的精度有影响，还严重影响了后续铆焊工序的顺利进行；当坡口类型发生改变时，现有的坡口切割方式都需要重新调整设备、示教或者编写程序，无法实现对不同工件、不同类型坡的自动切割，为了提高产品质量，缩短产品周期，引入坡口自动切割系统十分必要。

随着视觉技术的进步，三维视觉技术日渐成熟，利用三维视觉技术进行待加工工件扫描，然后与坡口要求对应的三维图纸库中的模型进行匹配，自动生成机器人坡口切割路径进行加工，有望解决异形工件、异形坡口的自动切割难题，提高坡口切割的智能化和自动化。

发明内容

本发明的目的在于提供一种基于三维视觉与模型匹配的坡口自动切割系统及切割方法，通过3D相机对工件进行扫描，得到不带坡口的工件图像，将图像和模板库中带坡口的工件三维模型进行匹配，匹配成功后根据对比信息，获取坡口切割的加工轨迹信息，进而控制机器人完成坡口切割，以解决现有技术中存在的无法对不同工件、不同类型坡口实现自动切割的技术问题。

为实现上述目的，本发明提供了以下技术方案：

本发明提供了一种基于三维视觉与模型匹配的坡口自动切割系统，包括3D视觉子系统、上位机、运动控制系统、切割机器人和切割设备，所述3D视觉子系统与所述上位机信号连接，所述上位机与所述运动控制系统信号连接，所述切割设备设置在所述切割机器人上，所述运动控制系统与所述切割机器人电连接。

作为本发明的进一步改进，所述3D视觉子系统为3D相机，所述上位机内储存有模板库。所述3D相机为激光型相机，所述3D相机外侧设置有防护罩以及防撞保护座。3D相机既3D智能传感器，是集激光、传感器和测量工具于一身，可以完成测量过程中的扫描、分析、测量和控制功能。

作为本发明的进一步改进，所述运动控制系统包括工作台、机器人控制器和手控示教器，所述工作台放置在地面上，待加工工件放置在所述工作台上，所述手控示教器与所述机器人控制器连接，所述机器人控制器与所述切割机器人连接，所述上位机与所述机器人控制器电连接。手控示教器为手持操作，通过手控示教器连接控制器进而控制器切割机器人动作。

作为本发明的进一步改进，所述切割机器人为六自由度关节机器人，所述3D相机和所述切割设备均设置在所述切割机器人的末端手臂上。

作为本发明的进一步改进，所述切割设备包括氧气供应装置、乙炔气供应装置、气路控制器、乙炔气软管、氧气软管和割枪，所述氧气供应装置通过所述氧气软管与所述割枪连接，所述乙炔气供应装置通过所述乙炔气软管与所述割枪连接，所述气路控制器的数量为两个，两个所述气路控制器分别设置在所述乙炔气软管和所述氧气软管上，所述割枪设置在所述切割机器人末端手臂上。

作为本发明的进一步改进，所述3D相机采用Eye-in-Hand的安装方式安装在所述切割机器人的末端手臂上。

3D相机与切割机器人的机械手臂之间的相对关系为手眼系统，在实际应用中常采取不同的安装形式，而根据切割机器人与3D相机之间的相对位置关系将手眼系统可以分为Eye-in-Hand系统和Eye-to-Hand系统。3D相机安装于机器人末端手臂上并随机器人一起运动的视觉系统称为Eye-in-Hand式手眼系统。

3D视觉子系统是切割机器人实现智能化和自动化的关键，将3D相机固定在切割机器人末端手臂上，构成Eye-in-Hand的手眼关系。将作为“眼睛”的3D相机桩在切割机器人的手臂末端，形成手眼关系，这种方式的优点是3D相机的视场随着切割机器人的运动而发生变化，这就增加了它的工作范围。对于Eye-in-Hand的安装方式，通过手眼关系求解可以得到相机坐标系与切割机器人末端坐标系的位姿关系。

本发明还提供了一种坡口自动切割方法，使用所述的基于三维视觉与模型匹配的坡口自动切割系统进行坡口自动切割的方法，包括如下步骤：

步骤一，系统标定：包括四个基本坐标系的标定，机器人基坐标系、割枪坐标系、相机坐标系以及工件坐标系；机器人基坐标系定义在切割机器人底座上，用于说明工件的位置；割枪坐标系为一个直角坐标系；相机坐标系定义在3D相机上；工件坐标系定义在工件上；3D相机的内外参数获取，3D相机的内参数为出厂已知参数，3D相机的外参数利用三点标定法求取，利用三点标定法获取相机坐标和割枪坐标之间的映射关系，进而求得相机图像坐标和割枪坐标之间的的坐标转换矩阵，完成系统的标定；

步骤二，相机采集图像：通过采用3D相机对工件进行图像采集，3D相机安装方式为：Eye-in-Hand，由切割机器人携带3D相机进行图像采集；为了避免采集到的图像产生堆叠现象，在控制启动3D相机的同时，触发切割机器人开始运动带动3D相机进行图像采集；通过手控示教器，由切割机器人带动3D相机对坡口切割前未加工的工件进行拍摄，获取工件的位置、姿态和高度信息，为进一步的图像处理提供原始数据；

步骤三，图像处理：图像采集之后，3D相机将采集到的图像信息传送给上位机，上位机对采集到的图像进行处理，建立表面点云模型；表面点云模型建立完成后准备进行模型匹配；

步骤四，模型匹配：在模型匹配之前将所有加工好坡口的工件的三维模型导入到上位机中的图像处理软件中，生成模板库；依次使用模板库中的三维模型以一定的准则在生成的表面点云模型中寻找和匹配实现对不同工件和坡口类型的识别，匹配成功后从三维模型上提取坡口加工轨迹，得到坡口加工轨迹点坐标；

根据工件的三维模型，提取出坡口加工轨迹的信息；根据视觉标定结果，对轨迹点进行坐标转换，得到了包含轨迹点位置信息的机器人轨迹文件；

步骤五，机器人运动控制：通过在上位机上进行编写通讯界面，实现上位机和切割机器人的通讯；建立连接之后，上位机把轨迹文件中的加工轨迹点坐标发送给机器人控制器，机器人控制器接收并缓存数据；编写切割机器人运动程序时，依次调用缓存的加工轨迹点坐标数据，并通过手控示教器控制切割机器人运动实现切割机器人的运动控制；

通过编写通讯界面，在上位机和机器人系统之间建立连接，上位机轨迹点信息进行读取和传送，机器人系统读取并调用轨迹点信息，实现机器人按照轨迹点的运动，从而实现坡口切割；

步骤六，坡口切割：通过以上五个步骤，即可实现最终的坡口切割，由切割机器人携带割枪，完成对工件坡口的切割。

作为本发明的进一步改进，步骤一中割枪坐标系的标定方法为XYZ-4点法，通过设定一个固定不动的参考点，然后将割枪以4种不同的姿态移动到参考点，然后割枪坐标系就会根据法兰盘的位置自动计算出割枪坐标系，最后一点标定时要保证割枪的轴向应该和参考点所在平面的法向相同。

作为本发明的进一步改进，步骤四中所述的加工轨迹点的提取方法是对待加工工件采集图像进行点云化处理，提取表面点云，然后从表面点云中提取坡口加工轨迹点；轨迹点坐标得到后，利用标定得到的转换矩阵进行坐标转换，将图像坐标系下的坐标点转换到割枪坐标系下，并生成一个包含轨迹点信息的轨迹文件。

作为本发明的进一步改进，步骤五中所述的轨迹点坐标发送是通过编写通讯界面，实现上位机和机器人控制器的通讯；上位机通过以太网连接机器人控制器；成功建立连接之后，上位机把轨迹文件中的轨迹点坐标点以三个数字为一个数据包传输给机器人控制器中，机器人控制器每接收来自外部的一个数据，就要在其内部产生一个缓存；通过建立缓存文件，实现了将坡口加工轨迹信息发送至机器人系统。

由于采用上述技术方案，本发明具有以下的优点和效果：

1、本发明通过将机器人引入坡口切割系统，解决了平板件坡口切割质量差，效率低，成本高等问题。

2、本发明通过将视觉系统和坡口切割相结合，自动生成坡口加工轨迹，解决了异型坡口切割的技术难点。

3、本发明的坡口切割方法可以对工件和坡口类型进行识别比对并自动定位、切割，提高了坡口切割系统的自动化和智能化。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明基于三维视觉与模型匹配的坡口自动切割方法的工作流程图；

图2是本发明基于三维视觉与模型匹配的坡口自动切割方法中图像处理流程图；

图3是本发明基于三维视觉与模型匹配的坡口自动切割方法中机器人运动控制流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

本发明提供了一种基于三维视觉与模型匹配的坡口自动切割系统集视觉、光学和机电设备为一体，包括3D视觉子系统、上位机、运动控制系统、切割机器人和切割设备，3D视觉子系统与上位机信号连接，上位机与运动控制系统信号连接，切割设备设置在切割机器人上，运动控制系统与切割机器人电连接。视觉系统和切割机器人之间协调配合，完成切割作业，3D视觉子系统是整个系统的基础，负责图像的采集和处理，切割机器人和切割设备主要负责完成切割工作。由于3D视觉子系统要求安装和标定简单、灵活性高、开发速度快、机构紧凑小巧，所以选取了一体式3D传感器--Gocator相机作为主要的3D视觉子系统，在保证加工精度的要求下，综合考量相机重量、接口、通讯等因素，选择Gocator 2370 3D相机。Gocator 2370相机采用工业级设计，易于集成，内置多种工具；可以提供微米级的3D剖面数据，扫描，采集速度更快；相机出厂前经过标定，使用更方便；机身小巧轻便，可固定在狭小的空间内或者机械人末端上；上百万像素分辨率的单色激光亮度图像可以保证切割加工的精度；通过1Gb以太网接口通讯，可轻松扩展到多传感器系统，无需额外硬件。Gocator 2370的具体参数如下：

本申请基于三维视觉、标定技术和机器人技术进行了平板件坡口自动切割系统研究，利用三维视觉系统Gocator2370以及Halcon软件，基于图像处理算法，进行了工件图像采集、模型点云化处理以及点云模型与模型库工件的模型匹配实现，并在此基础上，采用提取上表面特征线以及稀疏化的方法进行了加工轨迹点的提取和优化，利用Gocator2370内外参标定算法、三点标定法以及姿态匹配算法，实现了系统内切割机器人、3D相机视觉系统、工件坐标系之间的映射，最终控制机器人按照工艺要求进行坡口切割。

系统的工作流程是：当待切割的工件到达指定工位时，3D视觉子系统开始工作，对工件进行拍摄，获取工件的位置和姿态信息。图像采集之后，将图像传送至上位机进行图像的处理，处理过程包括图像匹配和加工轨迹的提取。然后将加工轨迹传送给运动控制系统，运动控制系统控制切割机器人，由切割机器人带动割枪进行坡口切割。切割完成之后将工件取下，整个切割任务结束。

3D视觉子系统为3D相机，上位机内储存有模板库。3D相机为激光型相机，3D相机外侧设置有防护罩以及防撞保护座。3D相机既3D智能传感器，是集激光、传感器和测量工具于一身，可以完成测量过程中的扫描、分析、测量和控制功能。

运动控制系统包括工作台、机器人控制器和手控示教器，工作台放置在地面上，待加工工件放置在工作台上，手控示教器与机器人控制器连接，机器人控制器与切割机器人连接，上位机与机器人控制器电连接。手控示教器为手持操作，通过手控示教器连接控制器进而控制器切割机器人动作。运动控制系统的主要负责完成拍摄和切割任务。带动3D相机对待切割工件进行拍照，并在图片处理之后，带动割枪对工件进行坡口切割。机器人控制器型号为KR C4，重量150kg，电源要求AC3×380V。手控示教器型号为KUKA smartPAD，重量1.1kg，彩色触摸屏，支持USB存储器，6D操纵杆，急停等。

切割机器人为六自由度关节机器人，3D相机和切割设备均设置在切割机器人的末端手臂上。要完成异型坡口的切割，该切割机器人至少需要五个自由度，同时为了增加系统的柔性，选用六自由度关节机器人来进行坡口切割。在切割机器人的末端手臂上安装3D相机、相机防护罩、割枪、防撞保护座等设备，设备总重量约4.5千克，根据零件尺寸大小，切割机器人工作空间直径约2米，切割机器人重量应尽量小。综合以上因素，选用KUKA KR 5 arc型号机器人。切割机器人安装在地面上，对工作台上的工件进行拍摄和切割。KUKA KR5arc机器人体型较小，尺寸紧凑，其5kg的负载能力可以满足一般的焊接和切割工作，可以应用于焊接，切割，喷涂等其他众多领域。机械手臂刚性很好，通过有效的伺服控制，可以实现高速平滑的运动。其他具体参数如下：

型号	KUKA KR
		控制轴数	六轴
可达半径	1412mm
		安装方式	地面安装
手腕部可搬运	4kg
		附质加载荷	12～20kg
重复定位精度	±0.04mm
		防护级别	IP54
机器人质量	127kg
		安装条件	10～55℃

切割设备包括氧气供应装置、乙炔气供应装置、气路控制器、乙炔气软管、氧气软管和割枪，氧气供应装置通过氧气软管与割枪连接，乙炔气供应装置通过乙炔气软管与割枪连接，气路控制器的数量为两个，两个气路控制器分别设置在乙炔气软管和氧气软管上，割枪设置在切割机器人末端手臂上。

切割设备主要完成切割任务，实现对不同工件进行不同规格的坡口切割。由于待切割的工件厚度很大，大多数都在50mm左右，为了能够快速高效的完成切割工作，所以选用了火焰切割方式。火焰切割能力很强，可以切割1毫米到1.2米厚度不等的金属。对于厚板件金属来说，火焰切割是最优的切割选择。需要注意的是，火焰切割时会放出大量的热，要考虑的热影响和热变形的问题。

火焰切割的常用气体有乙炔、丙烷、液化气、天然气等。切割时采用两路转三路供气方式，气路控制器的输入为氧气和燃烧气体，通过气路控制器将两种气体分为预热氧气，切割氧气和燃烧气体三路输出。分流后的气体通过软管和割枪连接。工作时，先用预热氧气对待加工区域进行预热，然后输送高纯度的切割氧气，借助氧气与铁的化学反应产生高温使金属迅速燃烧，同时用高速切割氧气流将熔渣排除，从而完成对工件的切割作业。

3D相机采用Eye-in-Hand的安装方式安装在切割机器人的末端手臂上。

3D相机与切割机器人的机械手臂之间的相对关系为手眼系统，在实际应用中常采取不同的安装形式，而根据切割机器人与3D相机之间的相对位置关系将手眼系统可以分为Eye-in-Hand系统和Eye-to-Hand系统。3D相机安装于机器人末端手臂上并随机器人一起运动的视觉系统称为Eye-in-Hand式手眼系统。

3D视觉子系统是切割机器人实现智能化和自动化的关键，将3D相机固定在切割机器人末端手臂上，构成Eye-in-Hand的手眼关系。将作为“眼睛”的3D相机桩在切割机器人的手臂末端，形成手眼关系，这种方式的优点是3D相机的视场随着切割机器人的运动而发生变化，这就增加了它的工作范围。对于Eye-in-Hand的安装方式，通过手眼关系求解可以得到相机坐标系与切割机器人末端坐标系的位姿关系。

如图1所示，本发明还提供了一种坡口自动切割方法，使用的基于三维视觉与模型匹配的坡口自动切割系统进行坡口自动切割的方法，包括如下步骤：

步骤一，系统标定：包括四个基本坐标系的标定，机器人基坐标系、割枪坐标系、相机坐标系以及工件坐标系；机器人基坐标系定义在切割机器人底座上，用于说明工件的位置；割枪坐标系为一个直角坐标系；相机坐标系定义在3D相机上；工件坐标系定义在工件上；3D相机的内外参数获取，3D相机的内参数为出厂已知参数，3D相机的外参数利用三点标定法求取，利用三点标定法获取相机坐标和割枪坐标之间的映射关系，进而求得相机图像坐标和割枪坐标之间的的坐标转换矩阵，完成系统的标定；相机内参包括焦距，缩放比例，畸变系数，倾斜系数等参数；外参指的是相机的空间位置和姿态。通过内参数进行标定，可以消除图像的畸变，还原图像的真实信息，求得相机坐标系和工件坐标系之间的转换关系。通过外参数进行标定，可以确定相机和切割机器人之间的空间位置关系。相机内参无需标定，Gocator相机将摄像头，激光器，图像采集卡等高度集成为一体，在出厂之前就已经标定好了内参数。所以相机安装好就可以使用，不需要再标定内参。在这里需要进行外参标定也就是手眼标定来确定相机坐标系和割枪坐标系之间的转换关系。外参标定通过三点标定法完成。由映射对应定理可知，如果已知三对对应坐标点，通过此定理可以唯一确定这三对对应点在三维空间中的映射关系，即相机的外部参数。具体标定过程如下：

1.在工件上选定三个角点A、B、C作为特征点，启动相机，对工件进行扫描，获取工件的图像，并通过定位算法得到三个特征点在图像坐标系中的坐标；

2.利用机器人接近实际工件的三个特征点，获取三个特征点在割枪坐标系中的坐标；

3.利用特征点在图像坐标系中的坐标和在机器人基坐标中的坐标两组坐标点，通过vector_to_hom_mat3d算子把相机图像坐标系转换到机器人基坐标系，并得到这两个坐标系之间的4×4的齐次转换矩阵H；通过矩阵H即可将任意图像坐标系下的点转换到机器人基坐标系下，求出了齐次转换矩阵H，即完成了相机的标定。相机外参标定完成之后，工件坐标系和机器人基坐标系之间的齐次转换矩阵就可以得到，待下一次拍摄时，直接使用此矩阵就可以很方便的得到特征点在机器人基坐标系下的坐标。

本申请是通过采集图像来提取坡口加工轨迹信息，所以在图像采集过程中，就需要确定空间中工件表面某点的三维几何位置与其在图像中对应点之间的相互位置关系。这个关系是由3D相机的参数确定的，在这里这个求解参数的过程就称之为视觉系统标定。

步骤二，相机采集图像：如图2所示，通过采用3D相机对工件进行图像采集，3D相机安装方式为：Eye-in-Hand，由切割机器人携带3D相机进行图像采集；为了避免采集到的图像产生堆叠现象，在控制启动3D相机的同时，触发切割机器人开始运动带动3D相机进行图像采集；通过手控示教器，由切割机器人带动3D相机对坡口切割前未加工的工件进行拍摄，获取工件的位置、姿态和高度信息，为进一步的图像处理提供原始数据；

本申请中采用的Gocator 2370相机属于Profile型相机，此相机单次采集只能获取一条轮廓上的高度数据。一般采集图像时需要扫描才能拍摄完整的高度表面。该3D相机应用激光三角测量法的原理对被测物进行拍摄。

图像采集是获取待加工工件图像的过程，主要的任务是采集工件的图像信息，并将其输入到图像处理软件中。采用Gocator相机对工件进行扫描，根据相机的成像原理可知，Gocator相机是Profile型相机，扫描方式是单次扫描，所以关键是必须保证运动的连续性和稳定性，否则采集到的图像会发生堆叠。而且把相机安装在了机器人的机械臂上(Eye-in-hand)，所以需要机器人的运动平稳性和高精度性，才能够保证采集到图像的真实性和准确性。在图像采集之前，需要编写KUKA机器人的示教程序，事先将机器人拍摄的轨迹和路径保存在机器人系统中，实际工作时只需要调用示教程序即可完成图像采集任务。

机器人的示教编程，利用KUKA机器人的PTP指令即可完成图像采集的任务。首先需要设定一个home点，在示教程序中，需要把home点，扫描起始点和扫描的终止点编写到PTP指令中，三个点循环运动，机器人便可以进行完整地进行图像采集。示教时需要注意：要根据相机的工作距离和视场合理调整相机和工件表面的距离；要保证激光垂直打在物体表面，并垂直于相机的运动方向，这样就可以保证，单次采集到的轮廓上的点都包含相同的Y坐标，避免了图像堆叠的产生；还要保证机器人运动的长度大于相机的采样长度。

为了避免采集到的图像产生堆叠现象，在相机启动的同时机器人也要开始运动。为了达到这个目的，需要在相机和机器人之间建立通讯关系。Gocator相机支持串口输出，其中管脚Pin1(灰色)为+触发，管脚Pin2(粉色)为－触发。将两个管脚连接到机器人的外部I/O口上即可与机器人通讯。当相机开始工作时，发出触发信号，同时机器人接收到信号，开始运动。机器人带动相机进行图像采集，当达到采样长度时，相机自动关闭，机器人复位。图像采集结束后，相机会将图像信息传送给上位机，以待下一步的图像处理。

步骤三，图像处理：图像采集之后，3D相机将采集到的图像信息传送给上位机，上位机对采集到的图像进行处理，建立表面点云模型；表面点云模型建立完成后准备进行模型匹配；

本申请采用HALCON软件作为图像处理软件，对采集到的图像进行处理并进行匹配，HALCON是德国MVTec公司开发的一款机器视觉软件，拥有一套通用的高性能图像处理算法软件包。其中包括各种几何图像处理算法和三维图像处理算法。大多数的功能并不是为了单一的应用而设计的，所以只要是和图像处理的相关工作，就可以用HALCON来完成。HALCON包含了一款交互式的程序设计插件HDevelop，可直接在其中编写，修改和运行程序。设计完成后，还可以输出C、C++、VB等多种类型的程序。HDevelop还提供了上百个范例，用户还可以依据应用的类型查找相关的范例，方便易用。HALCON支持了60多种相机，可以很方便地获取图像。在三维视觉方面，新版HALCON提供了一个非常强大技术——三维表面模板比较，也就是将三维工件的表面模型与模板进行对比。HALCON提供的三维技术还可用于表面重构，如多目立体视觉或sheet of light，同时也支持直接通过三维硬件扫描设备进行三维重构。此外，HALCON现在还支持许多三维物理的相关应用，如点云的测量计算、形状和体积特征计算等。在应用方面，HALCON可以用于各行各业，例如：机械设备制造加工、航空航天、医学、汽车零件制造、电子元件及设备、精密工程和光学、玻璃制造和生产、身体健康和生命科学、保安监控及通讯等多种行业。

工件表面点云模型的生成过程：对工件的三维模型做一系列的处理首先要对三维模型进行重新采样，并将其转换为Halcon点云模型，通过设置点云中各点之间的最小间距可以决定点云的密度。距离越大，点云会越稀疏。在设置最小间距的时候应该是在能够保证精度要求的条件下，尽量简化点云可以加快运算的速度，优化整体算法。如果工件三维模型的位姿并不是想要的位姿，可以对三维模型进行3D仿射变换，具体包括平移，旋转和缩放。仿射转换的依据是一个齐次转换矩阵，变换后的3D模型会存放在一个新的变量中，方便调用。需要注意的是，当不再使用3D模型时，要把它清除来释放内存。

步骤四，模型匹配：在模型匹配之前将所有加工好坡口的工件的三维模型导入到上位机中的图像处理软件中，生成模板库；依次使用模板库中的三维模型以一定的准则在生成的表面点云模型中寻找和匹配实现对不同工件和坡口类型的识别，匹配成功后从三维模型上提取坡口加工轨迹，得到坡口加工轨迹点坐标；

根据工件的三维模型，提取出坡口加工轨迹的信息；根据视觉标定结果，对轨迹点进行坐标转换，得到了包含轨迹点位置信息的机器人轨迹文件；

为了实现切割自动化，系统需要对工件进行识别，就是系统“认识”每一个工件，为了达到这个目的，就需要用到模板匹配。在模板匹配之前，要提前创建模板库，首先需要将所有加工好坡口的工件的三维模型导入Halcon，利用三维模型生成模板库，然后依次用模板库中的模板以一定的准则在拍摄到的表面点云模型中寻找和匹配。基于表面的模板匹配首先要建立表面模型模板，然后通过比较采集到关键点的姿态和他们之间的距离进行模板匹配；本申请中，采用了Gocator相机，而且只需要对工件的形状进行匹配，所以选择了基于表面的模板的匹配方法，基于表面的模板匹配，首先要根据采集到的图像创建出待匹配模板，采集到的图像包含点云和方向信息，表面模型是通过对具有一定距离的待加工工件的采集图像进行采样而创建的。采样距离在参数RelSamplingDistance中指定，采样距离不同，则生成的点的数量也会不同，表面点云模型创建之后，就要进行匹配了，匹配就是在三维点云的环境中找到最佳的匹配，匹配算子为find_surface_model基于表面的模板匹配的原理是，计算机会检查来自两个点集的所有可能匹配的点对，并且计算每对点之间的距离和相对表面取向。这两个值都被离散化并存储起来进行匹配。具体匹配过程如下：

(1)近似匹配：在三维场景中搜索表面模板模型的近似姿态。首先，从三维模型中均匀采样，生成点云图，采样距离可以自由控制，采样距离越小，则生成的点会越多，这样虽然会得到很稳定的匹配，但匹配速度很慢。采样距离越大，生成的点会越少，匹配速度会很快，但匹配效果可能会不理想。对于鲁棒匹配，建议为每个对象实例至少采样50～100个点。

然后，从采样的场景点中选择一组关键点。所选关键点的数量可以自由控制。采样点越多，匹配会很稳定，但匹配速度很慢。相反，采样点越少，匹配速度会很快，但匹配效果可能会不理想。对于选择的关键点，假设其位于对象的表面上的情况下，计算表面模型的最佳姿态。计算方法是通过将关键点与所有其他采样场景点配对并在表面模型上找到具有相似距离和相对取向的点。相似程度由参数“feat_step_size_rel”和“feat_angle_resolution”定义。在采样场景中，物体上点的数量最大的姿势被认为是该关键点的最佳姿势。对象上的采样点的数量被认为是评价姿态的标准。从所有关键点中选择最好的姿势，并将其用作近似姿势进行返回。需要注意的是，第一步产生的姿势仅为近似值。姿势中的误差与表面模型的采样率成比例，通常会小于对象直径的5％。

(2)稀疏姿态细化：对第一步中的近似姿态进一步优化，增加姿态的准确性和匹配结果的得分值。

稀疏姿态细化会根据上一步中的关键点进一步优化姿态。首先定义每个模型点的平面为与其正常垂直的平面。通过使从采样点到最近的模型点的平面的距离最小来进行姿态优化。在每个关键点处会产生一个姿势候选，待优化的姿势候选的总数与关键点的数量成比例。点云数量大且杂乱的场景属于不感兴趣的场景，稀疏姿态细化的速度会很快。通过计算具有相应场景点的模型点的数量，并将其除以模型上的总点数，在稀疏姿态细化之后重新对每个姿势进行评定。评定的结果会在0和1，该数值比的优劣仍然取决于采样的距离。

(3)精细的姿势优化：对前两步中的姿势进行精确优化。该步骤类似于稀疏姿态细化，它会对采样点到最近的模型点的平面的距离做最小化处理。不同之处在于三维点云中所有的点都会进行细化，这些点会增加细化的准确性，但优化速度会更慢。精细的姿态细化后，会重新对结果进行评定，并使用通用参数“pose_ref_scoring_dist_rel”或“pose_ref_scoring_dist_abs”作为阈值。精细姿态细化的准确度会被限制在模型大小的0.1％左右，优化的精度进一步取决于场景点的噪音，场景点的数量和模型的形状等。

(4)轨迹点的提取：匹配成功之后，就采集到的需要从成功匹配的三维模型上提取坡口加工轨迹。经过图像的预处理，已经可以成功创建三维模型上表面的点云模型。轨迹点就从上表面点云模型中提取。待加工工件表面点云模型是由一系列的点组成的，在这里可以利用算子将坡口上部的那一部分点提取出来。算子threshold_sub_pix(Image,Border,Threshold)可以从具有子像素精度的图像中提取在阈值范围内的像素点，并将提取出来的点存放在变量XLD-contours中。通过设置合理的阈值，就可以将坡口加工轨迹点提取出来。轨迹点提取出来之后，获取其三维坐标，利用前述标定时得到的其次转换矩阵，把轨迹点的坐标进行转换，将它们转换为机器人基坐标系下的坐标。其中每个轨迹点信息包括三个参数：X、Y、Z，用来表示该轨迹点的空间位置。得到的轨迹点已经转换为割枪坐标系下的坐标，机器人读取之后可以直接使用，完成对实际工件的切割作业。

步骤五，机器人运动控制：如图3所示，通过在上位机上进行编写通讯界面，实现上位机和切割机器人的通讯；建立连接之后，上位机把轨迹文件中的加工轨迹点坐标发送给机器人控制器，机器人控制器接收并缓存数据；编写切割机器人运动程序时，依次调用缓存的加工轨迹点坐标数据，并通过手控示教器控制切割机器人运动实现切割机器人的运动控制；

通过编写通讯界面，在上位机和机器人系统之间建立连接，上位机轨迹点信息进行读取和传送，机器人系统读取并调用轨迹点信息，实现机器人按照轨迹点的运动，从而实现坡口切割；

步骤六，坡口切割：通过以上五个步骤，即可实现最终的坡口切割，由切割机器人携带割枪，完成对工件坡口的切割。

步骤一中割枪坐标系的标定方法为XYZ-4点法，通过设定一个固定不动的参考点，然后将割枪以4种不同的姿态移动到参考点，然后割枪坐标系就会根据法兰盘的位置自动计算出割枪坐标系，最后一点标定时要保证割枪的轴向应该和参考点所在平面的法向相同。

步骤四中的加工轨迹点的提取方法是对工件三维模型进行点云化处理，提取表面点云，然后从表面点云中提取坡口加工轨迹点；轨迹点坐标得到后，利用标定得到的转换矩阵进行坐标转换，将图像坐标系下的坐标点转换到割枪坐标系下，并生成一个包含轨迹点信息的轨迹文件。

步骤五中的轨迹点坐标发送是通过编写通讯界面，实现上位机和用于控制切割机器人动作的机器人控制器的通讯；上位机通过以太网连接控制切割机器人的机器人控制器；成功建立连接之后，上位机把轨迹文件中的轨迹点坐标点以三个数字为一个数据包传输给控制切割机器人动作的机器人控制器中，机器人控制器每接收来自外部的一个数据，就要在其内部产生一个缓存；通过建立缓存文件，实现了将坡口加工轨迹信息发送至机器人系统。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种基于三维视觉与模型匹配的坡口自动切割系统，其特征在于：包括3D视觉子系统、上位机、运动控制系统、切割机器人和切割设备，所述3D视觉子系统与所述上位机信号连接，所述上位机与所述运动控制系统信号连接，所述切割设备设置在所述切割机器人上，所述运动控制系统与所述切割机器人电连接。

2.根据权利要求1所述的基于三维视觉与模型匹配的坡口自动切割系统，其特征在于：所述3D视觉子系统为3D相机，所述上位机内储存有模板库。

3.根据权利要求1所述的基于三维视觉与模型匹配的坡口自动切割系统，其特征在于：所述运动控制系统包括工作台、机器人控制器和手控示教器，所述工作台放置在地面上，待加工工件放置在所述工作台上，所述手控示教器与所述机器人控制器连接，所述机器人控制器与所述切割机器人连接，所述上位机与所述机器人控制器电连接。

4.根据权利要求3所述的基于三维视觉与模型匹配的坡口自动切割系统，其特征在于：所述切割机器人为六自由度关节机器人，所述3D相机和所述切割设备均设置在所述切割机器人的末端手臂上。

5.根据权利要求4所述的基于三维视觉与模型匹配的坡口自动切割系统，其特征在于：所述切割设备包括氧气供应装置、乙炔气供应装置、气路控制器、乙炔气软管、氧气软管和割枪，所述氧气供应装置通过所述氧气软管与所述割枪连接，所述乙炔气供应装置通过所述乙炔气软管与所述割枪连接，所述气路控制器的数量为两个，两个所述气路控制器分别设置在所述乙炔气软管和所述氧气软管上，所述割枪设置在所述切割机器人末端手臂上。

6.根据权利要求4所述的基于三维视觉与模型匹配的坡口自动切割系统，其特征在于：所述3D相机采用Eye-in-Hand的安装方式安装在所述切割机器人的末端手臂上。

7.一种坡口自动切割方法，其特征在于：使用权利要求1-6中任一项所述的基于三维视觉与模型匹配的坡口自动切割系统进行坡口自动切割的方法，包括如下步骤：

步骤一，系统标定：包括四个基本坐标系的标定，机器人基坐标系、割枪坐标系、相机坐标系以及工件坐标系；机器人基坐标系定义在切割机器人底座上，用于说明工件的位置；割枪坐标系为一个直角坐标系；相机坐标系定义在3D相机上；工件坐标系定义在工件上；3D相机的内外参数获取，3D相机的内参数为出厂已知参数，3D相机的外参数利用三点标定法求取，利用三点标定法获取相机坐标和割枪坐标之间的映射关系，进而求得相机图像坐标和割枪坐标之间的的坐标转换矩阵，完成系统的标定；

步骤二，相机采集图像：通过采用3D相机对工件进行图像采集，3D相机安装方式为：Eye-in-Hand，由切割机器人携带3D相机进行图像采集；为了避免采集到的图像产生堆叠现象，在控制启动3D相机的同时，触发切割机器人开始运动带动3D相机进行图像采集；

步骤三，图像处理：图像采集之后，3D相机将采集到的图像信息传送给上位机，上位机对采集到的图像进行处理，建立表面点云模型；表面点云模型建立完成后准备进行模型匹配；

步骤四，模型匹配：在模型匹配之前将所有加工好坡口的工件的三维模型导入到上位机中的图像处理软件中，生成模板库；依次使用模板库中的三维模型以一定的准则在生成的表面点云模型中寻找和匹配实现对不同工件和坡口类型的识别，匹配成功后从三维模型上提取坡口加工轨迹，得到坡口加工轨迹点坐标；

步骤五，机器人运动控制：通过在上位机上进行编写通讯界面，实现上位机和切割机器人的通讯；建立连接之后，上位机把轨迹文件中的加工轨迹点坐标发送给机器人控制器，机器人控制器接收并缓存数据；编写切割机器人运动程序时，依次调用缓存的加工轨迹点坐标数据，并通过手控示教器控制切割机器人运动实现切割机器人的运动控制；

步骤六，坡口切割：通过以上五个步骤，即可实现最终的坡口切割，由切割机器人携带割枪，完成对工件坡口的切割。

8.根据权利要求7所述的坡口自动切割方法，其特征在于：步骤一中割枪坐标系的标定方法为XYZ-4点法，通过设定一个固定不动的参考点，然后将割枪以4种不同的姿态移动到参考点，然后割枪坐标系就会根据法兰盘的位置自动计算出割枪坐标系，最后一点标定时要保证割枪的轴向应该和参考点所在平面的法向相同。

9.根据权利要求7所述的坡口自动切割方法，其特征在于：步骤四中所述的加工轨迹点的提取方法是对待加工工件采集图像进行点云化处理，提取表面点云，然后从表面点云中提取坡口加工轨迹点；轨迹点坐标得到后，利用标定得到的转换矩阵进行坐标转换，将图像坐标系下的坐标点转换到割枪坐标系下，并生成一个包含轨迹点信息的轨迹文件。

10.根据权利要求7所述的坡口自动切割方法，其特征在于：步骤五中所述的轨迹点坐标发送是通过编写通讯界面，实现上位机和机器人控制器的通讯；上位机通过以太网连接机器人控制器；成功建立连接之后，上位机把轨迹文件中的轨迹点坐标点以三个数字为一个数据包传输给机器人控制器中，机器人控制器每接收来自外部的一个数据，就要在其内部产生一个缓存；通过建立缓存文件，实现了将坡口加工轨迹信息发送至机器人系统。