CN110039523A - 一种工业机器人视觉伺服系统、伺服方法及装置 - Google Patents

Abstract

本发明实施例公开了一种工业机器人视觉伺服系统、伺服方法及装置，工业机器人视觉伺服系统包括：六轴机器人、焊缝跟踪器、标定物、无线手持示教器、USB无线接收器、红外激光定位基站、机器人控制柜、焊机电源控制柜、上位机控制柜和自动送丝系统。实现了免编程的快速示教，规避工件来料不均，实现焊接热变形的实时跟踪；改进了传统焊接自动化系统的工作流程，操作工无需使用示教器进行繁琐的示教编程，且由于焊缝跟踪采用了基于深度学习的识别技术，大大提高了焊接自动化的通用性；另外从焊接路径规划、示教、系统标定，再现到焊接实时跟踪，完全集成在同一个上位机界面中，方便操作人员进行流程的操作与管理。

Description

一种工业机器人视觉伺服系统、伺服方法及装置

技术领域

本发明涉及机器人技术领域，具体涉及一种工业机器人视觉伺服系统、伺服方法及装置。

背景技术

机械手臂是机器人技术领域中得到最广泛实际应用的自动化机械装置，在工业制造、医学治疗、娱乐服务、军事、半导体制造等领域都有着广泛的应用，虽然常见的六自由度机械手臂位姿精度现在已经可以做到很高的级别，但是实际使用时达到高精度需要复杂的模拟仿真以及现场示教过程来实现，同时对于工件的一致性有很高的要求，缺乏自主纠正偏差的智能性。

上个世纪60年代，由于机器人和计算机技术的发展，人们开始研究具有视觉功能的机器人，意在通过工业相机(CCD或者CMOS传感器)在机器人工作时对目标工件图像进行采集和分析，针对不同的应用实现一定程度的智能化系统。但在这些研究中，机器人的视觉与机器人的动作，严格上讲是开环的。机器人的视觉系统通过图像处理，得到目标位姿，然后根据目标位姿，计算出机器运动的位姿，在整个过程中，视觉系统一次性地“提供”信息，然后就不参与过程了，我们称其为“视觉反馈”(visual feedback)。后有人将视觉系统应用于机器人闭环控制系统并提出了“视觉伺服”(visual servo)概念，视觉反馈的含义只是从视觉信息中提取反馈信号，而视觉伺服则是包括了从视觉信号处理，到机器人控制，随着机器人继而对新的位置进行视觉信号处理再不断纠正对机器人控制的闭环全过程，所以视觉伺服代表了更先进的机器人视觉和控制系统。

在用于工业制造焊接自动化领域时，视觉伺服系统往往用于焊缝的自动寻位与纠偏。焊缝自动寻位指的是在焊接流水线中，由于夹具误差或者不同批次工件加工不均导致的焊接轨迹与预定轨迹不同，通过视觉伺服系统来自动扫描和识别焊缝并生成新的焊接轨迹。纠偏指的是在焊接过程中，由于热变形导致的工件变形和翘曲影响了预定的焊接轨迹，需要根据视觉伺服系统的反馈实时的修正焊接轨迹的偏差。

用于焊接自动化的工业机器人视觉伺服系统主要采用单一视觉传感器辅以红光线激光发生器以及窄带滤光片作为硬件传感系统。所述视觉传感器指的是CCD或者CMOS传感器，用于采集焊缝形态以及线激光投射图案。线激光发生器投射在焊缝表面，会形成不同形态的投射图案，根据视觉传感器的图像识别与处理，进行三维重建计算，可以得到焊缝形态以及焊点最佳位置等信息，从而指引工业机器人末端执行器对应的运动。所述窄带滤光片主要是为了避免焊接过程中产生的大量弧光对识别产生的干扰，由于弧光的光谱覆盖了红外，近红外，可见光直到紫外波段，所以必须采用窄带滤光片尽量限制弧光对视觉传感器的干扰。

但是，现有的用于焊接自动化的工业机器人视觉伺服系统存在以下问题：第一，没有解决焊接自动化生产中机器人示教难的问题，示教再现是一种机器人领域普遍采用的方式，即通过与机器人适配的示教器操纵机器人的关节运动，以使机器人运动到预定的位置，同时将该位置进行记录，并传递到机器人控制器中，之后的机器人可根据指令自动重复该任务。由于焊接对空间位置的精度要求较高，同时对焊接姿态也有很多要求，所以这个工作通常耗时较长而且过程繁琐，容易出现疏漏和错误，同时这种示教再现的方法对于操作员的操作技能要求较高。第二，没有解决焊接通用性问题，由于焊接工件种类繁多，焊缝类型也各不相同，所以目前视觉识别的效果很难做到在所有工件上都达到可用水平。另外由于工件反光和弧光干扰导致的误差也使得视觉识别的难度大大提高。第三，没有提供一体化闭环解决方案，前述用于焊接自动化的工业机器人视觉伺服系统严格意义上来说只能称作焊缝跟踪器，仅仅是一个自动化配件，无法提供从焊接路径规划，示教，系统标定，再现到焊接实时跟踪的一整套解决方案。往往操作工需要学习多种不同系统的操作，例如需要学习机器人示教器使用，又要学习焊缝跟踪器使用，同时还要了解如何将视觉系统与机器人系统进行标定等繁杂的知识，人力耗费成本太高。

发明内容

由于现有方法存在上述问题，本发明实施例提出一种工业机器人视觉伺服系统、伺服方法及装置。

第一方面，本发明实施例提出一种工业机器人视觉伺服系统，包括：六轴机器人、焊缝跟踪器、标定物、无线手持示教器、通用串行总线USB无线接收器、红外激光定位基站、机器人控制柜、焊机电源控制柜、上位机控制柜和自动送丝系统；

所述焊缝跟踪器固定在所述六轴机器人的第一端，并通过以太网与所述上位机控制柜连接；

所述标定物通过USB接口与所述上位机控制柜连接；

所述无线手持示教器分别与所述红外激光定位基站及USB无线接收器连接；

所述USB无线接收器与所述上位机控制柜连接，用于将接收的数据发送给所述上位机控制柜进行读取；

所述自动送丝系统固定在所述六轴机器人上，并与所述焊机电源控制柜连接，用于通过所述焊机电源控制柜控制送丝速度；

所述机器人控制柜与所述六轴机器人连接，用于对所述六轴机器人进行控制。

可选地，所述焊缝跟踪器包括工业相机、线激光发生器和红光窄带滤光片；

所述标定物包括可定位刚体和二维棋盘格靶标；

所述可定位刚体表面覆盖有第一红外传感器，所述第一红外传感器用于接收所述红外激光定位基站的红外光扫射并进行传感。

可选地，所述无线手持示教器表面覆盖有第二红外传感器，所述第二红外传感器用于接收所述红外激光定位基站的红外光扫射并进行传感；

所述无线手持示教器把手的正面设有三个按钮，背面设有扳机结构，侧面设有拨挡开关。

可选地，所述上位机控制柜包括带有图像处理器GPU异构架构的工控机系统和控制系统电源的强电系统。

第二方面，本发明实施例还提出一种基于任一所述的工业机器人视觉伺服系统的伺服处理方法，包括：

将所述工业机器人视觉伺服系统中的各组成部分的坐标系进行统一；

通过所述无线手持示教器对伺服路径进行规划，得到规划路径，通过所述焊缝跟踪器对所述规划路径进行误差补偿，并对误差补偿后的规划路径进行示教；

根据示教的情况对伺服过程的工艺参数进行设置，并在伺服过程中对误差补偿后的规划路径进行自动纠偏，同时在焊接进行过程中根据热变形实时进行路径的纠偏；

其中，所述误差包括红外激光室内定位系统本身的系统误差、系统标定中产生的误差以及工件一致性差导致的误差。

可选地，所述将所述工业机器人视觉伺服系统中的各组成部分的坐标系进行统一，具体包括：

将所述工业机器人视觉伺服系统中的视觉传感器成像模型、线结构光平面与视觉传感器之间坐标关系、视觉传感器与机器人末端执行器之间坐标关系、机器人工作参考系与红外激光扫描室内定位系统基站参考系之间坐标关系进行标定，定位并计算所述六轴机器人的系统位姿变换矩阵。

可选地，所述工业机器人视觉伺服系统的伺服处理方法还包括：

通过预设的基于以太网通信的协议与所述机器人控制柜进行通信，通过上位机给所述机器人控制柜发送指令数据包；

通过机器人控制柜中对所述指令数据包进行解码，根据解码的指令数据包调用应用程序接口实现对所述六轴机器人的远程控制。

第三方面，本发明实施例还提出一种基于任一所述的工业机器人视觉伺服系统的伺服处理装置，包括：

坐标系统一模块，用于将所述工业机器人视觉伺服系统中的各组成部分的坐标系进行统一；

路径规划模块，用于通过所述无线手持示教器对伺服路径进行规划，得到规划路径，通过所述焊缝跟踪器对所述规划路径进行误差补偿，并对误差补偿后的规划路径进行示教；

路径纠偏模块，用于根据示教的情况对伺服过程的工艺参数进行设置，并在伺服过程中对误差补偿后的规划路径进行自动纠偏，同时在焊接进行过程中根据热变形实时进行路径的纠偏；

其中，所述误差包括红外激光室内定位系统本身的系统误差、系统标定中产生的误差以及工件一致性差导致的误差。

第四方面，本发明实施例还提出一种电子设备，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述方法。

第五方面，本发明实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述方法。

由上述技术方案可知，本发明实施例通过基于红外激光扫描的室内定位方式实现了免编程的快速示教，并通过结构光三维重建进行焊缝自动识别并寻位以规避工件来料不均，实现焊接热变形的实时跟踪；改进了传统焊接自动化系统的工作流程，操作工无需使用示教器进行繁琐的示教编程，且由于焊缝跟踪采用了基于深度学习的识别技术，大大提高了焊接自动化的通用性；另外从焊接路径规划、示教、系统标定，再现到焊接实时跟踪，完全集成在同一个上位机界面中，方便操作人员进行流程的操作与管理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为本发明一实施例提供的一种工业机器人视觉伺服系统的组成示意图；

图2(A)和(B)分别为本发明一实施例提供的一种手持示教器不同角度的组成示意图；

图3为本发明一实施例提供的一种标定物的组成示意图；

图4(A)和(B)分别为本发明一实施例提供的一种焊缝跟踪器不同角度的组成示意图；

图5为本发明一实施例提供的一种工业机器人视觉伺服系统的伺服处理方法的流程示意图；

图6为本发明一实施例提供的一种工业机器人视觉伺服系统的伺服处理装置的结构示意图；

图7为本发明一实施例提供的电子设备的逻辑框图。

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

图1示出了本实施例提供的一种工业机器人视觉伺服系统的组成示意图，包括：六轴机器人201、焊缝跟踪器202、标定物203、无线手持示教器204、USB无线接收器205、红外激光定位基站206、机器人控制柜207、焊机电源控制柜208、上位机控制柜209和自动送丝系统。

所述焊缝跟踪器202固定在所述六轴机器人201的第一端，并通过以太网与所述上位机控制柜209连接。

所述标定物203通过USB接口与所述上位机控制柜209连接。

所述无线手持示教器204分别与所述红外激光定位基站206及USB无线接收器连接。

所述USB无线接收器205与所述上位机控制柜209连接，用于将接收的数据发送给所述上位机控制柜209进行读取。

所述自动送丝系统固定在所述六轴机器人201上，并与所述焊机电源控制柜208连接，用于通过所述焊机电源控制柜208控制送丝速度。

所述机器人控制柜207与所述六轴机器人201连接，用于对所述六轴机器人201进行控制。

具体来说，工业机器人视觉伺服系统的硬件系统包含一个六轴机器人201，一个固定在机器人201末端执行器上的焊缝跟踪器202，一个固定在非工作区域的标定物203，一个无线手持示教器204，一个USB无线接收器205，四个红外激光定位基站206-1、206-2、206-3和206-4，如图1所示，一个机器人控制柜207，一个焊机电源控制柜208，上位机控制柜209，以及自动送丝系统，焊枪与焊丝丝盘210组成。

本实施例针对现有技术的不足，提供了一种基于红外激光扫描室内定位和结构光三维重建技术融合的用于焊接自动化的工业机器人视觉伺服系统，首先其通过基于红外激光扫描的室内定位方式实现了免编程的快速示教，其次通过结构光三维重建进行焊缝自动识别并寻位以规避工件来料不均，最后进行焊接热变形的实时跟踪。该系统改进了传统焊接自动化系统的工作流程，首先操作工无需使用示教器进行繁琐的示教编程，其次由于焊缝跟踪采用了基于深度学习的识别技术，大大提高了焊接自动化的通用性，最后该系统提供了一套一体化的焊接自动化解决方案，从焊接路径规划、示教、系统标定，再现到焊接实时跟踪，完全集成在同一个软件上位机界面中，方便操作人员进行流程的操作与管理。

红外激光扫描定位技术具体是指在空间中布置多个以固定转速旋转发射红外激光的基站，同时要求被定位物体为刚体，在被定位刚体上布置20-30个预先确定位置关系的红外感光传感器，当红外激光扫过表面时产生一个数字信号，通过FPGA不断采集所有传感器的信号，通过优化算法得到被定位刚体质心在红外激光基站坐标系下的6自由度位置和姿态。

结构光三维重建技术具体是指通过视觉传感器和线激光发生器相结合而成的焊缝跟踪器，将视觉传感器所采集的二维图像转化为三维空间下的焊接轨迹。焊缝跟踪器与机器人末端执行器固定，并跟随其一起移动。当机器人末端执行器根据示教轨迹运动时，线激光发生器将激光线投射在工件焊缝表面产生特征形态的图案，并随着机器人末端执行器移动激光持续扫过焊缝表面，根据视觉传感器所采集到的二维图像，结合预先标定好的参数矩阵，可以计算出当前焊缝起伏的三维形态。

进一步地，在上述实施例的基础上，所述焊缝跟踪器包括工业相机、线激光发生器和红光窄带滤光片；

所述标定物包括可定位刚体和二维棋盘格靶标；

所述可定位刚体表面覆盖有第一红外传感器，所述第一红外传感器用于接收所述红外激光定位基站的红外光扫射并进行传感。

具体地，如图1所示，所述焊缝跟踪器202由工业相机、650nm线激光发生器以及红光窄带滤光片组成，焊缝追踪器通过以太网与上位机控制柜209连接并进行通信。

所述标定物203由可定位刚体和二维棋盘格靶标结合而成，并通过USB接口与上位机控制柜209连接。所述可定位刚体表面覆盖有30个红外传感器，接收所述红外激光定位基站206的红外光扫射进行传感，在其硬件内部有单片机对传感信号进行处理并传输。所述无线手持示教器204表面覆盖有28个红外传感器，接收所述红外激光定位基站206的红外光扫射进行传感，在其硬件内部有单片机对传感信号进行处理并通过2.4GHz射频传输的方式与所述USB无线接收器205通信，所述USB无线接收器连接在上位机控制柜209上，从而数据进一步通过USB协议被上位机读取。

进一步地，在上述实施例的基础上，所述无线手持示教器表面覆盖有第二红外传感器，所述第二红外传感器用于接收所述红外激光定位基站的红外光扫射并进行传感；

所述无线手持示教器把手的正面设有三个按钮，背面设有扳机结构，侧面设有拨挡开关。

具体地，无线手持示教器204从硬件结构上来说，参见图2(A)和(B)，包括红外传感器401(共28个)，确定当前示教轨迹/控制机器人前进到下一个示教点402(按钮)，撤销当前示教轨迹/控制机器人后退到上一个示教点403(按钮)，电源开关404(按钮)，示教时轨迹模式切换405(拨挡开关)，开始/停止采集数据以及开启/关闭机器人伺服406(扳机)，状态指示灯407，震动模块408以及充电和数据传输雷莫连接器409。

所述无线手持示教器204表面覆盖有28个红外传感器，在其硬件内部有单片机对传感信号进行处理并通过2.4GHz无线实时传输至USB无线接收器205并被上位机控制柜209读取。同时所述无线手持器204把手正面有三个按钮，背面有一个扳机结构，侧面有一个拨挡开关。按钮和开关的功能在不同的工作流程环节中是不同的，在所述焊接路径规划与示教102流程中，把手正面的三个按钮功能分别为：确定当前示教轨迹，撤销当前示教轨迹，手持器电源开关。背面的扳机结构功能是：开始/停止采集数据作为示教点。侧面拨挡开关的功能是：用于在示教时切换不同的轨迹模式，包含空行程模式和焊缝行程模式。在所述自动寻位103流程中，把手正面的三个按钮功能分别为：控制机器人前进到下一个示教点，控制机器人后退到上一个示教点，手持器电源开关。背面的扳机结构功能是：开启/关闭机器人伺服。其背面的状态指示灯用于对手持器状态的提示，包含正常连接，未连接，配对模式，充电中，低电量，电量满等常用状态指示。在其把手部位还固定有一个震动模块，在示教模式下，当无线手持器采集轨迹时定位丢失则会通过震动和闪烁指示灯的方式提示用户，同时将缓存中采集好的轨迹清空，以防止不正确的轨迹被采集。其雷莫连接器用于给无线手持器204充电，同时也可以通过usb连接至上位机进行硬件配置或者数据读取用于调试，但是日常使用中数据采用2.4GHz无线传输至上位机。

所述标定物203从硬件结构上来说，参见图3，包括：红外传感器501(共30个)，二维棋盘格靶标502，状态指示灯503和数据传输雷莫连接器504。所述标定物203表面覆盖有30个红外传感器，同时在其正面中央凹槽内固定有一个二维棋盘格靶标，标定物本身可在红外激光扫描中被定位，棋盘格靶标用于焊缝跟踪器与机器人的标定，两者共同组成了标定物，用于将所有硬件系统的坐标系进行统一。其状态指示灯用于指示标定物203的常见状态，包含连接断开，连接正常。其数据传输雷莫连接器用于将标定物的数据流传输至上位机上。

焊缝跟踪器202从硬件结构上来说，参见图4(A)和(B)，所述焊缝跟踪器202内部包含一个垂直放置的CMOS/CCD工业相机，一个与相机光轴成10度左右放置的650nm激光发生器，工业相机和激光发生器外壳上均固定有650nm窄带滤光片，用于防止其他光源对图像识别的干扰。焊缝跟踪器内部还包含一个电路板用于将相机的供电电源，以太网通信接口整合为同一个雷莫连接器接口，并可通过上位机控制激光器的通断。状态指示灯用于指示焊缝跟踪器的常见状态，包含上位机已连接，上位机未连接，以及错误状态。其外壳上的雷莫连接器用于对其供电以及图像数据的传输,另外焊缝跟踪器上有一个工作距离调整结构，可以用于调整焊缝跟踪器相机平面与焊接工作平面之间的距离。焊缝跟踪器上的挡板用于减小弧光对图像识别的干扰，同时防止焊接过程中的焊渣飞溅对焊缝跟踪器造成的物理破坏。

进一步地，在上述实施例的基础上，所述上位机控制柜包括带有图像处理器GPU异构架构的工控机系统和控制系统电源的强电系统。

具体地所述上位机控制柜209实质上是两个部分，上半部分为带有GPU异构架构的工控机系统，下半部分为控制系统电源的强电系统。上位机控制柜与其他所有控制柜相连并提供电源，同时通过以太网进行通信。所述自动送丝系统，焊枪与焊丝丝盘210固定在机器人201上，与所述焊机电源控制柜208相连，通过焊机电源控制柜控制送丝速度等。

图5示出了本实施例提供的一种基于任一所述的工业机器人视觉伺服系统的伺服处理方法的流程示意图，包括：

501、将所述工业机器人视觉伺服系统中的各组成部分的坐标系进行统一。

其中，坐标系统一时，具体为将所述工业机器人视觉伺服系统中的视觉传感器成像模型、线结构光平面与视觉传感器之间坐标关系、视觉传感器与机器人末端执行器之间坐标关系、机器人工作参考系与红外激光扫描室内定位系统基站参考系之间坐标关系进行标定，定位并计算所述六轴机器人的系统位姿变换矩阵。

502、通过所述无线手持示教器对伺服路径进行规划，得到规划路径，通过所述焊缝跟踪器对所述规划路径进行误差补偿，并对误差补偿后的规划路径进行示教。

其中，所述误差包括红外激光室内定位系统本身的系统误差、系统标定中产生的误差以及工件一致性差导致的误差。

S503、根据示教的情况对伺服过程的工艺参数进行设置，并在伺服过程中对误差补偿后的规划路径进行自动纠偏，同时在焊接进行过程中根据热变形实时进行路径的纠偏。

具体来说，在整个焊接自动化工作流程中，包括以下详细步骤：

系统标定实质上是一整套自动标定流程，用于统一各硬件系统之间的坐标系，即计算出不同坐标系之间的坐标变换。所述标定方法流程包括：视觉传感器成像模型的标定(相机标定)，线结构光平面与视觉传感器之间坐标关系的标定(线结构光标定)，视觉传感器与机器人末端执行器之间坐标关系的标定(手眼标定)，机器人工作参考系与红外激光扫描室内定位系统基站参考系之间坐标关系的标定(定位系统标定)以及定位系统机器人系统位姿变换矩阵计算。上述所有标定过程均为自动化流程，且只需完成一次，其中相机标定和线结构光标定只要焊缝追踪器硬件不进行更换就不需要再次标定，手眼标定只要焊缝跟踪器和机器人末端执行器之间相对固定位置不变就不需要再次标定，定位系统标定只要标定物硬件不进行更换就不需要再次标定，定位系统机器人系统位姿变换矩阵计算只要标定物与机器人之间的相对位置不变就不需要再次标定。

焊接路径规划与示教时，以单条简单平面焊缝为例，具体流程如下所述：首先开启上位机控制柜里的中控软件，在工作流程模块窗体中对系统进行硬件连接和初始化。在窗体中新建工作流程文件，所述工作流程文件本质上是示教点，纠偏点，硬件参数，焊接工艺参数的集合，以json文件的形式保存在硬盘中。在窗体中选择示教模式，用于对采集示教点轨迹进行优化。开启无线手持示教器204,选择模式档位为空行程模式，扣动无线手持示教器扳机采集1-2个空行程示教点，接着切换模式档位为焊缝行程档位，持续扣动无线手持示教器扳机进行焊缝行程示教点采样直至焊缝结束，最后再切换回空行程模式，采集1-2个空行程示教点。按动无线手持示教器上的确认按钮进入下一步流程。

所述示教模式的选择与传统示教器上编程时插补模式的选择类似，主要用于针对不同类型的轨迹进行优化。传统示教器上插补模式的编程指令通常分为关节插补(MOVJ)，线性插补(MOVL)，圆弧插补(MOVC)和自由曲线插补(MOVS)。所述无线手持示教器的示教模式针对焊接领域有更细化的分法，包含有直线模式，圆弧模式，自由模式，平面模式，角焊模式，相贯线模式。所述示教模式往往同时包含位置与姿态的优化处理。所述直线模式，即对无线手持示教器采集得到的三维点云进行直线拟合，取拟合直线上若干个点的位置作为示教位置。所述圆弧模式，即对无线手持示教器采集得到的三维点云进行三维圆弧拟合，取拟合圆弧上若干个点的位置作为示教位置。所述平面模式，即对无线手持示教器采集得到的三维点云进行平面拟合，然后将初始点的位置投影到拟合平面上并取若干个点的位置作为示教位置。所述相贯线模式，即对无线手持示教器采集得到的三维点云进行圆柱相贯线拟合，然后将初始点的位置投影到拟合曲面上并取若干个点的位置作为示教位置。所述角焊模式就是在直线模式的基础上对机器人运动姿态做进一步的处理以满足角焊时的最佳焊接位姿。所述自由模式指的是不对原始数据做数学拟合处理，仅缩小轨迹上点的个数并输出给机器人。另外所有的模式均需要对机器人运动姿态进行平滑处理，根据不同的模式需要采用不同优化算法，使得示教轨迹运动更平稳。

所述无线手持示教器通过其表面覆盖的28个红外传感器实时得到其尖端的坐标和姿态六自由度数据包，扣动无线手持器上的扳机开始输出数据流，数据流以每秒250Hz的速率通过2.4GHz无线传输到上位机并被读取。该原始位姿数据以红外激光基站为坐标系原点，通过系统标定得到的矩阵进行变换得到机器人坐标系下三维轨迹的位姿。将这些三维轨迹根据上述不同的示教模式进行去除错误点，降噪平滑，采样之后记录在上位机软件中，并显示在工作流程窗体上。

所述空行程模式和焊缝行程模式的含义是：对于一个完整的焊接工作程序文件来说，包含焊接路径和非焊接路径，焊接路径即实际打开焊机引弧之后到关闭焊机息弧之前机器人末端执行器所走的实际焊接路径，非焊接路径则包括焊接进入点，退出点，以及不同焊缝之间衔接等单纯移动机器人末端执行器但是不执行焊接指令的路径。

自动寻位是在无线手持示教器规划好的路径基础上，进一步通过焊缝跟踪器来补偿误差的过程。所述误差主要包含三个方面：第一、红外激光室内定位系统本身的系统误差；第二，系统标定中产生的误差；第三、由于工件一致性差导致的误差。自动寻位具体来说需要通过以下流程来实现：首先扣动无线手持示教器上的扳机开启机器人伺服。然后长按无线手持示教器上的前进按钮使得机器人移动到下一个示教点，在此期间如果松开前进按钮机器人停止运动，如果松开扳机则机器人停止运动且断开伺服电源。该设计增强了用户操作时的安全性，如果用户觉察到机器人可能与工件发生碰撞，无需任何额外操作，只要松开示教器就能停止当前运动。同时如果需要恢复之前的运动，只需要重新开启伺服然后按动前进按钮即可恢复。重复上述两个步骤直至机器人运动到第一个焊缝行程的起始点，此时上位机软件控制焊缝跟踪器的激光器自动开启，并开始对焊缝跟踪器采集到的含有线激光投影的工件图像进行焊缝识别，定位出当前焊缝在图像中的二维位置，并将此二维位置结合系统标定得到的变换矩阵得到三维空间中机器人坐标系下的实际工件位置，在上位机中保存并显示该数据。重复上述步骤直至机器人结束焊缝行程，此时上位机软件控制焊缝跟踪器的激光器自动关闭，并停止对图像的识别。对计算得到的所有点根据不同的示教时不同的示教模式进行拟合，去除错误点，降噪平滑和采样，记录在上位机中。最后重复上述步骤，使得机器人走完之前示教的所有路径，并将此过程中记录下来的所有跟踪点的位置姿态显示在上位机的工作流程窗体中。

焊接工艺参数设置时，对焊接电流，焊接电压，送丝速度，是否摆焊等工艺参数根据工件材料，板厚等进行设置，该设置也在上位机软件中进行，上位机软件中包含默认的参数，可以直接使用默认参数也可以针对不同工件保存不同工艺参数以备后用。在设置完成后，上位机软件会自动根据示教时的示教模式，轨迹模式，自动寻位中获得的焊缝追踪点的信息，以及焊接工艺参数直接生成机器人可读的工作程序。实现了无需编程，无需人工对准的智能自动焊接示教系统。

自动焊接并自动纠偏时，机器人根据工作程序进行自动焊接同时焊缝跟踪器进行自动纠偏的过程。所述流程分为以下几个步骤：第一、当机器人工作程序生成之后，用户通过上位机进行确认，工作程序将自动发送到机器人控制柜并驱动机器人再现路径。第二、当机器人运动到第一个焊缝行程的起始点处时，机器人控制柜将会通过以太网发送信号至上位机，上位机控制焊缝跟踪器开启激光器，并打开焊缝跟踪器采集图像焊缝识别功能。此时机器人末端执行器焊枪将会根据工作程序里的参数开始引弧，进行正式的焊接。第三、由于焊接时热应力导致的变形会使得工件弯曲，焊缝变化，在焊接的时候焊缝跟踪器实时对焊缝位置进行跟踪，并与工作程序中的轨迹进行对比，如果出现偏差，则控制机器人末端执行器进行偏差纠正。第四、当焊缝行程结束后，关闭激光发生器，停止焊缝识别，同时焊枪息弧，结束当前焊缝的焊接。第五、重复步骤二至四直至工作程序全部完成。

在自动寻位和自动纠偏这两个步骤中所述的焊缝识别采用基于深度学习的神经网络模型，该模型使用真实工况下焊缝跟踪器采集到的多种常见焊缝形态和工件材料进行训练，包含碳钢、不锈钢，V型焊缝，J型焊缝，搭接焊缝，角焊缝等。同时，在默认模型的基础上，可以对特定用户特定工件采集到的数据集进行进一步的训练，进一步提高识别的稳定性。当自动寻位和自动纠偏过程中，上位机软件会实时计算焊缝识别的成功率，所述成功率是指1秒内通过调用神经网络模型计算得到焊点的帧数与1秒内焊缝跟踪器采集到总帧数之比。当焊缝识别成功率低于一个设定的阈值时，上位机软件将自动将该时间段识别失败的图像储存在硬盘中，作为之后针对该特定类型焊缝的训练数据集。以此方法不断迭代，获得适合不同工况的最优模型，该方法大大增强了焊缝跟踪器焊缝识别的可靠性和通用性。

本实施例解决了焊接自动化生产中机器人示教难的问题，通过红外激光室内定位技术，利用无线手持示教器代替了传统的示教器，操作者无需学习复杂的示教编程技术，通过直观简单的操作实现了机器人路径规划的示教与再现。通过上位机软件实现了对于不同类型示教轨迹的优化，包含直线模式，圆弧模式，自由模式，平面模式，角焊模式，相贯线模式。在机器人示教插补模式的基础上进行了扩充，实现了更多种类示教轨迹的优化。通过基于深度学习的焊缝识别技术解决了焊接自动化通用性问题，由于焊接工件种类繁多，焊缝类型也各不相同，在实际部署中，焊缝识别的模型会根据不同的焊缝图片数据进行优化和在线学习，即达到越用越准的效果，同时对于弧光干扰下的焊缝有更稳定的识别能力。提供了自动标定流程，用于统一各硬件系统之间的坐标系，实现了标定流程的自动化和统一。提供了自动焊接技术的一体化闭环解决方案，通过红外激光定位技术和焊缝成像跟踪技术的结合，实现了从机器人焊接路径规划示教，到焊缝自动寻位跟踪再到焊接过程中的实时纠偏的一体化软硬件解决方案。用户只需要学习该软件系统和硬件平台的使用，就可以快速简单的实现一个自动焊接流程方案，大大降低了工厂应用自动焊接的成本。

本实施例通过基于红外激光扫描的室内定位方式实现了免编程的快速示教，并通过结构光三维重建进行焊缝自动识别并寻位以规避工件来料不均，实现焊接热变形的实时跟踪；改进了传统焊接自动化系统的工作流程，操作工无需使用示教器进行繁琐的示教编程，且由于焊缝跟踪采用了基于深度学习的识别技术，大大提高了焊接自动化的通用性；另外从焊接路径规划、示教、系统标定，再现到焊接实时跟踪，完全集成在同一个上位机界面中，方便操作人员进行流程的操作与管理。

进一步地，在上述方法实施例的基础上，所述工业机器人视觉伺服系统的伺服处理方法还包括：

504、通过预设的基于以太网通信的协议与所述机器人控制柜进行通信，通过上位机给所述机器人控制柜发送指令数据包；

505、通过机器人控制柜中对所述指令数据包进行解码，根据解码的指令数据包调用应用程序接口实现对所述六轴机器人的远程控制。

具体地，本实施例提供的工业机器人视觉伺服系统从上位机软件的组成模块上来说，所述上位机软件系统主要包含机器人控制模块、红外激光定位系统控制模块、焊缝跟踪器控制模块、统标定模块、工作流程模块、2D视频流/3D模型实时渲染引擎模块以及日志输出模块。其中305，306和307模块为用户操作界面的主要模块。

所述上位机软件系统中的机器人控制模块主要通过自定义的一套基于以太网通信的协议与机器人控制柜进行通信，从而达到控制机器人运动/读取机器人状态等的目的。所述机器人控制柜中通常运行着一个基于VxWorks的操作系统，根据不同的机器人品牌型号，机器人厂家提供特定的API可以绕开示教器对机器人实现底层的控制。同时大多数机器人支持以太网通信，所以可以通过上位机给机器人控制柜发送指令数据包，在机器人控制柜中对指令数据包进行解码，进一步调用VxWorks操作系统中的API实现对机器人的远程控制。所述上位机软件系统中的机器人控制模块包含以下子模块，机器人IP配置和连接，机器人状态查询，控制机器人移动，上传/下载/删除工作文件，错误状态查询/清除，日志模块。

所述上位机软件系统中的红外激光定位系统控制模块通过USB协议读取无线接收器中传回的无线手持示教器数据流以及通过USB数据线直接传回的标定物数据流，数据流中包含硬件的序列号，电池余量百分比，当前六自由度的位置和姿态，当前定位物体质心的线速度。这些信息都会实时显示在上位机软件的定位系统控制模块界面上。同时根据系统标定得到的结果，该界面还可以选择不同的坐标系对定位物体的当前位置进行显示，默认坐标系是红外激光基站坐标系，可以设置为机器人坐标系对位置进行显示。

所述上位机软件系统中的焊缝跟踪器控制模块通过基于以太网通信的协议对相机采集图像，相机参数序列号等硬件配置进行读取，同时可以通过以太网数据包对相机的参数进行修改，包括曝光，增益，白平衡等，也可以通过数据包对相机的I/O口进行配置，进而进一步达到通过上位机控制激光发生器通断的功能。由于相机断电重启后上述参数配置均会变回默认值，所以上位机软件系统包含了自动上传/下载参数配置的功能，开机后自动配置所有参数，使得采集到的图像质量一致可控。

所述上位机软件系统中的系统标定模块提供自动标定流程中所需所有功能模块，支持一键开始自动标定，并对标定结果进行显示和导出。同时也可以支持手动标定，即关闭自动标定流程，单独对某一步骤进行标定，常用于单一硬件环境变化而不影响其他标定结果的情况下。同时支持采用已有的标定图片导入直接开始标定而非实时通过相机采集，适用于预先采集好图片的情况。

所述上位机软件系统中的工作流程模块提供焊接自动化工作流程的管理，提供从初始化系统硬件设备，导入/新建工件焊接流程配置，无线手持器件示教采样显示，示教模式选择，寻位过程焊缝坐标点显示，焊接工艺参数调整，启动焊接并实时纠偏等一系列功能。

所述2D视频流/3D模型实时渲染引擎模块提供了焊缝跟踪器所采集2D视频流的实时显示，所识别焊缝的实时位置，示教过程中无线手持示教器的3D实时位姿渲染，寻位以及纠偏过程中三维重建后的焊缝三维形态的实时渲染。

所述日志输出模块提供硬件系统状态的日志信息，以及各种异常与报错信息，同时支持日志的自动保存与导出，方便用户进行问题的排查。

图6示出了本实施例提供的一种基于任一所述的工业机器人视觉伺服系统的伺服处理装置的结构示意图，所述装置包括：坐标系统一模块701、路径规划模块702和路径纠偏模块703，其中：

所述坐标系统一模块701，用于将所述工业机器人视觉伺服系统中的各组成部分的坐标系进行统一；

所述路径规划模块702，用于通过所述无线手持示教器对伺服路径进行规划，得到规划路径，通过所述焊缝跟踪器对所述规划路径进行误差补偿，并对误差补偿后的规划路径进行示教；

所述路径纠偏模块703，用于根据示教的情况对伺服过程的工艺参数进行设置，并在伺服过程中对误差补偿后的规划路径进行自动纠偏，同时在焊接进行过程中根据热变形实时进行路径的纠偏；

其中，所述误差包括红外激光室内定位系统本身的系统误差、系统标定中产生的误差以及工件一致性差导致的误差。

具体地，所述坐标系统一模块701用于将所述工业机器人视觉伺服系统中的各组成部分的坐标系进行统一；所述路径规划模块702用于通过所述无线手持示教器对伺服路径进行规划，得到规划路径，通过所述焊缝跟踪器对所述规划路径进行误差补偿，并对误差补偿后的规划路径进行示教；所述路径纠偏模块703用于根据示教的情况对伺服过程的工艺参数进行设置，并在伺服过程中对误差补偿后的规划路径进行自动纠偏，同时在焊接进行过程中根据热变形实时进行路径的纠偏。

本实施例通过基于红外激光扫描的室内定位方式实现了免编程的快速示教，并通过结构光三维重建进行焊缝自动识别并寻位以规避工件来料不均，实现焊接热变形的实时跟踪；改进了传统焊接自动化系统的工作流程，操作工无需使用示教器进行繁琐的示教编程，且由于焊缝跟踪采用了基于深度学习的识别技术，大大提高了焊接自动化的通用性；另外从焊接路径规划、示教、系统标定，再现到焊接实时跟踪，完全集成在同一个上位机界面中，方便操作人员进行流程的操作与管理。

进一步地，在上述装置实施例的基础上，所述坐标系统一模块701具体用于将所述工业机器人视觉伺服系统中的视觉传感器成像模型、线结构光平面与视觉传感器之间坐标关系、视觉传感器与机器人末端执行器之间坐标关系、机器人工作参考系与红外激光扫描室内定位系统基站参考系之间坐标关系进行标定，定位并计算所述六轴机器人的系统位姿变换矩阵。

进一步地，在上述装置实施例的基础上，所述工业机器人视觉伺服系统的伺服处理装置还包括：

指令发送模块，用于通过预设的基于以太网通信的协议与所述机器人控制柜进行通信，通过上位机给所述机器人控制柜发送指令数据包；

远程控制模块，用于通过机器人控制柜中对所述指令数据包进行解码，根据解码的指令数据包调用应用程序接口实现对所述六轴机器人的远程控制。

本实施例所述的工业机器人视觉伺服系统的伺服处理装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。

参照图7，所述电子设备，包括：处理器(processor)801、存储器(memory)802和总线803；

其中，

所述处理器801和存储器802通过所述总线803完成相互间的通信；

所述处理器801用于调用所述存储器802中的程序指令，以执行上述各方法实施例所提供的方法。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法。

本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种工业机器人视觉伺服系统，其特征在于，包括：六轴机器人、焊缝跟踪器、标定物、无线手持示教器、通用串行总线USB无线接收器、红外激光定位基站、机器人控制柜、焊机电源控制柜、上位机控制柜和自动送丝系统；

所述焊缝跟踪器固定在所述六轴机器人的第一端，并通过以太网与所述上位机控制柜连接；

所述标定物通过USB接口与所述上位机控制柜连接；

所述无线手持示教器分别与所述红外激光定位基站及USB无线接收器连接；

所述USB无线接收器与所述上位机控制柜连接，用于将接收的数据发送给所述上位机控制柜进行读取；

所述自动送丝系统固定在所述六轴机器人上，并与所述焊机电源控制柜连接，用于通过所述焊机电源控制柜控制送丝速度；

所述机器人控制柜与所述六轴机器人连接，用于对所述六轴机器人进行控制。

2.根据权利要求1所述的工业机器人视觉伺服系统，其特征在于，所述焊缝跟踪器包括工业相机、线激光发生器和红光窄带滤光片；

所述标定物包括可定位刚体和二维棋盘格靶标；

所述可定位刚体表面覆盖有第一红外传感器，所述第一红外传感器用于接收所述红外激光定位基站的红外光扫射并进行传感。

3.根据权利要求1所述的工业机器人视觉伺服系统，其特征在于，所述无线手持示教器表面覆盖有第二红外传感器，所述第二红外传感器用于接收所述红外激光定位基站的红外光扫射并进行传感；

所述无线手持示教器把手的正面设有三个按钮，背面设有扳机结构，侧面设有拨挡开关。

4.根据权利要求1所述的工业机器人视觉伺服系统，其特征在于，所述上位机控制柜包括带有图像处理器GPU异构架构的工控机系统和控制系统电源的强电系统。

5.一种基于权利要求1-4任一项所述的工业机器人视觉伺服系统的伺服处理方法，其特征在于，包括：

将所述工业机器人视觉伺服系统中的各组成部分的坐标系进行统一；

通过所述无线手持示教器对伺服路径进行规划，得到规划路径，通过所述焊缝跟踪器对所述规划路径进行误差补偿，并对误差补偿后的规划路径进行示教；

根据示教的情况对伺服过程的工艺参数进行设置，并在伺服过程中对误差补偿后的规划路径进行自动纠偏，同时在焊接进行过程中根据热变形实时进行路径的纠偏；

其中，所述误差包括红外激光室内定位系统本身的系统误差、系统标定中产生的误差以及工件一致性差导致的误差。

6.根据权利要求5所述的工业机器人视觉伺服系统的伺服处理方法，其特征在于，所述将所述工业机器人视觉伺服系统中的各组成部分的坐标系进行统一，具体包括：

将所述工业机器人视觉伺服系统中的视觉传感器成像模型、线结构光平面与视觉传感器之间坐标关系、视觉传感器与机器人末端执行器之间坐标关系、机器人工作参考系与红外激光扫描室内定位系统基站参考系之间坐标关系进行标定，定位并计算所述六轴机器人的系统位姿变换矩阵。

7.根据权利要求5所述的工业机器人视觉伺服系统的伺服处理方法，其特征在于，所述工业机器人视觉伺服系统的伺服处理方法还包括：

通过预设的基于以太网通信的协议与所述机器人控制柜进行通信，通过上位机给所述机器人控制柜发送指令数据包；

通过机器人控制柜中对所述指令数据包进行解码，根据解码的指令数据包调用应用程序接口实现对所述六轴机器人的远程控制。

8.一种基于权利要求1-4任一项所述的工业机器人视觉伺服系统的伺服处理装置，其特征在于，包括：

坐标系统一模块，用于将所述工业机器人视觉伺服系统中的各组成部分的坐标系进行统一；

路径规划模块，用于通过所述无线手持示教器对伺服路径进行规划，得到规划路径，通过所述焊缝跟踪器对所述规划路径进行误差补偿，并对误差补偿后的规划路径进行示教；

路径纠偏模块，用于根据示教的情况对伺服过程的工艺参数进行设置，并在伺服过程中对误差补偿后的规划路径进行自动纠偏，同时在焊接进行过程中根据热变形实时进行路径的纠偏；

其中，所述误差包括红外激光室内定位系统本身的系统误差、系统标定中产生的误差以及工件一致性差导致的误差。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求5至7任一所述的工业机器人视觉伺服系统的伺服处理方法。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求5至7任一所述的工业机器人视觉伺服系统的伺服处理方法。