CN210551357U - 基于嵌入式平台的焊缝寻位跟踪3d视觉传感器 - Google Patents

Abstract

本实用新型公开了一种基于嵌入式平台的焊缝寻位跟踪3D视觉传感器，包括被动立体视觉组件、激光主动立体视觉组件和嵌入式图像处理电路，所述被动立体视觉组件和激光主动立体视觉组件分别与嵌入式图像处理电路相连，嵌入式图像处理电路连接至焊接机器人系统。本实用新型通过主动激光立体视觉弥补被动立体视觉环境适应性差的不足，提升焊缝定位精度，解决激光主动立体视觉传感器需人工示教焊缝起点以及基于先验信息工作的问题。

Description

基于嵌入式平台的焊缝寻位跟踪3D视觉传感器

技术领域

本实用新型属于焊接机器人技术领域，具体涉及一种基于嵌入式平台的焊缝寻位跟踪3D视觉传感器。

背景技术

焊接技术是工业生产中非常重要的一项工艺，在多个领域具有广泛应用。焊接机器人由于具有可重复、可编程和精度高等优点而被广泛地应用于焊接领域，从而极大地提高了焊接效率和焊接质量。但是现有的焊接机器人一般为“示教再现”型机器人，即需要人工参与耗时冗长的标校工作，该类焊接机器人缺乏“柔性”。因此，为了提高焊接的柔性程度，可以采用传感器来获取待焊接工件的焊缝信息。在众多传感器中，视觉传感方式由于具有非接触、高精度和信息量大等优点而被广泛应用。所以，设计合理、高效的视觉传感器在提高机器人焊接的自动化水平上显得尤为重要。

目前，国内外研究比较成熟的焊缝传感器为激光主动立体视觉传感器，具有焊缝寻位和跟踪功能，此类传感器主要缺陷如下：

1)工作的前提是焊缝在传感器视场范围内，传感器安装于机器人机械臂上后，需要人工操作机器人将机械臂引导至传感器视场范围内，因此此类传感器集成于焊接机器人后需人工参与引导，无法自动在大范围内搜索焊缝位置，即容差能力弱，无法适应焊接场景常见的下料、组对和装夹偏差；

2)传感器焊缝信息提取多基于PC平台进行，具有环境适应性差、功耗和体积大缺点。

因此，研制功能强大、适应工业现场使用的焊缝传感器具有重大意义。

实用新型内容

为解决现有技术中存在的上述缺陷，本实用新型的目的在于提供一种基于嵌入式平台的焊缝寻位跟踪3D视觉传感器。该传感器集成于焊接机器人系统后，可减少当前焊接机器人领域人工参与程度，提高焊接效率和自动化程度。

本实用新型是通过下述技术方案来实现的。

一种基于嵌入式平台的焊缝寻位跟踪3D视觉传感器，包括被动立体视觉组件、激光主动立体视觉组件和嵌入式图像处理电路，所述被动立体视觉组件和激光主动立体视觉组件分别与嵌入式图像处理电路相连，嵌入式图像处理电路连接至焊接机器人系统。

优选的，所述激光主动立体视觉组件包括激光器和主动立体视觉相机；所述主动立体视觉相机前端设有镜头和窄带滤光片；所述激光器相对于主动立体视觉相机呈一定角度α设置。

优选的，所述激光器为一字线激光器。

优选的，所述被动立体视觉组件包括至少一对图像采集单元Ⅰ、Ⅱ；一对图像采集单元呈25-30°角度设置。

优选的，所述图像采集单元Ⅰ、Ⅱ和激光主动立体视觉组件的主动立体视觉相机为工业相机或CCD/CMOS传感器组成的图像采集电路；所述CCD/CMOS传感器组成的图像采集电路包括依次连接的CCD/CMOS传感器、传感器信号接收电路、信号解析电路和通讯接口电路，电源电路连接CCD/CMOS传感器、传感器信号接收电路、信号解析电路和通讯接口电路。

优选的，所述激光主动立体视觉组件的测量视场较被动立体视觉组件小，激光主动立体视觉组件的长度方向视场覆盖局部焊缝长度，宽度方向视场若为V型焊缝需完全覆盖；若为其它类型焊缝需覆盖焊缝拐点并留有余量。

优选的，所述嵌入式图像处理电路包括ARM+FPGA架构处理器，所述ARM+FPGA架构处理器分别连接DDR存储电路、FLASH存储电路、时钟电路、网口通讯电路、USB通讯电路、JTAG下载电路、电源接口和通讯接口，电源转换电路与所述图像处理电路的各个组成电路连接。

优选的，所述ARM+FPGA架构的嵌入式处理平台为Xilinx ZYNQ7000、Ultrascale+系列ZYNQ平台、ARM+FPGA组合嵌入式平台或ARM+DSP+FPGA组合嵌入式平台。

本实用新型由于采取以上技术方案，其具有以下有益效果：

1.本实用新型通过采用被动立体视觉和主动立体视觉相结合的方式，主动激光立体视觉弥补被动立体视觉环境适应性差的不足，同时发挥被动立体视觉可在大视场范围内搜索焊缝目标的优势，在被动立体视觉焊缝定位的基础上进一步提升焊缝定位精度。

2.本实用新型中的被动立体视觉组件的解算结果可为激光主动立体视觉提供焊缝起始位置先验信息，解决激光主动立体视觉传感器工作需人工示教焊缝起点以及基于先验信息工作的问题。

3.本实用新型的图像处理电路核心为嵌入式平台，无需单独配备工业计算机，提升系统的环境适应性，并减小体积和功耗。

4.本实用新型的嵌入式图像处理平台选用ARM+FPGA架构进行图像处理，可充分发挥ARM和FPGA的优势，在ARM上移植linux操作系统可调用OpenCv机器视觉库开发图像处理算法，利用FPGA多任务并行处理能力处理图像提升图像处理速度，满足焊接领域中焊缝在线跟踪的实时性要求。

5.本实用新型的3D视觉传感器输出可直接通过以太网口与焊接机器人控制系统通信，引导焊接机器人执行焊接任务，无需经过工控机转接，从而简化焊接机器人集成系统复杂度。

附图说明

此处所说明的附图用来提供对本实用新型的进一步理解，构成本申请的一部分，并不构成对本实用新型的不当限定，在附图中：

图1为以双目被动立体视觉组件为例，本实用新型所涉及的基于嵌入式平台的智能焊缝寻位跟踪3D传感器的组成示意图；

图2为以双目被动立体视觉组件为例，本实用新型所涉及的基于嵌入式平台的智能焊缝寻位跟踪3D传感器的结构示意图；

图3为CCD/CMOS传感器组成的图像采集电路组成；

图4为嵌入式图像处理电路组成框图；

图5为本实用新型基于嵌入式平台的智能焊缝寻位跟踪3D传感器的操作流程。

图中：1、图像采集单元Ⅰ；2、图像采集单元Ⅱ；3、激光器；4、主动立体视觉相机；5、镜头Ⅰ；6、镜头Ⅱ；7、镜头Ⅲ；8、滤光片；9、嵌入式图像处理电路。

具体实施方式

下面将结合附图以及具体实施例来详细说明本实用新型，在此本实用新型的示意性实施例以及说明用来解释本实用新型，但并不作为对本实用新型的限定。

如图1、图2所示，本实用新型一种基于嵌入式平台的焊缝寻位跟踪3D视觉传感器包括：包括被动立体视觉组件、激光主动立体视觉组件和嵌入式图像处理电路，所述被动立体视觉组件和激光主动立体视觉组件分别与嵌入式图像处理电路相连，嵌入式图像处理电路连接至焊接机器人系统。

其中，被动立体视觉组件，在覆盖整个工件范围内获取工件图像信息，并将工件图像信息输入至嵌入式图像处理电路。激光主动立体视觉组件，在工件焊缝范围内获取焊缝图像信息，并将工件焊缝图像信息输入至嵌入式图像处理电路。嵌入式图像处理电路，根据被动立体视觉组件的图像信息得到焊缝大致位置，进而引导焊接机器人运动至焊缝附近；根据激光主动立体视觉组件的焊缝图像信息解算获得寻位模式下焊缝的精确位置和跟踪模式下焊缝的实时位置信息，并传输至焊接机器人控制系统。

如图2所示，被动立体视觉组件包括至少一对被动立体视觉图像采集单元Ⅰ1、Ⅱ2，被动立体视觉图像采集单元Ⅰ1、Ⅱ2上分别设有光学镜头Ⅰ5、Ⅱ6；一对被动立体视觉图像采集单元呈一定夹角δ布置。被动立体视觉组件中的图像采集单元参数相同，光学镜头Ⅰ5、Ⅱ6参数相同，分别安装于图像采集单元的前端面上，图像采集单元通过安装转接件固定于固定装置上。

一对图像采集单元呈一定夹角δ布置，该夹角与待焊工件大小,图像采集单元I、II参数以及一对图像采集单元的基线距有关，确定方法如下：

第一步：根据图像采集单元选型确定相机视场：

Lx和Ly分别为所选图像采集单元的耙面尺寸，f为图像采集单元中镜头的焦距，h为图像采集单元的工作距离；

第二步：一对图像采集单元光轴相互平行且光轴与基线距垂直时，重叠视场为

其中B为图像采集单元的基线距；

第三步：一对图像采集单元按照光轴相互平行，且光轴与基线距垂直，此时δ＝0°，根据需求视场大小确定是否增大该δ角度，在保证基线距B不变的情况下，倾斜一对图像采集单元使得一对图像采集单元光轴间夹角δ＞0°，此方式可扩大采集单元视场以满足实际视场需求。

在一个实施例中，待焊接工件尺寸为600*240*120mm，待焊工件上的焊缝为搭接和直角焊缝，所选图像采集单元的耙面尺寸为2/3″，镜头焦距为8mm，被动立体视觉组件工作距离为650mm，一对图像采集单元的基线距离B＝60mm，根据夹角确定方法确定夹角：

第一步：相机视场为：

第二步：相机重叠视场即为被动立体视觉组件的视场，为：

第三步：确定夹角，由于相机视场已完全覆盖工件，此处δ＝0°。根据需求视场大小确定是否增大该δ角度，在保证基线距B不变的情况下，倾斜一对图像采集单元使得一对图像采集单元光轴间夹角δ＞0°，可扩大视场范围直至满足实际视场需求。

另外，激光主动立体视觉组件包括激光器和主动立体视觉相机；主动立体视觉相机前端设有镜头Ⅲ和窄带滤光片8；滤光片8在光学前端前方安装并通过转接件固定在传感器外壳上，线结构光激光器3与图像采集单元的光轴呈α角度，α角度范围为25-30°

在一个具体实施例中，所选激光器最佳工作距离为200mm，激光器与激光立体视觉相机4的基线距B为102mm，根据图像处理算法以及相机内参标定结果得到激光立体视觉相机4与镜头组成的图像采集单元光轴与激光平面的交点坐标，进而得到此交点同光心的距离为h＝242mm，计算得到该夹角

所述α角度可根据结构布局情况，通过光路折转保证。

激光主动立体视觉组件的视场确定方法如下：

在一个实施例中，待焊接工件上的焊缝为搭接焊缝和直角焊缝，因此为减小图像处理的数据量，所述激光主动立体视觉组件的视场确定为激光条纹长度方向60mm，宽度方向以激光条纹线为中心，左右30mm。

激光主动立体视觉组件中的图像采集单元和光学镜头参数与被动立体视觉组件中参数不同，参数不同体现在图像采集单元的采集帧频以及图像分辨率上，光学镜头参数主要体现在焦距上。

被动立体视觉组件测量视场覆盖待焊接工件，而激光主动立体视觉组件视场覆盖待焊接焊缝局部，在小视场内提升焊缝定位和跟踪精度。

激光主动立体视觉组件的激光器投射至工件表面，由于激光线与工件表面的对比度差异，从而弥补了被动立体视觉组件的环境适应性问题。

如图3所示，被动立体视觉组件的图像采集单元Ⅰ、Ⅱ和激光主动立体视觉组件的主动立体视觉相机为工业相机或CCD/CMOS传感器组成的图像采集电路；CCD/CMOS传感器组成的图像采集电路包括依次连接的CCD/CMOS传感器、传感器信号接收电路、信号解析电路和通讯接口电路，电源电路连接CCD/CMOS传感器、传感器信号接收电路、信号解析电路和通讯接口电路。其中激光器为一字线激光器。

激光主动立体视觉组件的测量视场较被动立体视觉组件小，激光主动立体视觉组件的长度方向视场覆盖局部焊缝长度，宽度方向视场根据焊缝类型确定，若为V型焊缝，需完全覆盖；若为其它类型焊缝需覆盖焊缝拐点并留有余量。

如图4所示，嵌入式图像处理电路9包括ARM+FPGA架构处理器，ARM+FPGA架构处理器分别连接DDR存储电路、FLASH存储电路、时钟电路、网口通讯电路、USB通讯电路、JTAG下载电路、电源接口和通讯接口，电源转换电路为所述图像处理电路的各个组成电路供电。

ARM+FPGA架构的嵌入式处理平台为Xilinx ZYNQ7000、Ultrascale+系列ZYNQ平台、ARM+FPGA组合嵌入式平台或ARM+DSP+FPGA组合嵌入式平台。

DDR存储电路用于存储被动立体视觉和激光主动立体视觉图像采集单元获取的图像数据；通讯电路用于和被动立体视觉、激光主动立体视觉以及焊接机器人控制系统进行数据交互；下载电路用于下载并固化软件程序。嵌入式图像处理电路通过安装转接件固定，通过3路网口或USB通讯接口与图像采集单元和主动立体视觉相机连接，通过电源接口与激光器连接，为激光器供电；通过1路网口通讯接口输出数据，该接口可直接焊接机器人进行数据交互，引到焊接机器人执行焊接任务。

运行于嵌入式图像处理电路的软件有3种工作模式，分别为标定模式、被动立体视觉组件工作模式和激光主动立体视觉工作模式，其中，激光主动立体视觉工作模式主要实现寻位模式下焊缝的精确定位和跟踪模式下焊缝的实时位置信息解算，激光主动立体视觉工作模式需执行机构的配合，一般安装于焊接机器人的焊枪上。

运行于嵌入式图像处理电路的软件运行环境为linux的ubuntu系统，可在处理平台ARM端移植该系统。

运行于嵌入式处理电路的软件涉及的图像处理算法可在ARM端和FPGA端运行，基础通用图像处理算法可在ARM端调用Opencv机器视觉库函数。

为满足焊缝跟踪的实时性需求，可将图像处理软件涉及的复杂耗时软件算法在FPGA端实现，提升图像处理性能。

如图5所示，本实用新型基于嵌入式平台的焊缝智能3D传感器的具体操作方法，步骤如下：

步骤1，将3D视觉传感器本体与焊接机器人系统相连；

步骤2，嵌入式图像处理电路标定被动立体视觉组件和激光主动立体视觉组件与焊接机器人的坐标转换关系；

步骤3，被动立体视觉组件搜索工件上的待焊焊缝位置，并根据步骤2获得的坐标转换关系解算待焊焊缝位置的三维坐标；

步骤4，将解算待焊焊缝位置的三维坐标输出至焊接机器人控制单元，并控制焊接机器人携带3D视觉传感器本体运动至待焊焊缝起点附近；

步骤5，根据焊缝形状和工件是否存在热变形情况，启动激光主动立体视觉组件的工作模式为焊缝跟踪模式或焊缝寻位模式；

步骤6，嵌入式图像处理电路控制激光主动立体视觉组件工作，在焊缝寻位工作模式下，控制焊接机器人带动3D视觉传感器本体从当前位置开始沿待焊焊缝方向推扫，根据获取的多个位置的图像特征信息，提取待焊焊缝起点和终点信息；

步骤7，通过以太网口直接与焊接机器控制系统通讯，焊缝寻位模式下输出步骤6得到的焊缝起点和终点位置信息，引导焊接机器人焊枪起弧和灭弧；

步骤8，嵌入式图像处理电路控制激光主动立体视觉组件工作，在焊缝跟踪工作模式下，输出焊缝实时跟踪点位置，引导焊接机器人焊枪按实际焊缝执行焊接任务。

本实用新型并不局限于上述实施例，在本实用新型公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本实用新型的保护范围内。

Claims (8)

1.一种基于嵌入式平台的焊缝寻位跟踪3D视觉传感器，其特征在于，包括被动立体视觉组件、激光主动立体视觉组件和嵌入式图像处理电路，所述被动立体视觉组件和激光主动立体视觉组件分别与嵌入式图像处理电路相连，嵌入式图像处理电路连接至焊接机器人系统。

2.根据权利要求1所述的一种基于嵌入式平台的焊缝寻位跟踪3D视觉传感器，其特征在于，所述激光主动立体视觉组件包括激光器和主动立体视觉相机；所述主动立体视觉相机前端设有镜头和窄带滤光片；所述激光器相对于主动立体视觉相机呈25-30°角度设置。

3.根据权利要求2所述的一种基于嵌入式平台的焊缝寻位跟踪3D视觉传感器，其特征在于，所述激光器为一字线激光器。

4.根据权利要求1所述的一种基于嵌入式平台的焊缝寻位跟踪3D视觉传感器，其特征在于，所述被动立体视觉组件包括至少一对图像采集单元Ⅰ、Ⅱ；一对图像采集单元呈一定夹角δ布置。

5.根据权利要求4所述的一种基于嵌入式平台的焊缝寻位跟踪3D视觉传感器，其特征在于，所述图像采集单元Ⅰ、Ⅱ和激光主动立体视觉组件的主动立体视觉相机为工业相机或CCD/CMOS传感器组成的图像采集电路；所述CCD/CMOS传感器组成的图像采集电路包括依次连接的CCD/CMOS传感器、传感器信号接收电路、信号解析电路和通讯接口电路，电源电路连接CCD/CMOS传感器、传感器信号接收电路、信号解析电路和通讯接口电路。

6.根据权利要求1所述的一种基于嵌入式平台的焊缝寻位跟踪3D视觉传感器，其特征在于，所述激光主动立体视觉组件的测量视场较被动立体视觉组件小，激光主动立体视觉组件的长度方向视场覆盖局部焊缝长度，宽度方向视场若为V型焊缝需完全覆盖；若为其它类型焊缝需覆盖焊缝拐点并留有余量。

7.根据权利要求1所述的一种基于嵌入式平台的焊缝寻位跟踪3D视觉传感器，其特征在于，所述嵌入式图像处理电路包括ARM+FPGA架构处理器，所述ARM+FPGA架构处理器分别连接DDR存储电路、FLASH存储电路、时钟电路、网口通讯电路、USB通讯电路、JTAG下载电路、电源接口和通讯接口，电源转换电路与所述图像处理电路的各个组成电路连接。

8.根据权利要求7所述的一种基于嵌入式平台的焊缝寻位跟踪3D视觉传感器，其特征在于，所述ARM+FPGA架构的嵌入式处理平台为Xilinx ZYNQ7000、Ultrascale+系列ZYNQ平台、ARM+FPGA组合嵌入式平台或ARM+DSP+FPGA组合嵌入式平台。

Images