CN110539109B - 一种基于单双目视觉的机器人自动焊接系统及方法 - Google Patents
一种基于单双目视觉的机器人自动焊接系统及方法 Download PDFInfo
- Publication number
- CN110539109B CN110539109B CN201910802496.7A CN201910802496A CN110539109B CN 110539109 B CN110539109 B CN 110539109B CN 201910802496 A CN201910802496 A CN 201910802496A CN 110539109 B CN110539109 B CN 110539109B
- Authority
- CN
- China
- Prior art keywords
- image
- welding
- camera
- eye image
- workpiece
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003466 welding Methods 0.000 title claims abstract description 213
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000033001 locomotion Effects 0.000 claims abstract description 74
- 238000001514 detection method Methods 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 18
- 230000000877 morphologic effect Effects 0.000 claims description 14
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000001914 filtration Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000005520 cutting process Methods 0.000 claims description 3
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
- B23K37/02—Carriages for supporting the welding or cutting element
- B23K37/0211—Carriages for supporting the welding or cutting element travelling on a guide member, e.g. rail, track
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Abstract
本发明提出一种基于单双目视觉的机器人自动焊接系统，包括前置视觉检测模块、运动控制模块、焊枪，其中前置视觉检测模块包括单目相机、双目相机、防飞溅挡板、图像采集卡，运动控制模块包括上位机、机器人控制器、运动轴执行机构；单目相机设置在焊枪的一侧，防飞溅挡板设置在单目相机与焊枪之间，双目相机设置在单目相机的另一侧，且单目相机和双目相机分别通过图像采集卡与上位机连接；上位机对焊缝图像进行分析处理，分别得到工件及焊缝的坐标以及运动轴执行机构的运动轨迹规划结果，并通过机器人控制器将运动轨迹规划结果相应的控制命令传送到运动轴执行机构。基于上述系统，本发明还提出了一种基于单双目视觉的机器人自动焊接方法。
Description
技术领域
本发明涉及机器人智能制造技术领域，更具体地，涉及一种基于单双目视觉的机器人自动焊接系统及方法。
背景技术
焊接机器人的出现代表着焊接自动化历史性的进步，它取代了手工焊接和刚性自动化方式，开创了一种柔性自动化的生产方式。目前，广泛应用于工业生产的焊接机器人主要是示教再现性机器人，在焊缝轨迹比较简单的情况下，示教再现性机器人能有效提高生产效率，并且能保证焊接质量的一致性。然而对于复杂轨迹的焊缝，示教再现性机器人存在人工示教耗时长，焊接质量的稳定性要求难以保证等问题，并且对于小批量和单件的焊接生产来说，机器人示教时间占全部生产工时的比例高，影响了机器人的整体工作效率。
为了解决上述问题，目前主要采用基于视觉的的自动焊接系统进行焊接加工，其中，自动焊接系统主要采用单目或双目相机进行焊缝采集，但在焊接过程中单目或双目相机容易受强光飞溅的影响，因此单目或双目相机需要安装有相应的滤波装置或保护装置，导致无法应用于正常光照下的拍摄；同时由于焊缝识别的精度要求，用于识别焊缝的相机焦距和安装位置都不适合用于寻找需要加工的工件，无法真正的实现焊接机器人自动焊接作业。
发明内容
本发明为克服上述现有技术所述的不能实现焊接机器人自动焊接作业的缺陷，提供一种基于单双目视觉的机器人自动焊接系统以及一种基于单双目视觉的机器人自动焊接方法。
为解决上述技术问题，本发明的技术方案如下：
一种基于单双目视觉的机器人自动焊接系统，包括前置视觉检测模块、运动控制模块、焊枪，其中：
前置视觉检测模块包括单目相机、双目相机、防飞溅挡板、图像采集卡；
运动控制模块包括上位机、机器人控制器、运动轴执行机构；
焊枪设置在运动轴执行机构上，上位机与机器人控制器连接，机器人控制器与运动轴执行机构连接；
单目相机设置在焊枪的一侧，防飞溅挡板设置在所述单目相机与焊枪之间，双目相机设置在单目相机的另一侧，且单目相机和双目相机分别通过与图像采集卡连接将所采集的焊缝图像传送到上位机；上位机对焊缝图像进行分析处理，分别得到工件及焊缝的坐标以及运动轴执行机构的运动轨迹规划结果，并通过机器人控制器将所述运动轨迹规划结果对应的控制命令传送到运动轴执行机构。
本技术方案中，前置视觉检测模块用于采集待识别的工件图像和焊缝图像，通过以太网传送到运动控制模块中进行图像分析处理，其中，双目相机用于采集三维信息，从而识别得到工件的空间坐标；单目相机用于采集二维平面信息，从而识别得到焊缝位置信息；防飞溅挡板设置在单目相机与焊枪之间，用于遮挡焊接过程中产生的飞溅。运动控制模块用于对工件坐标以及焊缝位置信息进行分析处理，对焊机运动轨迹进行规划，并通过控制运动轴执行机构控制焊机的移动，其中，上位机接收前置视觉检测模块所传输的图像信息，对其进行分析得到工件坐标信息以及焊缝位置信息，以及对所述工件坐标信息和焊缝位置信息进行分析处理，对焊枪的运动轨迹进行规划，然后将得到的运动轨迹规划结果发送到机器人控制器中，机器人控制器根据所接收的运动轨迹规划结果进行分析得到相应的控制命令，实现对运动轴执行机构的控制，控制焊机对焊缝位置的跟踪矫正补偿运动，从而实现焊接机器人的自主焊接作业。
优选地，单目相机包括相机安装架、单目相机镜头、滤光片、辅助光源，其中，单目相机镜头安装设置在相机安装架上，滤光片设置在单目相机镜头前方。
优选地，辅助光源为445nm的蓝色光。
本发明还提出一种基于单双目视觉的机器人自动焊接方法，应用于上述基于单双目视觉的机器人自动焊接系统，包括以下步骤：
S1：初始化设置单目相机参数，并对单目相机和双目相机分别进行标定；
S2：双目相机采集图像，并对所采集的图像进行双目视觉图像处理，得到待焊接工件的空间位置信息；
S3：上位机根据所述待焊接工件的空间位置信息决定焊接起始点坐标，通过机器人控制器获取当前焊枪的位置坐标，所述上位机根据当前焊枪的位置坐标及开始点坐标信息规划焊枪的运动轨迹，得到轨迹规划结果；
S4：上位机将所述轨迹规划结果传送到机器人控制器中，所述机器人控制器对运动轴执行机构进行控制，将焊枪移动到焊接起始点；
S5：机器人控制器实时获取焊枪的位置信息，当确认焊枪移动到焊接起始点时，所述单目相机开始采集焊缝图像信息，并对所述焊缝图像进行单目视觉图像处理，得到焊缝的空间位置信息，然后根据机器人控制器获取的当前焊枪位置信息，得到当前采集的焊缝图像所对应的焊枪偏移量；
S6：上位机根据所述焊枪偏移量进行焊缝跟踪，对所述焊缝跟踪轨迹进行滤波、拟合，并实时计算跟踪点的位置信息，进行运动指令规划；
S7：上位机将所述运动指令规划传送到机器人控制器，所述机器人控制器根据其接收的运动指令规划对运动轴执行机构进行控制。
优选地，S1步骤中，单目相机参数包括相机曝光时间、光圈、焦距以及FTP作业服务器参数，其中FTP作业服务器参数包括但不仅限于FTP服务器IP地址、端口号、用户名、密码。
优选地，S1步骤中，单目相机进行单目标定的具体步骤如下：
打印出棋盘格标定板，用单目相机以不同角度拍摄棋盘格标定板图片，得到多角度的标定图片；对每一张标定图片，提取其角点信息，并根据所提取的角点信息进一步提取每一张标定图片的亚像素角点信息；根据所提取的角点信息和亚像素角点信息，在棋盘标定图上绘制找到的内角点，计算标定结果；
双目相机进行单目标定的具体步骤如下：
采用所述单目相机进行单目标定的方法对双目相机中的左眼镜头和右眼镜头分别进行单目标定，得到左眼镜头和右眼镜头的内参矩阵和畸变矩阵；打印出棋盘格标定板，用双目相机以不同角度拍摄棋盘格标定板图片，得到多角度的标定图片；对每一张标定图片，提取其角点信息，并根据所提取的角点信息进一步提取每一张标定图片的亚像素角点信息；根据所提取的角点信息和亚像素角点信息，在棋盘标定图上绘制找到的内角点，得到左眼镜头和右眼镜头的旋转矩阵和平移矩阵；根据所述左眼镜头和右眼镜头的旋转矩阵和平移矩阵，对标定图片进行裁剪，使极线对齐。
优选地，S2步骤中，上位机对所采集的图像采用基于Opencv视觉库编程实现双目视觉图像处理，其具体步骤如下：
对所采集的图像根据预设的双目标定参数进行校正，得到左眼和右眼矫正后的图像；
对矫正后的左眼图像和右眼图像分别进行中值滤波；
对滤波后的左眼图像和右眼图像分别进行直方图均衡化；
对均衡化的左眼图像和右眼图像分别进行灰度处理；
对灰度处理后的左眼图像和右眼图像分别进行自适应阈值分割；
对阈值分割后的左眼图像和右眼图像分别进行形态学开运算和闭运算；
对形态学运算后的左眼图像和右眼图像分别进行边缘提取；
对边缘提取后的左眼图像和右眼图像分别进行特征点立体匹配以及模板匹配，得到待焊接工件轮廓的二维信息和距离信息；
根据待焊接工件轮廓的二维信息和距离信息，建立以双目图像坐标系为父坐标系的工件坐标系；
根据所述工件坐标系与世界坐标系之间的转换，得到待焊接工件的空间位置信息。
优选地，S3步骤中，上位机规划焊枪的运动轨迹的具体步骤如下：
上位机根据所述待焊接工件的空间位置信息，通过模板匹配精确定位工件，并在定位模板上预设工件焊接起点位置；
通过机器人控制器确定焊枪的当前坐标；
使用moveit！功能包对所述运动轴执行机构进行关节空间的轨迹规划，得到焊枪运动轨迹的轨迹规划结果，使焊枪对准焊接起点。
优选地，S5步骤中，单目视觉图像处理的具体步骤如下：
对所采集的图像根据单目相机标定参数进行矫正，得到单目相机矫正后的图像；
对矫正后的图像进行中值滤波；
对滤波后的图像进行直方图均衡化；
对直方图均衡化后的图像进行灰度处理；
对灰度处理后的图像进行自适应阈值分割；
对阈值分割后的图像进行形态学开运算和闭运算；
对形态学运算后的图像进行边缘提取；
对边缘提取后的图像进行直线拟合，得到焊缝的位置信息；
根据所述焊缝的位置信息，建立以单目图像坐标系为父坐标系的焊缝坐标系；
根据所述焊缝坐标系与世界坐标系之间的转换，以及双目相机测量得到的待焊接工件的空间位置信息，得到焊缝的空间位置信息。
优选地，S6步骤中，上位机根据焊枪偏移量进行焊缝跟踪的具体步骤如下：上位机根据焊缝的实时位置信息进行笛卡尔空间轨迹插值，并根据图像采集的频率对各焊缝图像所对应的焊枪偏移量进行划分，将得到的控制数据传输到机器人控制器，实现焊缝跟踪。
与现有技术相比，本发明技术方案的有益效果是：通过双目相机和单目相机采集待焊接工件和焊缝的位置信息，然后通过运动控制模块结合图像信息控制焊接机器人的移动，从而实现焊接机器人的自主焊接作业，有效提高生产效率；运动控制模块根据实时采集的图像对焊枪的运动轨迹进行规划，有效提高焊接精度，避免人为主观因素对焊接质量稳定性造成影响。
附图说明
图1为实施例1的基于单双目视觉的机器人自动焊接系统的结构示意图。
图2为实施例1的前置视觉检测模块的结构示意图。
图3为实施例2的基于单双目视觉的机器人自动焊接方法的流程图。
图4为实施例2所使用的23×13的棋盘格标定板示意图。
图5为实施例2的双目视觉图像处理和单目视觉图像处理的流程图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提出一种基于单双目视觉的机器人自动焊接系统，如图1所示，为本实施例的基于单双目视觉的机器人自动焊接系统的结构示意图。
本实施例的基于单双目视觉的机器人自动焊接系统中，包括前置视觉检测模块1、运动控制模块2、焊枪3，其中，前置视觉检测模块1包括单目相机11、双目相机12、防飞溅挡板13、图像采集卡14，运动控制模块2包括上位机21、机器人控制器22、运动轴执行机构23，且上位机21安装有ROS系统。焊枪3设置在运动轴执行机构23上，上位机21与机器人控制器22连接，机器人控制器22与运动轴执行机构23连接。
本实施例中，单目相机11、双目相机12分别通过与图像采集卡14连接，将其所采集的图像信息传输到上位机21中进行处理，具体地，单目相机11经图像采集卡14通过FTP与上位机21进行图像传输，双目相机12经图像采集卡14通过USB与上位机21进行图像传输，上位机21通过以太网与机器人控制器22连接，机器人控制器22与运动轴执行机构23连接。
如图2所示，为本实施例的前置视觉检测模块的结构示意图。
本实施例的前置视觉检测模块1中，单目相机11设置在焊枪3枪头的上方，防飞溅挡板13设置在单目相机11与焊枪3枪头之间，双目相机12设置在单目相机11的上方。
本实施例中，单目相机包括相机安装架、单目相机镜头、滤光片、辅助光源，其中，单目相机镜头安装设置在相机安装架上，滤光片设置在单目相机镜头前方。在本实施例中，滤光片用于通过808nm的光波，辅助光源为445nm的蓝色光，用于照亮单目相机11的视野。
在具体实施过程中，初始化设置单目相机11参数，而双目相机12自动进行初始化设置，然后单目相机11和双目相机12分别进行单目标定和双目标定；双目相机12对当前的待焊接工件进行图像采集，经图像采集卡14将所采集的图像传输到上位机21中，上位机21对所接收的图像进行双目视觉图像处理，得到待焊接工件的空间位置信息，并根据上述空间位置信息确定焊接起始点坐标，然后通过机器人控制器22获取当前焊枪3的位置坐标，上位机21根据前焊枪3的位置坐标及开始点坐标信息规划焊枪3的运动轨迹，得到轨迹规划结果，然后传送到机器人控制器22中，机器人控制器22根据所接收的轨迹规划结果生成相应的控制命令，并通过控制运动轴执行机构23将焊枪3移动到目标焊接起始点坐标。
机器人控制器22实时获取焊枪3的位置信息，当确认焊枪3移动到焊接起始点时，单目相机11开始采集焊缝图像信息，经图像采集卡14将所采集的焊缝图像传输到上位机21中进行单目视觉图像处理，得到焊缝的空间位置信息，然后根据机器人控制器22获取的当前焊枪位置信息，得到当前采集的焊缝图像所对应的焊枪偏移量数据。上位机21根据焊枪偏移量进行焊缝跟踪，并对焊缝跟踪轨迹进行滤波、拟合操作，然后根据计算得到的焊缝跟踪点位置信息，实现焊枪的运动指令规划，上位机21将其生成的运动指令规划结果传送到机器人控制器22中，机器人控制器22根据所接受的运动指令规划结果生成相应的控制命令，并通过控制运动轴执行机构23将控制焊枪3的移动，从而实现焊接机器人的自主焊接作业。
本实施例中，通过双目相机12实时采集待焊接工件图像，从而获取待焊接工件的空间位置信息，然后控制焊接机器人自主运动到焊接起始点，通过单目相机11实时采集焊缝图像，从而获取焊缝位置信息，并通过上位机21实时计算实际焊缝与焊接机器人中焊枪3的运动轨迹的偏差，最后通过机器人控制器22控制运动轴执行机构23将焊接机器人的关节角度发生变化，从而保证设置在焊接机器人末端的焊枪3始终在焊缝位置上移动，从而实现焊接机器人的自动焊接作业。
实施例2
本实施例应用实施例1提出的于单双目视觉的机器人自动焊接系统，提出一种基于单双目视觉的机器人自动焊接方法。如图3所示，为本实施例的基于单双目视觉的机器人自动焊接方法的流程图。
本实施例提出的基于单双目视觉的机器人自动焊接方法，包括以下步骤：
S1：初始化设置单目相机参数，并对单目相机和双目相机分别进行标定。
本实施例中，初始化设置的单目相机参数包括相机曝光时间、光圈、焦距以及FTP作业服务器参数，其中FTP作业服务器参数包括FTP服务器IP地址、端口号、用户名、密码。而本实施例中的双目相机参数为自动调整，不需要初始化设置。
本步骤中，对单目相机进行单目标定的具体步骤如下：
打印出棋盘格标定板，如图4所示，为本实施例所使用的23×13的棋盘格标定板，用单目相机以不同角度拍摄棋盘格标定板图片，得到多角度的标定图片；
对每一张标定图片，提取其角点信息，并根据所提取的角点信息进一步提取每一张标定图片的亚像素角点信息；
根据所提取的角点信息和亚像素角点信息，在棋盘标定图上绘制找到的内角点，计算得到标定结果。
本步骤中，对双目相机进行双目标定的具体步骤如下：
采用所述单目相机进行单目标定的方法对双目相机中的左眼镜头和右眼镜头分别进行单目标定，得到左眼镜头和右眼镜头的内参矩阵和畸变矩阵；
打印出棋盘格标定板，然后用双目相机以不同角度拍摄棋盘格标定板图片，得到多角度的标定图片；
对每一张标定图片，提取其角点信息，并根据所提取的角点信息进一步提取每一张标定图片的亚像素角点信息；
根据所提取的角点信息和亚像素角点信息，在棋盘标定图上绘制找到的内角点，得到左眼镜头和右眼镜头的旋转矩阵和平移矩阵；
根据所述左眼镜头和右眼镜头的旋转矩阵和平移矩阵，对标定图片进行裁剪，使其极线对齐。
S2：双目相机采集图像，并对所采集的图像进行双目视觉图像处理，得到待焊接工件的空间位置信息。
本步骤中，上位机对所采集的图像采用基于Opencv视觉库编程实现双目视觉图像处理，其具体步骤如下：
对所采集的图像根据预设的双目标定参数进行校正，得到左眼和右眼矫正后的图像；
对矫正后的左眼图像和右眼图像分别进行中值滤波，得到降噪后的图像；
对滤波后的左眼图像和右眼图像分别进行直方图均衡化，得到亮暗部均衡的图像；
对均衡化的左眼图像和右眼图像分别进行灰度处理；
对灰度处理后的左眼图像和右眼图像分别进行自适应阈值分割；
对阈值分割后的左眼图像和右眼图像分别进行形态学开运算和闭运算；
对形态学运算后的左眼图像和右眼图像分别进行边缘提取；
对边缘提取后的左眼图像和右眼图像分别进行特征点立体匹配以及模板匹配，得到待焊接工件轮廓的二维信息和距离信息；
根据待焊接工件轮廓的二维信息和距离信息，建立以双目图像坐标系为父坐标系的工件坐标系；
根据所述工件坐标系与世界坐标系之间的转换，得到待焊接工件的空间位置信息。
S3：上位机根据所述待焊接工件的空间位置信息决定焊接起始点坐标，通过机器人控制器获取当前焊枪的位置坐标，所述上位机根据当前焊枪的位置坐标及开始点坐标信息规划焊枪的运动轨迹，得到轨迹规划结果。
本步骤中，上位机规划焊枪的运动轨迹的具体步骤如下：
上位机根据所述待焊接工件的空间位置信息，通过模板匹配精确定位工件，并在定位模板上预设工件焊接起点位置；
通过机器人控制器确定焊枪的当前坐标；
使用moveit！功能包对所述运动轴执行机构进行关节空间的轨迹规划，得到焊枪运动轨迹的轨迹规划结果，使焊枪移动到焊接起点。
S4：上位机将所述轨迹规划结果传送到机器人控制器中，所述机器人控制器对运动轴执行机构进行控制，将焊枪移动到焊接起始点。
S5：机器人控制器实时获取焊枪的位置信息，当确认焊枪移动到焊接起始点时，所述单目相机开始采集焊缝图像信息，并对所述焊缝图像进行单目视觉图像处理，得到焊缝的空间位置信息，然后根据机器人控制器获取的当前焊枪位置信息，得到当前采集的焊缝图像所对应的焊枪偏移量。
本步骤中，单目视觉图像处理的具体步骤如下：
对所采集的图像根据单目相机标定参数进行矫正，得到单目相机矫正后的图像；
对矫正后的图像进行中值滤波，得到降噪后的图像；
对滤波后的图像进行直方图均衡化，得到亮暗部均衡的图像；
对直方图均衡化后的图像进行灰度处理；
对灰度处理后的图像进行自适应阈值分割；
对阈值分割后的图像进行形态学开运算和闭运算；
对形态学运算后的图像进行边缘提取；
对边缘提取后的图像进行直线拟合，得到焊缝的位置信息；
根据所述焊缝的位置信息，建立以单目图像坐标系为父坐标系的焊缝坐标系；
根据所述焊缝坐标系与世界坐标系之间的转换，以及双目相机测量得到的待焊接工件的空间位置信息，得到焊缝的空间位置信息。
如图5所示，为本实施例的双目视觉图像处理和单目视觉图像处理的流程图。
S6：上位机根据所述焊枪偏移量进行焊缝跟踪，对所述焊缝跟踪轨迹进行滤波、拟合，并实时计算跟踪点的位置信息，进行运动指令规划。
本步骤中，上位机根据焊枪偏移量进行焊缝跟踪的具体步骤如下：
上位机根据所述焊缝的实时位置信息进行笛卡尔空间轨迹插值，并根据图像采集的频率对各焊缝图像所对应的焊枪偏移量进行划分，将得到的控制数据传输到机器人控制器，实现焊缝跟踪。
S7：上位机将所述运动指令规划传送到机器人控制器，所述机器人控制器根据其接收的运动指令规划对运动轴执行机构进行控制。
本实施例可应用于随意放置的任意形态工件上的多种焊缝类型，实现工件位置的自主定位，以及焊缝的自主焊接，实现焊接机器人的自主焊接作业，具有通用性、灵活性强的特点。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
Claims (9)
1.一种基于单双目视觉的机器人自动焊接系统，其特征在于，包括前置视觉检测模块、运动控制模块、焊枪，其中：
所述前置视觉检测模块包括单目相机、双目相机、防飞溅挡板、图像采集卡；
所述运动控制模块包括上位机、机器人控制器、运动轴执行机构；
所述焊枪设置在运动轴执行机构上，所述上位机与机器人控制器连接，所述机器人控制器与运动轴执行机构连接；
所述单目相机设置在焊枪的一侧，所述防飞溅挡板设置在所述单目相机与焊枪之间，所述双目相机设置在单目相机的另一侧，且所述单目相机和双目相机分别通过与图像采集卡连接将所采集的焊缝图像传送到上位机；所述上位机对所述焊缝图像进行分析处理，分别得到工件及焊缝的坐标以及运动轴执行机构的运动轨迹规划结果，并通过机器人控制器将所述运动轨迹规划结果对应的控制命令传送到运动轴执行机构；
其中，所述上位机对所述双目相机采集的图像采用基于Opencv视觉库编程实现双目视觉图像处理，其具体步骤如下：
对所采集的图像根据预设的双目标定参数进行校正，得到左眼和右眼矫正后的图像；
对矫正后的左眼图像和右眼图像分别进行中值滤波；
对滤波后的左眼图像和右眼图像分别进行直方图均衡化；
对均衡化的左眼图像和右眼图像分别进行灰度处理；
对灰度处理后的左眼图像和右眼图像分别进行自适应阈值分割；
对阈值分割后的左眼图像和右眼图像分别进行形态学开运算和闭运算；
对形态学运算后的左眼图像和右眼图像分别进行边缘提取；
对边缘提取后的左眼图像和右眼图像分别进行特征点立体匹配以及模板匹配，得到待焊接工件轮廓的二维信息和距离信息；
根据待焊接工件轮廓的二维信息和距离信息，建立以双目图像坐标系为父坐标系的工件坐标系；
根据所述工件坐标系与世界坐标系之间的转换，得到待焊接工件的空间位置信息。
2.根据权利要求1所述的机器人自动焊接系统，其特征在于：所述单目相机包括相机安装架、单目相机镜头、滤光片、辅助光源，其中，所述单目相机镜头安装设置在相机安装架上，所述滤光片设置在单目相机镜头前方。
3.根据权利要求2所述的机器人自动焊接系统，其特征在于：所述辅助光源为445nm的蓝色光。
4.一种基于单双目视觉的机器人自动焊接方法，其特征在于，包括以下步骤：
S1：初始化设置单目相机参数，并对单目相机和双目相机分别进行标定；
S2：双目相机采集图像，并对所采集的图像进行双目视觉图像处理，得到待焊接工件的空间位置信息；其中，上位机对所采集的图像采用基于Opencv视觉库编程实现双目视觉图像处理，其具体步骤如下：
对所采集的图像根据预设的双目标定参数进行校正，得到左眼和右眼矫正后的图像；
对矫正后的左眼图像和右眼图像分别进行中值滤波；
对滤波后的左眼图像和右眼图像分别进行直方图均衡化；
对均衡化的左眼图像和右眼图像分别进行灰度处理；
对灰度处理后的左眼图像和右眼图像分别进行自适应阈值分割；
对阈值分割后的左眼图像和右眼图像分别进行形态学开运算和闭运算；
对形态学运算后的左眼图像和右眼图像分别进行边缘提取；
对边缘提取后的左眼图像和右眼图像分别进行特征点立体匹配以及模板匹配，得到待焊接工件轮廓的二维信息和距离信息；
根据待焊接工件轮廓的二维信息和距离信息，建立以双目图像坐标系为父坐标系的工件坐标系；
根据所述工件坐标系与世界坐标系之间的转换，得到待焊接工件的空间位置信息；
S3：上位机根据所述待焊接工件的空间位置信息决定焊接起始点坐标，通过机器人控制器获取当前焊枪的位置坐标，所述上位机根据当前焊枪的位置坐标及开始点坐标信息规划焊枪的运动轨迹，得到轨迹规划结果；
S4：上位机将所述轨迹规划结果传送到机器人控制器中，所述机器人控制器对运动轴执行机构进行控制，将焊枪移动到焊接起始点；
S5：机器人控制器实时获取焊枪的位置信息，当确认焊枪移动到焊接起始点时，所述单目相机开始采集焊缝图像信息，并对所述焊缝图像进行单目视觉图像处理，得到焊缝的空间位置信息，然后根据机器人控制器获取的当前焊枪位置信息，得到当前采集的焊缝图像所对应的焊枪偏移量；
S6：上位机根据所述焊枪偏移量进行焊缝跟踪，对所述焊缝跟踪轨迹进行滤波、拟合，并实时计算跟踪点的位置信息，进行运动指令规划；
S7：上位机将所述运动指令规划传送到机器人控制器，所述机器人控制器根据其接收的运动指令规划对运动轴执行机构进行控制。
5.根据权利要求4所述的机器人自动焊接方法，其特征在于：所述S1步骤中，所述单目相机参数包括相机曝光时间、光圈、焦距以及FTP作业服务器参数，其中所述FTP作业服务器参数包括但不仅限于FTP服务器IP地址、端口号、用户名、密码。
6.根据权利要求4所述的机器人自动焊接方法，其特征在于：所述S1步骤中，所述单目相机进行单目标定的具体步骤如下：
打印出棋盘格标定板，用单目相机以不同角度拍摄棋盘格标定板图片，得到多角度的标定图片；对每一张标定图片，提取其角点信息，并根据所提取的角点信息进一步提取每一张标定图片的亚像素角点信息；根据所提取的角点信息和亚像素角点信息，在棋盘标定图上绘制找到的内角点，计算得到标定结果；
所述双目相机进行单目标定的具体步骤如下：
采用所述单目相机进行单目标定的方法对双目相机中的左眼镜头和右眼镜头分别进行单目标定，得到左眼镜头和右眼镜头的内参矩阵和畸变矩阵；打印出棋盘格标定板，用双目相机以不同角度拍摄棋盘格标定板图片，得到多角度的标定图片；对每一张标定图片，提取其角点信息，并根据所提取的角点信息进一步提取每一张标定图片的亚像素角点信息；根据所提取的角点信息和亚像素角点信息，在棋盘标定图上绘制找到的内角点，得到左眼镜头和右眼镜头的旋转矩阵和平移矩阵；根据所述左眼镜头和右眼镜头的旋转矩阵和平移矩阵，对标定图片进行裁剪，使其极线对齐。
7.根据权利要求4所述的机器人自动焊接方法，其特征在于：所述S3步骤中，所述上位机规划焊枪的运动轨迹的具体步骤如下：
上位机根据所述待焊接工件的空间位置信息，通过模板匹配精确定位工件，并在定位模板上预设工件焊接起点位置；
通过机器人控制器确定焊枪的当前坐标；
使用moveit！功能包对所述运动轴执行机构进行关节空间的轨迹规划，得到焊枪运动轨迹的轨迹规划结果，使焊枪移动到焊接起点。
8.根据权利要求4所述的机器人自动焊接方法，其特征在于：所述S5步骤中，所述单目视觉图像处理的具体步骤如下：
对所采集的图像根据单目相机标定参数进行矫正，得到单目相机矫正后的图像；
对矫正后的图像进行中值滤波；
对滤波后的图像进行直方图均衡化；
对直方图均衡化后的图像进行灰度处理；
对灰度处理后的图像进行自适应阈值分割；
对阈值分割后的图像进行形态学开运算和闭运算；
对形态学运算后的图像进行边缘提取；
对边缘提取后的图像进行直线拟合，得到焊缝的位置信息；
根据所述焊缝的位置信息，建立以单目图像坐标系为父坐标系的焊缝坐标系；
根据所述焊缝坐标系与世界坐标系之间的转换，以及双目相机测量得到的待焊接工件的空间位置信息，得到焊缝的空间位置信息。
9.根据权利要求8所述的机器人自动焊接方法，其特征在于：所述S6步骤中，所述上位机根据焊枪偏移量进行焊缝跟踪的具体步骤如下：
上位机根据所述焊缝的实时位置信息进行笛卡尔空间轨迹插值，并根据图像采集的频率对各焊缝图像所对应的焊枪偏移量进行划分，将得到的控制数据传输到机器人控制器，实现焊缝跟踪。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910802496.7A CN110539109B (zh) | 2019-08-28 | 2019-08-28 | 一种基于单双目视觉的机器人自动焊接系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910802496.7A CN110539109B (zh) | 2019-08-28 | 2019-08-28 | 一种基于单双目视觉的机器人自动焊接系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110539109A CN110539109A (zh) | 2019-12-06 |
| CN110539109B true CN110539109B (zh) | 2024-04-09 |
Family
ID=68712262
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910802496.7A Active CN110539109B (zh) | 2019-08-28 | 2019-08-28 | 一种基于单双目视觉的机器人自动焊接系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110539109B (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110977260B (zh) * | 2019-12-17 | 2021-08-17 | 易思维（杭州）科技有限公司 | 白车身的智能补焊系统及随动补焊方法 |
| CN111122581A (zh) * | 2019-12-25 | 2020-05-08 | 北京中远通科技有限公司 | 双目视觉检测系统、方法及喷胶装置 |
| CN111203655B (zh) * | 2020-01-16 | 2021-11-19 | 上海交通大学 | 一种激光焊接过程三维空间飞溅识别装置 |
| CN111673749B (zh) * | 2020-06-09 | 2021-06-08 | 深圳中集智能科技有限公司 | 视觉焊接机器人的调校方法及视觉焊接机器人 |
| CN112059363B (zh) * | 2020-09-30 | 2023-12-15 | 西安中科光电精密工程有限公司 | 一种基于视觉测量的无人爬壁焊接机器人及其焊接方法 |
| CN112276392A (zh) * | 2020-10-19 | 2021-01-29 | 太原科技大学 | 一种用于焊接的智能机器人通讯控制方法及其系统 |
| CN112782181B (zh) * | 2020-12-28 | 2022-01-14 | 吉林大学 | 一种基于双目视觉的车轴划痕检测测量系统及方法 |
| CN112958928A (zh) * | 2021-02-03 | 2021-06-15 | 湖南大学 | 一种智能焊接系统及方法 |
| CN112975955B (zh) * | 2021-02-03 | 2024-02-02 | 浙江明泉工业涂装有限公司 | 一种涂装生产线机器人视觉集成系统 |
| CN112562002B (zh) * | 2021-02-19 | 2021-06-04 | 季华实验室 | 焊缝跟踪点的滤波处理方法、装置、电子设备及存储介质 |
| CN112884848B (zh) * | 2021-03-05 | 2022-06-28 | 河北工业大学 | 一种基于双目视觉的智能天车控制系统、方法、终端 |
| CN113118604B (zh) * | 2021-04-23 | 2022-02-08 | 上海交通大学 | 基于机器人手眼视觉反馈的高精度凸焊误差补偿系统 |
| CN114101850B (zh) * | 2021-09-14 | 2023-08-01 | 福州大学 | 一种基于ros平台的智能化焊接系统及其工作方法 |
| CN114669932A (zh) * | 2021-12-16 | 2022-06-28 | 浙江大华技术股份有限公司 | 一种智能焊接方法及相关装置 |
| CN114460087A (zh) * | 2021-12-22 | 2022-05-10 | 上海智能制造功能平台有限公司 | 一种基于机器视觉的焊点缺陷检测系统和方法 |
| CN114005667B (zh) * | 2021-12-31 | 2022-03-15 | 华萃微感电子(江苏)有限公司 | 一种大功率电感的制造系统及工艺 |
| CN114952098A (zh) * | 2022-06-06 | 2022-08-30 | 中国科学院重庆绿色智能技术研究院 | 一种基于机器视觉引导的智能焊缝寻位系统及焊接机器人 |
| CN114986050B (zh) * | 2022-06-10 | 2023-04-07 | 山东大学 | 一种基于ros系统的焊接机器人系统及工作方法 |
| CN114782526B (zh) * | 2022-06-22 | 2022-09-02 | 季华实验室 | H型钢的焊缝轨迹计算方法、装置、电子设备及存储介质 |
| CN116810234B (zh) * | 2023-08-18 | 2024-02-02 | 中南大学 | 一种基于光总线进行控制及视觉识别的盖板封装设备 |
| CN117400256A (zh) * | 2023-11-21 | 2024-01-16 | 扬州鹏顺智能制造有限公司 | 一种基于视觉图像的工业机器人连续轨迹控制方法 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101486124A (zh) * | 2009-02-13 | 2009-07-22 | 南京工程学院 | 多结构光双目复合视觉焊缝跟踪方法及装置 |
| CN101745765A (zh) * | 2009-12-15 | 2010-06-23 | 哈尔滨工业大学 | 人机协作共享控制遥控焊接的方法 |
| CN103273171A (zh) * | 2013-05-24 | 2013-09-04 | 华南理工大学 | 波纹薄板角焊缝自动焊接中的视觉跟踪监测系统与方法 |
| CN203992877U (zh) * | 2014-08-12 | 2014-12-10 | 河北工业大学 | 薄钢板焊缝小特征点视觉跟踪与实时质量检测装置 |
| CN104708517A (zh) * | 2015-03-24 | 2015-06-17 | 北京理工大学 | 基于机器人操作系统ros的工业机器人自动磨抛系统 |
| CN105447877A (zh) * | 2015-12-13 | 2016-03-30 | 大巨龙立体科技有限公司 | 一种平行双摄像头立体标定的方法 |
| CN106392304A (zh) * | 2016-12-22 | 2017-02-15 | 河北省自动化研究所 | 一种激光辅助焊缝智能寻迹系统及方法 |
| CN106735749A (zh) * | 2016-12-22 | 2017-05-31 | 河北省自动化研究所 | 一种激光辅助焊缝智能寻迹系统 |
| CN106846468A (zh) * | 2017-01-25 | 2017-06-13 | 南京阿凡达机器人科技有限公司 | 一种基于ros系统的机械臂建模及运动规划实现方法 |
| CN107718046A (zh) * | 2017-10-24 | 2018-02-23 | 中广核研究院有限公司 | 用于水下焊接的机器人、机器人系统及作业方法 |
| CN211072355U (zh) * | 2019-08-28 | 2020-07-24 | 广东工业大学 | 一种基于单双目视觉的机器人自动焊接系统 |
-
2019
- 2019-08-28 CN CN201910802496.7A patent/CN110539109B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101486124A (zh) * | 2009-02-13 | 2009-07-22 | 南京工程学院 | 多结构光双目复合视觉焊缝跟踪方法及装置 |
| CN101745765A (zh) * | 2009-12-15 | 2010-06-23 | 哈尔滨工业大学 | 人机协作共享控制遥控焊接的方法 |
| CN103273171A (zh) * | 2013-05-24 | 2013-09-04 | 华南理工大学 | 波纹薄板角焊缝自动焊接中的视觉跟踪监测系统与方法 |
| CN203992877U (zh) * | 2014-08-12 | 2014-12-10 | 河北工业大学 | 薄钢板焊缝小特征点视觉跟踪与实时质量检测装置 |
| CN104708517A (zh) * | 2015-03-24 | 2015-06-17 | 北京理工大学 | 基于机器人操作系统ros的工业机器人自动磨抛系统 |
| CN105447877A (zh) * | 2015-12-13 | 2016-03-30 | 大巨龙立体科技有限公司 | 一种平行双摄像头立体标定的方法 |
| CN106392304A (zh) * | 2016-12-22 | 2017-02-15 | 河北省自动化研究所 | 一种激光辅助焊缝智能寻迹系统及方法 |
| CN106735749A (zh) * | 2016-12-22 | 2017-05-31 | 河北省自动化研究所 | 一种激光辅助焊缝智能寻迹系统 |
| CN106846468A (zh) * | 2017-01-25 | 2017-06-13 | 南京阿凡达机器人科技有限公司 | 一种基于ros系统的机械臂建模及运动规划实现方法 |
| CN107718046A (zh) * | 2017-10-24 | 2018-02-23 | 中广核研究院有限公司 | 用于水下焊接的机器人、机器人系统及作业方法 |
| CN211072355U (zh) * | 2019-08-28 | 2020-07-24 | 广东工业大学 | 一种基于单双目视觉的机器人自动焊接系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110539109A (zh) | 2019-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110539109B (zh) | 一种基于单双目视觉的机器人自动焊接系统及方法 | |
| CN110524580B (zh) | 一种焊接机器人视觉组件及其测量方法 | |
| CN111775146B (zh) | 一种工业机械臂多工位作业下的视觉对准方法 | |
| CN110125926B (zh) | 自动化的工件取放方法及系统 | |
| CN110245599A (zh) | 一种智能三维焊缝自主寻迹方法 | |
| CN111721259B (zh) | 基于双目视觉的水下机器人回收定位方法 | |
| CN113333998A (zh) | 一种基于协作机器人的自动化焊接系统及方法 | |
| CN103480991B (zh) | 一种薄钢板窄焊缝在线视觉检测与控制装置 | |
| CN111645074A (zh) | 一种机器人抓取定位方法 | |
| CN109702290B (zh) | 基于视觉识别的钢板坡口切割方法 | |
| CN108907526A (zh) | 一种具有高鲁棒性的焊缝图像特征识别方法 | |
| CN110293559B (zh) | 一种自动识别定位对准的安装方法 | |
| CN111784655B (zh) | 一种水下机器人回收定位方法 | |
| Chen et al. | A robust visual servo control system for narrow seam double head welding robot | |
| CN107160241B (zh) | 一种基于数控机床的视觉定位系统及方法 | |
| CN113146172A (zh) | 一种基于多视觉的检测与装配系统及方法 | |
| CN211028836U (zh) | 一种六轴工业机器人自动装配系统 | |
| CN113894481A (zh) | 复杂空间曲线焊缝的焊接位姿调整方法及装置 | |
| CN106735749A (zh) | 一种激光辅助焊缝智能寻迹系统 | |
| CN113798634A (zh) | 空间环形焊缝示教与焊缝跟踪方法、系统及设备 | |
| CN107571290B (zh) | 工业机器人末端执行器的校准装置、方法及系统 | |
| CN113689509A (zh) | 基于双目视觉的无序抓取方法、系统及存储介质 | |
| CN114654465A (zh) | 一种基于线激光结构光视觉传感的焊缝跟踪提取方法 | |
| CN211072355U (zh) | 一种基于单双目视觉的机器人自动焊接系统 | |
| CN208147131U (zh) | 一种六轴工业机器人线激光焊缝自动跟踪系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |