CN114905507A - 一种基于环境视觉分析的焊接机器人精度控制方法 - Google Patents
一种基于环境视觉分析的焊接机器人精度控制方法 Download PDFInfo
- Publication number
- CN114905507A CN114905507A CN202210405433.XA CN202210405433A CN114905507A CN 114905507 A CN114905507 A CN 114905507A CN 202210405433 A CN202210405433 A CN 202210405433A CN 114905507 A CN114905507 A CN 114905507A
- Authority
- CN
- China
- Prior art keywords
- welding
- stripe image
- image
- node
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003466 welding Methods 0.000 title claims abstract description 243
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000004458 analytical method Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 50
- 238000000605 extraction Methods 0.000 claims abstract description 23
- 230000007246 mechanism Effects 0.000 claims abstract description 13
- 238000005457 optimization Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000008878 coupling Effects 0.000 claims description 14
- 238000010168 coupling process Methods 0.000 claims description 14
- 238000005859 coupling reaction Methods 0.000 claims description 14
- 230000007613 environmental effect Effects 0.000 claims description 9
- 238000003062 neural network model Methods 0.000 claims description 9
- 210000002569 neuron Anatomy 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 238000001994 activation Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012706 support-vector machine Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 230000002441 reversible effect Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000005284 excitation Effects 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 238000003491 array Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000002401 inhibitory effect Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Robotics (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Manipulator (AREA)
- Numerical Control (AREA)
Abstract
本发明属于焊接机器人控制技术领域，公开了一种基于环境视觉分析的焊接机器人精度控制方法，采集焊接目标环境周边的焊缝条纹图像，并进行预处理，得到预处理后的焊缝条纹图像；对焊缝条纹图像进行焊缝特征识别提取获得焊缝条纹图像信息，将预处理后的焊缝条纹图像匹配的焊缝条纹图像信息通过无线发送至图像处理模块，图像处理模块对焊缝条纹图像进行提取和计算，优化处理得出焊接规划路径，将焊接规划路径反馈至和焊机机器人的控制中心；控制中心按照计算的结果发送指令至焊机机器人的末端执行机构，调整焊接机器人各关节位置。本发明便于焊接机器人能实时获取焊接的周边环境信息，准确规划出焊接路径，提高了焊接效率和精度。
Description
技术领域
本发明属于焊接机器人控制技术领域，尤其涉及一种基于环境视觉分析的焊接机器人精度控制方法。
背景技术
焊接机器人是从事焊接(包括切割与喷涂)的工业机器人。根据国际标准化组织(ISO)工业机器人属于标准焊接机器人的定义，工业机器人是一种多用途的、可重复编程的自动控制操作机(Manipulator)，具有三个或更多可编程的轴，用于工业自动化领域。
现有技术一，CN201810126801.0一种可提高焊接精度的自动焊接设备，本发明公开了一种可提高焊接精度的自动焊接设备，涉及焊接自动化领域，以解决现有技术中无法保证精密器件中金属薄片的焊接精度要求的缺点；其包括基座和设置在基座上的龙门机构以及配合设置在龙门机构上的焊接机构，焊接机构分别通过沿X轴方向、Y轴方向和Z轴方向移动的X轴行走组件、Y轴行走组件和Z轴行走组件驱动，焊接机构包括焊枪以及驱动焊枪分别沿X轴转动的X轴转动组件和沿Y轴转动的Y轴转动组件，焊枪上设有激光跟踪系统和光谱共焦传感器，激光跟踪系统包括激光器和监控镜头。通过实施本技术方案，可灵活的焊接不同的金属薄片，并可对精密器件加工生产过程中的金属薄片精确焊接，保证精密器件中金属薄片的焊接精度要求。
现有技术二，CN202110890468.2一种提高异形工件焊接精度的焊接装置及焊接方法，本发明公开了一种提高异形工件焊接精度的焊接装置及焊接方法，其提高异形工件焊接精度的焊接装置包括安装架，所述安装架的顶部滑动连接有对称设置的第一外壳，所述第一外壳的数量为两个，第一外壳的顶部滑动连接有第二外壳，所述第二外壳的后侧开设有矩形通孔，所述第一外壳的内壁上固定安装有第一电机，所述第一电机输出轴上套设有第一连接套，本发明通过设置两个电机，第一电机和第二电机，第一电机用于带动第一外壳垂直移动，第二电机用于带动第二电机水平移动，第二外壳就可带动两个异形工件的焊接点进行对接，第一外壳和第二外壳在移动过后还可自动进行定位，来更好的对异形工件进行焊接。
通过上述分析，现有技术存在的问题及缺陷为：焊接机器人的焊接精度不高，在焊接机器人焊接中，常出现焊接严重不良的问题。
发明内容
针对现有技术存在的问题，本发明提供了一种基于环境视觉分析的焊接机器人精度控制方法。
本发明是这样实现的，一种基于环境视觉分析的焊接机器人精度控制方法，包括：
采集焊接目标环境周边的焊缝条纹图像，并进行预处理，得到预处理后的焊缝条纹图像
对焊缝条纹图像进行焊缝特征识别提取获得焊缝条纹图像信息，将预处理后的焊缝条纹图像匹配的焊缝条纹图像信息通过无线发送至图像处理模块，所述图像处理模块对所述焊缝条纹图像进行提取和计算，优化处理得出焊接规划路径，将所述焊接规划路径反馈至和焊机机器人的控制中心；
所述控制中心按照所述计算的结果发送指令至所述焊机机器人的末端执行机构，调整所述焊接机器人的各关节位置。
可选的，所述预处理，具体包括：
获取焊缝条纹图像，并对所述焊缝条纹图像进行灰度化处理，得到对应的灰度化处理的焊缝条纹图像；
基于所述灰度化处理的焊缝条纹图像中每一个像素点，将R通道像素值与R通道加权值的乘积、G通道像素值与G通道加权值的乘积以及B通道像素值与B通道加权值的乘积相加以获取针对的像素点的灰度值，采用高斯滤波算法对该图像像素点将图像窗口的固有变差和图像窗口总变差结合起来，形成结构-纹理分解正则化器，进行平滑处理，得到由平滑后的所述灰度化处理的焊缝条纹图像中的所有图像像素点组成的平滑处理的焊缝条纹图像；
对所述平滑处理的焊缝条纹图像进行图像增强处理，平滑处理的焊缝条纹图像采用图像增强模型进行有监督的模型训练，得到图像增强的焊缝条纹图像，包括纹理和颜色。
可选的，所述焊缝特征识别提取包含：区域划分、提取中心线、提取交点、提取圆弧的宽度和提取圆弧的高度。
可选的，所述区域划分包括：对于增强处理的焊缝条纹图像区域中的像素点执行支持向量机SVM区域划分算法，得到每个像素点的区域划分结果概率数据；
划分概率大于0.9的像素点认为其划分结果正确，归入已正确划分区域；对于归入已正确划分区域的像素点，并显示区域划分结果。
可选的，所述提取中心线和提取交点包括：把区域划分结果的不同区域内的像素点进行拟合得到拟合曲线，得到拟合直线的角度，按角度不同，按行或列方向提取所有的灰度值大于预定阈值的像素点，随机选取每行的像素点使用最小中值法进行直线拟合，得到的最小中值进行判断是否小于预定的阈值，若小于，则选取该直线为提取的中心线；对两个区域按上述处理后，得到的两条直线的中心线，计算出两条线的交点。
可选的，所述提取圆弧的宽度和提取圆弧的高度包括：对求取的两条线的交点分别沿着检测到的两条直线的方向上搜索像素点，待分别搜索到连续的像素点后，分别取第一次搜索到灰度值大于阈值的像素点为端点，两个端点的距离为圆弧的宽度，以作两端点的垂线，将垂线从一个端点平移到另外一个端点，期间检测垂线上的像素点，并确定像素点到垂线的距离，比较检测到的像素点到垂线的距离，求出最大的像素点到垂线的距离，该最大的像素点到垂线的距离即为圆弧的高度。
可选的，对焊缝条纹图像进行焊缝特征识别提取获得焊缝条纹图像信息，将预处理后的焊缝条纹图像匹配的焊缝条纹图像信息通过无线发送至图像处理模块，包括：
输入含噪声与所述焊缝条纹图像匹配的焊缝条纹图像信息；
利用脉冲耦合神经网络检测与所述焊缝条纹图像匹配的焊缝条纹图像信息的噪点；产生脉冲耦合神经元输入信号与输出信号比较的0或1信息；形成噪声标志矩阵，实现噪声像素点和信号像素点的分类；
对与所述焊缝条纹图像匹配的焊缝条纹图像信息受到密度较小的脉冲噪声污染采用自适应加权滤波；
与所述焊缝条纹图像匹配的焊缝条纹图像信息受到密度较大的脉冲噪声污染，采用保持边缘细节信息的引入双结构元素数学形态学进行二次滤波。
可选的，所述图像处理模块对所述焊缝条纹图像进行提取和计算，优化处理得出焊接规划路径具体包括：
获取与所述焊缝条纹图像匹配的焊缝条纹图像信息；
使用高斯滤波器对条纹图像进行平滑处理，像素点一阶偏导数的灰度差分近似计算梯度幅值大小和方向；
采用非极大抑制梯度幅值的方法进行边缘的细化，设置双阈值处理条纹图像，对边缘进行检测和连接；
分别检测每个条纹图像的圆弧，然后利用圆弧的半径和弦长信息计算圆弧对应的圆心角，进行识别并标注为路标，获取路标的位置信息，利用所获得的路标位置信息，通过成像原理实现图像坐标系，得到焊接路径起始点的像素坐标，并确定焊接路径的走向。
可选的，所示优化处理得出焊接规划路径包括：
设置A为蚁群算法进行搜索焊接规划路径的初始节点，蚁群算法搜索到的焊接规划路径为依次首尾相连的若干个线段；
依次将初始节点A与其后不在同一条线段的所有节点连接，指定相连的另一个节点为Bf，f为非零自然数；
判断初始节点A与另一个节点Bf组成的焊接规划路径是否穿越了障碍栅格，如果所有的初始节点A与Bf组成的焊接规划路径中都经过障碍栅格，则令初始节点A为当前节点的下一节点，返回依次将初始节点A与其后不在同一条线段的所有节点连接，指定相连的另一个节点为Bf，f为非零自然数，否则执行将绕过障碍栅格的A与Bf组成的焊接规划路径的中间连接节点删除，判断Bf节点是否为终点；
将绕过障碍栅格的A与Bf组成的焊接规划路径的中间连接节点删除，判断Bf节点是否为终点，若是则执行依次连接没有被删除的各节点形成新焊接规划路径代替蚁群算法生成的焊接规划路径，结束算法，否则令A为当前节点的下一节点，继续执行依次将初始节点A与其后不在同一条线段的所有节点连接，指定相连的另一个节点为Bf，f为非零自然数；
依次连接没有被删除的各节点形成新焊接规划路径代替蚁群算法生成的焊接规划路径。
可选的，所述图像处理模块对所述条纹图像采用脉冲耦合神经网络模型对条纹图像进行检测；脉冲耦合神经网络模型对条纹图像进行检测时，利用网络特性使灰度为Sijmax的像素点火激活，再进行脉冲耦合神经网络迭代处理，把介于[Sijmax/1+βijLij,Sijmax]间的像素捕获激活，使两次激活的像素点对应的Yij输出为1；然后对原噪声污染条纹图像反白处理，再对处理后的条纹图像Sij按前述进行迭代处理，并使对应的输出Yij＝1，利用条纹图像噪声像素与周围像素相关性小，灰度差别大特性，当一个神经元的激发没有引起所在区域附近大多数神经元的激发时，就说明该神经元对应像素可能是噪声点。
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明采集焊接环境周边的图像信息并进行预处理，便于焊接机器人能实时获取焊接的周边环境信息，准确的规划出焊接路径，提高了焊接效率和精度。本发明根据规划的焊接路径直接控制焊接机器人的相关机构，实现了高精度的焊接操作，提高了焊接机器人的智能化水平，焊接的实时性好，操作性强，为高质量的焊接奠定了技术基础；同时有利于企业提升产品的质量。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于环境视觉分析的焊接机器人精度控制方法的流程图；
图2是本发明实施例提供的采集焊接目标环境周边的图像信息，并进行预处理流程图；
图3是本发明实施例提供的焊接规划路径的优化处理方法流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1：
如图1所示，本发明实施例提供的基于环境视觉分析的焊接机器人精度控制方法包括以下步骤：
S101：采集焊接目标环境周边的焊缝条纹图像，并进行预处理，得到预处理后的焊缝条纹图像；
S102：对焊缝条纹图像进行焊缝特征识别提取获得焊缝条纹图像信息，将预处理后的焊缝条纹图像匹配的焊缝条纹图像信息通过无线发送至图像处理模块，所述图像处理模块对所述焊缝条纹图像进行提取和计算，优化处理得出焊接规划路径，将所述焊接规划路径反馈至和焊机机器人的控制中心；
S103：所述控制中心按照所述计算的结果发送指令至所述焊机机器人的末端执行机构，调整所述焊接机器人的各关节位置。
本发明采集焊接环境周边的图像信息并进行预处理，便于焊接机器人能实时获取焊接的周边环境信息，准确的规划出焊接路径，提高了焊接效率和精度。本发明根据规划的焊接路径直接控制焊接机器人的相关机构，实现了高精度的焊接操作，提高了焊接机器人的智能化水平，焊接的实时性好，操作性强，为高质量的焊接奠定了技术基础；同时有利于企业提升产品的质量。
实施例2：
如图2所示，在实施例1的基础上，本发明实施例提供的采集焊接目标环境周边的图像信息，并进行预处理，具体包括：
S201：获取焊缝条纹图像，并对所述焊缝条纹图像进行灰度化处理，得到对应的灰度化处理的焊缝条纹图像；
S202：基于所述灰度化处理的焊缝条纹图像中每一个像素点，将R通道像素值与R通道加权值的乘积、G通道像素值与G通道加权值的乘积以及B通道像素值与B通道加权值的乘积相加以获取针对的像素点的灰度值，采用高斯滤波算法对该图像像素点将图像窗口的固有变差和图像窗口总变差结合起来，形成结构-纹理分解正则化器，进行平滑处理，得到由平滑后的所述灰度化处理的焊缝条纹图像中的所有图像像素点组成的平滑处理的焊缝条纹图像；
S203：对所述平滑处理的焊缝条纹图像进行图像增强处理，平滑处理的焊缝条纹图像采用图像增强模型进行有监督的模型训练，得到图像增强的焊缝条纹图像，包括纹理和颜色。
本发明通过对焊缝的图像进行处理，包含灰度化处理、平滑处理、增强处理和焊缝特征识别提取，能够在很好的保护图像细节和图像清晰度的情况下，能够对图像中的环形伪影有比较好的抑制作用，提高了焊缝条纹图像的准确度和清晰度，增加了焊缝跟踪识别的精度，提高了焊接机器人的自动焊接的效率。
实施例3：
在实施例2的基础上，本发明实施例提供的焊缝特征识别提取包含：区域划分、提取中心线、提取交点、提取圆弧的宽度和提取圆弧的高度；
区域划分：对于增强处理的焊缝条纹图像区域中的像素点执行支持向量机SVM区域划分算法，得到每个像素点的区域划分结果概率数据；
划分概率大于0.9的像素点认为其划分结果正确，归入已正确划分区域；对于归入已正确划分区域的像素点，并显示区域划分结果；
提取中心线、提取交点：把区域划分结果的不同区域内的像素点进行拟合得到拟合曲线，得到拟合直线的角度，按角度不同，按行或列方向提取所有的灰度值大于预定阈值的像素点，随机选取每行的像素点使用最小中值法进行直线拟合，得到的最小中值进行判断是否小于预定的阈值，若小于，则选取该直线为提取的中心线；对两个区域按上述处理后，得到的两条直线的中心线，计算出两条线的交点；
提取圆弧的宽度和提取圆弧的高度，对求取的两条线的交点分别沿着检测到的两条直线的方向上搜索像素点，待分别搜索到连续的像素点后，分别取第一次搜索到灰度值大于阈值的像素点为端点，两个端点的距离为圆弧的宽度，以作两端点的垂线，将垂线从一个端点平移到另外一个端点，期间检测垂线上的像素点，并确定像素点到垂线的距离，比较检测到的像素点到垂线的距离，求出最大的像素点到垂线的距离，该最大的像素点到垂线的距离即为圆弧的高度。
本发明的区域划分，得到准确的焊缝条纹图像的区域划分结果，为获取准确的焊缝轨迹点，避免出现焊枪碰撞的现象，提高焊缝实时跟踪的准确性，提高了焊接质量，提高了焊接机器人的自动化精度控制水平。本发明的焊缝特征识别提取包含：区域划分、提取中心线、提取交点、提取圆弧的宽度和提取圆弧的高度，对焊缝的图像特征进行了处理，便于焊接机器人获取准确和清晰度较高的焊缝条纹图像，能够得到与预处理后的焊缝条纹图像匹配的焊缝条纹图像信息，为图像处理模块对所述条纹图像进行提取和计算奠定数据基础。
实施例4：
在实施例2的基础上，本发明实施例提供的对焊缝条纹图像进行焊缝特征识别提取获得焊缝条纹图像信息，将预处理后的焊缝条纹图像匹配的焊缝条纹图像信息通过无线发送至图像处理模块，包括：
输入含噪声与所述焊缝条纹图像匹配的焊缝条纹图像信息；
利用脉冲耦合神经网络检测与所述焊缝条纹图像匹配的焊缝条纹图像信息的噪点；产生脉冲耦合神经元输入信号与输出信号比较的0或1信息；形成噪声标志矩阵，实现噪声像素点和信号像素点的分类；
对与所述焊缝条纹图像匹配的焊缝条纹图像信息受到密度较小的脉冲噪声污染采用自适应加权滤波；
与所述焊缝条纹图像匹配的焊缝条纹图像信息受到密度较大的脉冲噪声污染，采用保持边缘细节信息的引入双结构元素数学形态学进行二次滤波。
本发明图像处理模块对预处理的与所述焊缝条纹图像匹配的焊缝条纹图像信息进行了滤波处理，提高了焊缝条纹图像信息的清晰度，利于图像处理模块对所述条纹图像进行提取和计算，为最终优化处理得出焊接规划路径提供了技术基础，有利于提高焊接机器人的焊接精度，保证了焊接的质量和品质。
实施例5：
在实施例1的基础上，本发明实施例提供的所述图像处理模块对所述焊缝条纹图像进行提取和计算，优化处理得出焊接规划路径具体包括：
获取与所述焊缝条纹图像匹配的焊缝条纹图像信息；
使用高斯滤波器对条纹图像进行平滑处理，像素点一阶偏导数的灰度差分近似计算梯度幅值大小和方向；
采用非极大抑制梯度幅值的方法进行边缘的细化，设置双阈值处理条纹图像，对边缘进行检测和连接；
分别检测每个条纹图像的圆弧，然后利用圆弧的半径和弦长信息计算圆弧对应的圆心角，进行识别并标注为路标，获取路标的位置信息，利用所获得的路标位置信息，通过成像原理实现图像坐标系，得到焊接路径起始点的像素坐标，并确定焊接路径的走向。
本发明通过使用高斯滤波器对条纹图像进行平滑处理，像素点一阶偏导数的灰度差分近似计算梯度幅值大小和方向；采用非极大抑制梯度幅值的方法进行边缘的细化，设置双阈值处理条纹图像，对边缘进行检测和连接，得到了清晰的边缘图像；本发明分别检测每个条纹图像的圆弧，然后利用圆弧的半径和弦长信息计算圆弧对应的圆心角，进行识别并标注为路标，获取路标的位置信息，利用所获得的路标位置信息，通过成像原理实现图像坐标系，得到焊接路径起始点的像素坐标，并确定焊接路径的走向，为实现焊接过程的自主示教奠定基础。
实施例6：
如图3所示，在实施例1的基础上，本发明实施例提供的焊接规划路径的优化处理方法包括：
S301：设置A为蚁群算法进行搜索焊接规划路径的初始节点，蚁群算法搜索到的焊接规划路径为依次首尾相连的若干个线段；
S302：依次将初始节点A与其后不在同一条线段的所有节点连接，指定相连的另一个节点为Bf，f为非零自然数；
S303：判断初始节点A与另一个节点Bf组成的焊接规划路径是否穿越了障碍栅格，如果所有的初始节点A与Bf组成的焊接规划路径中都经过障碍栅格，则令初始节点A为当前节点的下一节点，返回步骤S302，否则执行步骤S304；
S304：将绕过障碍栅格的A与Bf组成的焊接规划路径的中间连接节点删除，判断Bf节点是否为终点，若是则执行步骤S305，结束算法，否则令A为当前节点的下一节点，继续执行步骤S302；
S305：依次连接没有被删除的各节点形成新焊接规划路径代替蚁群算法生成的焊接规划路径。
本发明通过对焊接规划路径的优化处理，提高对焊接的未知环境的自适应性的准确性和有效性，加快了收敛速度和最优路径的搜索速度；将所述焊接规划路径反馈至和焊机机器人的控制中心；所述控制中心按照所述计算的结果发送指令至所述焊机机器人的末端执行机构，调整所述焊接机器人的各关节位置，提高了焊接机器人的焊接精度，能够有效提高焊接的质量。
实施例7：
在实施例1的基础上，本发明实施例提供的图像处理模块对所述条纹图像采用脉冲耦合神经网络模型对条纹图像进行检测；所述脉冲耦合神经网络模型为：
Fij[n]＝Sij；
Uij[n]＝Fij[n](1+βij[n]Lij[n])；
θij[n]＝θ0e-αθ(n-1)；
其中，βij[n]为自适应链接强度系数；
Sij、Fij[n]、Lij[n]、Uij[n]、θij[n]、Yij[n]分别为输入条纹图像信号、反馈输入、链接输入、内部活动项、动态阈值及两次激活的像素点脉冲，Yab[n]为条纹图像的信号点；Nw为所选待处理窗口W中的像素总数，a,b为待处理窗口W中的对象，Δ为调节系数，选取1～3；Sab为滤波窗口中对应像素的灰度值；
脉冲耦合神经网络模型对条纹图像进行检测时，利用网络特性使灰度为Sijmax的像素点火激活，再进行脉冲耦合神经网络迭代处理，把介于[Sijmax/1+βijLij,Sijmax]间的像素捕获激活，使两次激活的像素点对应的Yij输出为1；然后对原噪声污染条纹图像反白处理，再对处理后的条纹图像Sij按前述进行迭代处理，并使对应的输出Yij＝1，利用条纹图像噪声像素与周围像素相关性小，灰度差别大特性，当一个神经元的激发没有引起所在区域附近大多数神经元的激发时，就说明该神经元对应像素可能是噪声点；
初步甄别出Yij＝0对应的像素点为条纹图像的信号点，予以保护；对Yij输出为1的像素点在3*3模板B范围内统计以输出Yij＝1为中心邻域元素值为1的个数NY判别归类：1≤NY≤8，为噪声点，当NY＝9，判定为条纹图像像素点。
本发明采用模块对所述条纹图像采用脉冲耦合神经网络模型对条纹图像进行检测，对条纹图像的噪声点处理，为图像处理模块对所述条纹图像进行提取和计算，优化处理得出焊接规划路径提供了准确的条纹图像；本发明使用的脉冲耦合神经网络模型能从复杂背景下提取有效信息，具有同步脉冲发放和全局耦合等特性，其信号形式和处理机制更符合人类视觉神经系统的生理学基础。
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述，仅为本发明较优的具体的实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于环境视觉分析的焊接机器人精度控制方法，其特征在于，包括：
采集焊接目标环境周边的焊缝条纹图像，并进行预处理，得到预处理后的焊缝条纹图像；
对焊缝条纹图像进行焊缝特征识别提取获得焊缝条纹图像信息，对焊缝条纹图像进行焊缝特征识别提取获得焊缝条纹图像信息，将预处理后的焊缝条纹图像匹配的焊缝条纹图像信息通过无线发送至图像处理模块，所述图像处理模块对所述焊缝条纹图像进行提取和计算，优化处理得出焊接规划路径，将所述焊接规划路径反馈至和焊机机器人的控制中心；
所述控制中心按照所述计算的结果发送指令至所述焊机机器人的末端执行机构，调整所述焊接机器人的各关节位置。
2.如权利要求1所述的基于环境视觉分析的焊接机器人精度控制方法，其特征在于，所述预处理，具体包括：
获取焊缝条纹图像，并对所述焊缝条纹图像进行灰度化处理，得到对应的灰度化处理的焊缝条纹图像；
基于所述灰度化处理的焊缝条纹图像中每一个像素点，将R通道像素值与R通道加权值的乘积、G通道像素值与G通道加权值的乘积以及B通道像素值与B通道加权值的乘积相加以获取针对的像素点的灰度值，采用高斯滤波算法对该图像像素点将图像窗口的固有变差和图像窗口总变差结合起来，形成结构-纹理分解正则化器，进行平滑处理，得到由平滑后的所述灰度化处理的焊缝条纹图像中的所有图像像素点组成的平滑处理的焊缝条纹图像；
对所述平滑处理的焊缝条纹图像进行图像增强处理，平滑处理的焊缝条纹图像采用图像增强模型进行有监督的模型训练，得到图像增强的焊缝条纹图像，包括纹理和颜色。
3.如权利要求2所述的基于环境视觉分析的焊接机器人精度控制方法，其特征在于，所述焊缝特征识别提取包含：区域划分、提取中心线、提取交点、提取圆弧的宽度和提取圆弧的高度。
4.如权利要求3所述的基于环境视觉分析的焊接机器人精度控制方法，其特征在于，所述区域划分包括：对于增强处理的焊缝条纹图像区域中的像素点执行支持向量机SVM区域划分算法，得到每个像素点的区域划分结果概率数据；
划分概率大于0.9的像素点认为其划分结果正确，归入已正确划分区域；对于归入已正确划分区域的像素点，并显示区域划分结果。
5.如权利要求3所述的基于环境视觉分析的焊接机器人精度控制方法，其特征在于，所述提取中心线和提取交点包括：把区域划分结果的不同区域内的像素点进行拟合得到拟合曲线，得到拟合直线的角度，按角度不同，按行或列方向提取所有的灰度值大于预定阈值的像素点，随机选取每行的像素点使用最小中值法进行直线拟合，得到的最小中值进行判断是否小于预定的阈值，若小于，则选取该直线为提取的中心线；对两个区域按上述处理后，得到的两条直线的中心线，计算出两条线的交点。
6.如权利要求3所述的基于环境视觉分析的焊接机器人精度控制方法，其特征在于，所述提取圆弧的宽度和提取圆弧的高度包括：对求取的两条线的交点分别沿着检测到的两条直线的方向上搜索像素点，待分别搜索到连续的像素点后，分别取第一次搜索到灰度值大于阈值的像素点为端点，两个端点的距离为圆弧的宽度，以作两端点的垂线，将垂线从一个端点平移到另外一个端点，期间检测垂线上的像素点，并确定像素点到垂线的距离，比较检测到的像素点到垂线的距离，求出最大的像素点到垂线的距离，该最大的像素点到垂线的距离即为圆弧的高度。
7.如权利要求1所述的基于环境视觉分析的焊接机器人精度控制方法，其特征在于，对焊缝条纹图像进行焊缝特征识别提取获得焊缝条纹图像信息，将预处理后的焊缝条纹图像匹配的焊缝条纹图像信息通过无线发送至图像处理模块，包括：
输入含噪声与所述焊缝条纹图像匹配的焊缝条纹图像信息；
利用脉冲耦合神经网络检测与所述焊缝条纹图像匹配的焊缝条纹图像信息的噪点；产生脉冲耦合神经元输入信号与输出信号比较的0或1信息；形成噪声标志矩阵，实现噪声像素点和信号像素点的分类；
对与所述焊缝条纹图像匹配的焊缝条纹图像信息受到密度较小的脉冲噪声污染采用自适应加权滤波；
与所述焊缝条纹图像匹配的焊缝条纹图像信息受到密度较大的脉冲噪声污染，采用保持边缘细节信息的引入双结构元素数学形态学进行二次滤波。
8.如权利要求1所述的基于环境视觉分析的焊接机器人精度控制方法，其特征在于，所述图像处理模块对所述焊缝条纹图像进行提取和计算，优化处理得出焊接规划路径具体包括：
获取与所述焊缝条纹图像匹配的焊缝条纹图像信息；
使用高斯滤波器对条纹图像进行平滑处理，像素点一阶偏导数的灰度差分近似计算梯度幅值大小和方向；
采用非极大抑制梯度幅值的方法进行边缘的细化，设置双阈值处理条纹图像，对边缘进行检测和连接；
分别检测每个条纹图像的圆弧，然后利用圆弧的半径和弦长信息计算圆弧对应的圆心角，进行识别并标注为路标，获取路标的位置信息，利用所获得的路标位置信息，通过成像原理实现图像坐标系，得到焊接路径起始点的像素坐标，并确定焊接路径的走向。
9.如权利要求1所述的基于环境视觉分析的焊接机器人精度控制方法，其特征在于，所示优化处理得出焊接规划路径包括：
设置A为蚁群算法进行搜索焊接规划路径的初始节点，蚁群算法搜索到的焊接规划路径为依次首尾相连的若干个线段；
依次将初始节点A与其后不在同一条线段的所有节点连接，指定相连的另一个节点为Bf，f为非零自然数；
判断初始节点A与另一个节点Bf组成的焊接规划路径是否穿越了障碍栅格，如果所有的初始节点A与Bf组成的焊接规划路径中都经过障碍栅格，则令初始节点A为当前节点的下一节点，返回依次将初始节点A与其后不在同一条线段的所有节点连接，指定相连的另一个节点为Bf，f为非零自然数，否则执行将绕过障碍栅格的A与Bf组成的焊接规划路径的中间连接节点删除，判断Bf节点是否为终点；
将绕过障碍栅格的A与Bf组成的焊接规划路径的中间连接节点删除，判断Bf节点是否为终点，若是则执行依次连接没有被删除的各节点形成新焊接规划路径代替蚁群算法生成的焊接规划路径，结束算法，否则令A为当前节点的下一节点，继续执行依次将初始节点A与其后不在同一条线段的所有节点连接，指定相连的另一个节点为Bf，f为非零自然数；
依次连接没有被删除的各节点形成新焊接规划路径代替蚁群算法生成的焊接规划路径。
10.如权利要求1所述的基于环境视觉分析的焊接机器人精度控制方法，其特征在于，所述图像处理模块对所述条纹图像采用脉冲耦合神经网络模型对条纹图像进行检测；脉冲耦合神经网络模型对条纹图像进行检测时，利用网络特性使灰度为Sijmax的像素点火激活，再进行脉冲耦合神经网络迭代处理，把介于[Sijmax/1+βijLij,Sijmax]间的像素捕获激活，使两次激活的像素点对应的Yij输出为1；然后对原噪声污染条纹图像反白处理，再对处理后的条纹图像Sij按前述进行迭代处理，并使对应的输出Yij＝1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210405433.XA CN114905507A (zh) | 2022-04-18 | 2022-04-18 | 一种基于环境视觉分析的焊接机器人精度控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210405433.XA CN114905507A (zh) | 2022-04-18 | 2022-04-18 | 一种基于环境视觉分析的焊接机器人精度控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114905507A true CN114905507A (zh) | 2022-08-16 |
Family
ID=82765732
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210405433.XA Pending CN114905507A (zh) | 2022-04-18 | 2022-04-18 | 一种基于环境视觉分析的焊接机器人精度控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114905507A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115984283A (zh) * | 2023-03-21 | 2023-04-18 | 山东中济鲁源机械有限公司 | 一种钢筋笼焊接质量智能检测方法 |
| CN116030098A (zh) * | 2023-03-27 | 2023-04-28 | 齐鲁工业大学(山东省科学院) | 一种基于方向特征驱动的焊缝目标跟踪方法及系统 |
| CN116197521A (zh) * | 2023-05-04 | 2023-06-02 | 德中(深圳)激光智能科技有限公司 | 一种高精度激光设备的控制方法、系统及介质 |
| CN116423005A (zh) * | 2023-06-14 | 2023-07-14 | 苏州松德激光科技有限公司 | 一种提高焊接精度的锡焊工艺优化方法及系统 |
| CN116449853A (zh) * | 2023-06-14 | 2023-07-18 | 济宁龙纳智能科技有限公司 | 一种叉车式agv的路径规划方法 |
| CN117086374A (zh) * | 2023-09-20 | 2023-11-21 | 深圳市洪昕德立科技有限公司 | 一种基于3d视觉优化加工路径的铸件去毛刺加工方法 |
| CN117745718A (zh) * | 2024-02-19 | 2024-03-22 | 工业云制造(四川)创新中心有限公司 | 一种基于云制造的信息交互方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010003289A1 (zh) * | 2008-07-11 | 2010-01-14 | 中国科学院沈阳自动化研究所 | 一种使机器人高精度跟踪指定路径的设备和方法 |
| CN104732500A (zh) * | 2015-04-10 | 2015-06-24 | 天水师范学院 | 脉冲耦合神经网络中药材显微图像噪声滤除系统及方法 |
| CN109226967A (zh) * | 2018-07-25 | 2019-01-18 | 同高先进制造科技（太仓）有限公司 | 一种用于激光-电弧复合焊的主动激光视觉稳健焊缝跟踪系统 |
| CN109598720A (zh) * | 2018-12-07 | 2019-04-09 | 北京博清科技有限公司 | 焊缝信息获取方法、装置及焊缝图像采集设备 |
| CN110328674A (zh) * | 2019-07-19 | 2019-10-15 | 东莞理工学院 | 一种激光切割机器人 |
| CN110989612A (zh) * | 2019-12-17 | 2020-04-10 | 哈工大机器人（合肥）国际创新研究院 | 一种基于蚁群算法的机器人路径规划方法及装置 |
| CN113723494A (zh) * | 2021-08-25 | 2021-11-30 | 武汉理工大学 | 一种不确定干扰源下激光视觉条纹分类及焊缝特征提取方法 |
-
2022
- 2022-04-18 CN CN202210405433.XA patent/CN114905507A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010003289A1 (zh) * | 2008-07-11 | 2010-01-14 | 中国科学院沈阳自动化研究所 | 一种使机器人高精度跟踪指定路径的设备和方法 |
| CN104732500A (zh) * | 2015-04-10 | 2015-06-24 | 天水师范学院 | 脉冲耦合神经网络中药材显微图像噪声滤除系统及方法 |
| CN109226967A (zh) * | 2018-07-25 | 2019-01-18 | 同高先进制造科技（太仓）有限公司 | 一种用于激光-电弧复合焊的主动激光视觉稳健焊缝跟踪系统 |
| CN109598720A (zh) * | 2018-12-07 | 2019-04-09 | 北京博清科技有限公司 | 焊缝信息获取方法、装置及焊缝图像采集设备 |
| CN110328674A (zh) * | 2019-07-19 | 2019-10-15 | 东莞理工学院 | 一种激光切割机器人 |
| CN110989612A (zh) * | 2019-12-17 | 2020-04-10 | 哈工大机器人（合肥）国际创新研究院 | 一种基于蚁群算法的机器人路径规划方法及装置 |
| CN113723494A (zh) * | 2021-08-25 | 2021-11-30 | 武汉理工大学 | 一种不确定干扰源下激光视觉条纹分类及焊缝特征提取方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115984283A (zh) * | 2023-03-21 | 2023-04-18 | 山东中济鲁源机械有限公司 | 一种钢筋笼焊接质量智能检测方法 |
| CN116030098A (zh) * | 2023-03-27 | 2023-04-28 | 齐鲁工业大学(山东省科学院) | 一种基于方向特征驱动的焊缝目标跟踪方法及系统 |
| CN116197521A (zh) * | 2023-05-04 | 2023-06-02 | 德中(深圳)激光智能科技有限公司 | 一种高精度激光设备的控制方法、系统及介质 |
| CN116423005A (zh) * | 2023-06-14 | 2023-07-14 | 苏州松德激光科技有限公司 | 一种提高焊接精度的锡焊工艺优化方法及系统 |
| CN116449853A (zh) * | 2023-06-14 | 2023-07-18 | 济宁龙纳智能科技有限公司 | 一种叉车式agv的路径规划方法 |
| CN116449853B (zh) * | 2023-06-14 | 2023-08-15 | 济宁龙纳智能科技有限公司 | 一种叉车式agv的路径规划方法 |
| CN116423005B (zh) * | 2023-06-14 | 2023-10-31 | 苏州松德激光科技有限公司 | 一种提高焊接精度的锡焊工艺优化方法及系统 |
| CN117086374A (zh) * | 2023-09-20 | 2023-11-21 | 深圳市洪昕德立科技有限公司 | 一种基于3d视觉优化加工路径的铸件去毛刺加工方法 |
| CN117745718A (zh) * | 2024-02-19 | 2024-03-22 | 工业云制造(四川)创新中心有限公司 | 一种基于云制造的信息交互方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114905507A (zh) | 一种基于环境视觉分析的焊接机器人精度控制方法 | |
| Li et al. | Automatic welding seam tracking and identification | |
| CN109035204B (zh) | 一种焊缝目标实时检测方法 | |
| Kiddee et al. | An automated weld seam tracking system for thick plate using cross mark structured light | |
| Bdiwi et al. | Autonomous disassembly of electric vehicle motors based on robot cognition | |
| CN110315525A (zh) | 一种基于视觉引导的机器人工件抓取方法 | |
| Kim et al. | A robust visual seam tracking system for robotic arc welding | |
| CN108907526A (zh) | 一种具有高鲁棒性的焊缝图像特征识别方法 | |
| Ye et al. | A robust algorithm for weld seam extraction based on prior knowledge of weld seam | |
| CN112529858A (zh) | 一种基于机器视觉的焊缝图像处理方法 | |
| CN113369761B (zh) | 一种基于视觉引导机器人焊缝定位的方法及系统 | |
| Zou et al. | Research on a real-time pose estimation method for a seam tracking system | |
| CN114714355A (zh) | 自主移动焊接机器人嵌入式视觉跟踪控制系统 | |
| CN113319859B (zh) | 一种机器人示教方法、系统、装置及电子设备 | |
| CN113828892B (zh) | 基于hdr图像的熔池中心识别系统及焊缝跟踪方法 | |
| CN114851209B (zh) | 一种基于视觉的工业机器人工作路径规划优化方法及系统 | |
| Liu et al. | Seam tracking system based on laser vision and CGAN for robotic multi-layer and multi-pass MAG welding | |
| CN116833645A (zh) | 基于移动机器人的焊缝自主识别与焊接方法及系统 | |
| CN116542914A (zh) | 基于3d点云的焊缝提取与拟合方法 | |
| Shi et al. | Efficient weld seam detection for robotic welding based on local image processing | |
| Gao et al. | An automatic assembling system for sealing rings based on machine vision | |
| CN116475563A (zh) | 一种深度学习三维焊缝跟踪方法及装置 | |
| He et al. | Weld seam profile extraction of T-joints based on orientation saliency for path planning and seam tracking | |
| Yang et al. | Recognition of initial welding position for large diameter pipeline based on pulse coupled neural network | |
| Rao et al. | Tracing a weld line using artificial neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220816 |