CN116689939A - 基于机器视觉的铝合金搅拌摩擦焊控制系统及控制方法 - Google Patents
基于机器视觉的铝合金搅拌摩擦焊控制系统及控制方法 Download PDFInfo
- Publication number
- CN116689939A CN116689939A CN202310622680.XA CN202310622680A CN116689939A CN 116689939 A CN116689939 A CN 116689939A CN 202310622680 A CN202310622680 A CN 202310622680A CN 116689939 A CN116689939 A CN 116689939A
- Authority
- CN
- China
- Prior art keywords
- welding
- image
- dimensional
- flash
- dimensional matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003466 welding Methods 0.000 title claims abstract description 170
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000003756 stirring Methods 0.000 title claims abstract description 36
- 229910000838 Al alloy Inorganic materials 0.000 title claims abstract description 24
- 230000007547 defect Effects 0.000 claims abstract description 49
- 230000008569 process Effects 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 114
- 239000011324 bead Substances 0.000 claims description 23
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 238000013139 quantization Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003825 pressing Methods 0.000 claims description 3
- 230000001502 supplementing effect Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000010998 test method Methods 0.000 claims description 3
- 230000008030 elimination Effects 0.000 abstract description 2
- 238000003379 elimination reaction Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 19
- 230000008859 change Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 229910052751 metal Inorganic materials 0.000 description 5
- 239000002184 metal Substances 0.000 description 5
- 150000002739 metals Chemical class 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 239000000956 alloy Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 229910000755 6061-T6 aluminium alloy Inorganic materials 0.000 description 2
- 229910045601 alloy Inorganic materials 0.000 description 2
- 229910052782 aluminium Inorganic materials 0.000 description 2
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000007797 corrosion Effects 0.000 description 2
- 238000005260 corrosion Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000003754 machining Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000002844 melting Methods 0.000 description 2
- 230000008018 melting Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007790 solid phase Substances 0.000 description 1
- 239000010935 stainless steel Substances 0.000 description 1
- 229910001220 stainless steel Inorganic materials 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K20/00—Non-electric welding by applying impact or other pressure, with or without the application of heat, e.g. cladding or plating
- B23K20/12—Non-electric welding by applying impact or other pressure, with or without the application of heat, e.g. cladding or plating the heat being generated by friction; Friction welding
- B23K20/122—Non-electric welding by applying impact or other pressure, with or without the application of heat, e.g. cladding or plating the heat being generated by friction; Friction welding using a non-consumable tool, e.g. friction stir welding
- B23K20/1245—Non-electric welding by applying impact or other pressure, with or without the application of heat, e.g. cladding or plating the heat being generated by friction; Friction welding using a non-consumable tool, e.g. friction stir welding characterised by the apparatus
- B23K20/1255—Tools therefor, e.g. characterised by the shape of the probe
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K20/00—Non-electric welding by applying impact or other pressure, with or without the application of heat, e.g. cladding or plating
- B23K20/26—Auxiliary equipment
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K2103/00—Materials to be soldered, welded or cut
- B23K2103/08—Non-ferrous metals or alloys
- B23K2103/10—Aluminium or alloys thereof
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Pressure Welding/Diffusion-Bonding (AREA)
Abstract
本发明公开了一种基于机器视觉的铝合金搅拌摩擦焊控制系统，包括：工业摩擦焊接机器人、工装夹具、工作台、处理器、图像采集器、温度采集器、距离测量器；图像采集器设置于工业摩擦焊接机器人的工作端；温度采集器设置于工业摩擦焊接机器人的工作端；工装夹具有两个，两个工装夹具相对设置在工作台上，对待焊物进行夹持；两组距离测量器分别水平设置于两个工装夹具内；两组距离测量器的测量端垂直朝向焊缝，并相对设置；处理器分别与图像采集器、温度采集器、距离测量器以及工业摩擦焊接机器人连接。本发明实现了完全自适应的基于机器视觉的搅拌摩擦焊接控制，整个焊接过程通过三维图像进行描述，能够实现自动识别并消除缺陷，填补了领域空白。
Description
技术领域
本发明涉及搅拌摩擦焊技术领域，具体涉及一种基于机器视觉的铝合金搅拌摩擦焊控制系统及控制方法。
背景技术
铝合金具有塑性好、耐腐蚀性好及密度小等特点，被广泛应用于航空肮天、船舶及汽车制造领域，其中铝合金与异种金属的焊接使用用途最为广泛，例如将铝合金与不锈钢焊接使用，产品既具有铝材的塑性好、密度小等特点，又具有钢的硬度高、耐腐蚀等特点。但是由于两种不同材质金属在材料性能方面存在明显差异，传统的焊接方式对其进行焊接时会出现裂纹气孔等焊接缺陷，甚至有些金属无法与铝材进行熔融焊接。搅拌摩擦焊(Friction Stir Welding,FSW)是一种新型固相焊接技术，其主要通过高温金属间的塑性流动实现连接，避免了传统熔化焊接所带来的裂纹等焊接缺陷，因而成为异种合金材料焊接的首选。
搅拌摩擦焊焊缝表面成形质量的优劣直接影响了焊缝的连接强度。近年来，国内外学者对于摩擦焊焊缝的焊接质量判断大多使用直接目视判断，且多为定性判断而缺少定量判断；也有使用超声相控阵的方法来对焊缝内部缺陷进行检测，利用超声波照射从而在设备上检测出焊缝的内部质量；也有使用分形维数计算的方式对焊缝表面进行定量检测或神经网络算法模型(CN114418933A基于YOLO的搅拌摩擦焊诊断方法、终端以及存储介质)，上述这些研究或只是局限于焊缝的质量定性判断，或只是进行焊缝焊接完成后的滞后定量检测，而未在焊接过程中通过已焊接部分的检测来对焊接设备做出实时自适应调整，从而优化后续焊接质量，仍有一定的局限性。在搅拌摩擦焊控制方面，现有的机器人摩擦焊接控制系统技术(公开号：CN104607795A机器人搅拌摩擦焊接系统及其力位并环混合控制方法)只是使用预设参数进行焊接，且在焊接过程中视觉传感器及位移传感器只起到实时监控采集图像功能，其控制逻辑本质上还是属于定参数定压力定轨迹闭环控制，无法识别缺陷并根据所获取缺陷实时自调整参数。
发明内容
本发明提供了一种基于机器视觉的铝合金搅拌摩擦焊控制系统及控制方法，以解决现有技术中无法实现搅拌摩擦焊接类加工中自适应控制加工的问题。
本发明提供了一种基于机器视觉的铝合金搅拌摩擦焊控制系统，包括：工业摩擦焊接机器人、工装夹具、工作台、处理器、图像采集器、温度采集器、距离测量器；
图像采集器设置于工业摩擦焊接机器人的工作端，图像采集器采集待焊物焊接点表面图像；
温度采集器设置于工业摩擦焊接机器人的工作端，温度采集器采集待焊物焊接点表面温度；
工装夹具有两个，两个工装夹具相对设置在工作台上，对待焊物进行夹持；
距离测量器有两组，两组距离测量器分别水平设置于两个工装夹具内，距离测量器的测量范围覆盖待焊物表面；两组距离测量器的测量端垂直朝向焊缝，并相对设置；距离测量器测量焊接过程中飞边高度、宽度；
处理器分别与图像采集器、温度采集器、距离测量器以及工业摩擦焊接机器人连接，处理器根据图像采集器、温度采集器、距离测量器采集的数据控制工业摩擦焊接机器人焊接。
进一步地，所述距离测量器为阵列式多点红外测距传感器。
本发明还提供了一种基于机器视觉的铝合金搅拌摩擦焊控制方法，适用于上述基于机器视觉的铝合金搅拌摩擦焊控制系统，控制方法包括如下步骤：
步骤1：当开始搅拌摩擦焊接时，采集焊点处的焊道图像以及焊接温度；
步骤2：对焊道图像进行预处理，将焊接温度形成灰度图像；
步骤3：将预处理的焊道图像与灰度图像合成含有焊接温度的二维图像；
步骤4：获取焊接飞边高度、宽度；
步骤5：将飞边高度、飞边宽度与二维图像合成含有焊接纹理、焊接温度、飞边数据的三维图像；
步骤6：通过训练好的卷积神经网络对三维图像进行卷积，当卷积神经网络判断存在焊接缺陷时，卷积神经网络输出焊接缺陷类型及焊接缺陷对应的量化参数；
步骤7：将焊接缺陷对应的量化参数以及焊接参数的优化量作为训练好的RBF神经网络的输入量，神经网络输出优化后的机器人各关节参数及对应的机器人控制指令；
其中，焊接参数的优化量获取方法为：
通过正交试验法构建转速、移动速度、轴向下压量的三维曲面，三维曲面上的每个点表示无焊接缺陷，
计算焊接缺陷对应的量化参数与预设的无焊接缺陷对应的量化参数的差值，将差值向三维曲面进行拟合，拟合过程中转速、移动速度、轴向下压量的变化量作为焊接参数的优化量；
步骤8：通过优化后的机器人控制指令控制工业摩擦焊接机器人焊接。
进一步地，所述步骤3的具体方法为：
将焊道图像转化为二维矩阵，将焊接温度形成灰度图像转化为二维矩阵，两个二维矩阵的行、列数相同，
构建二维图像的二维矩阵，其中，二维图像的二维矩阵的行、列数与焊道图像的二维矩阵行、列数相同，
二维图像的二维矩阵中的每个元素为通过相同行、列的焊道图像二维矩阵以及灰度图像二维矩阵中元素构成的具有两个元素的一维数组；
将二维图像的二维矩阵转化为二维图像。
进一步地，所述步骤4的具体方法为：
根据所述距离测量器输出的二维矩阵数据，二维矩阵数据中的列表示飞边高度，通过一列中非零数据的个数计算这一列像素中飞边的高度；二维矩阵数据中的数值表示飞边到距离测量器的距离，通过相同飞边高度的两侧距离测量器的数值差计算飞边宽度。
进一步地，所述步骤5的具体方法为：
将飞边高度、飞边宽度构成飞边的二维矩阵，其中，飞边的二维矩阵的列数与二维图像的二维矩阵行数相同；飞边的二维矩阵的行数表示飞边的高度系数；飞边的二维矩阵的元素表示飞边的宽度系数；
将飞边的二维矩阵中的非零元素所在列数与二维图像的二维矩阵的行数匹配，将飞边的二维矩阵中的非零元素的数值与二维图像的二维矩阵的列数匹配，寻找非零元素对应的二维图像的二维矩阵中的一维数组，将飞边的二维矩阵中非零元素所在行数与总行数的差值作为对应二维图像的二维矩阵中的一维数组的第三个元素；
对二维图像的二维矩阵中缺少第三个元素的一维数组补入第三个元素，完成三维图像合成。
进一步地，所述飞边的二维矩阵中，最后一行的元素均设为“0”。
进一步地，所述飞边的二维矩阵中，最后一行的元素均设为“1”，将飞边的二维矩阵中最后一行的元素对应的二维图像的二维矩阵的一维数组中的第三个元素设为“0”。
进一步地，所述步骤6中通过训练好的卷积神经网络对三维图像进行卷积时，分别对三维图像中的RGB色彩通道图像进行内积、对三维图像中的飞边高度、飞边宽度、焊接温度的数值根据阈值进行逻辑判断。
进一步地，所述步骤6中，每次卷积过程中的所述阈值根据每次卷积获取的新的RGB色彩通道图像进行确定。
进一步地，所述步骤7中，构建RBF神经网络的模型为：
式中，S为缺陷特征参数；J为机器人坐标与图像坐标系下求解出的雅各比矩阵；q为关节角度变化量；θ关节角速度。
本发明的有益效果：
本发明实现了完全自适应的基于机器视觉的搅拌摩擦焊接控制，整个焊接过程通过三维图像进行描述，通过对三维图像的处理能够实现自动识别并消除缺陷，控制方案在搅拌摩擦焊领域自动化焊接方面填补了空白，同时还能将各种缺陷信息直观展示给操作者，最后还建立了经验加工曲面，能够为后续加工是无法确定最优加工参数提供一定的参考意义。
本发明通过图像及温度采集，可以快速得到已焊接部位的焊接信息，且能够直观的展示给操作者；灰度转换降低后续图像合并及缺陷提取时的信息复杂程度，提高运算效率；将表面缺陷图像与温度灰度图像合并，能够将其转化为一组含有内矩阵的二维数学矩阵，将图像信息转化为了能够更精确被上位机处理的数字信息；将飞边数据与二维图像融合成三维图像，实现了缺陷特征的升维，将传统的2D信息转换成了更加直观的三维信息数字矩阵；CNN卷积神经网络处理过程中，对于矩阵内不同信息的所占权重与代表含义不同，分别进行了卷积和阈值判断，以此方式实现最大程度上的特征信息保留与提取；对飞边的二维矩阵中最后一行数据的特殊处理，可以有效避免焊缝根部反馈信号对后续卷积神经网络提取飞边缺陷特征参数时所带来的误差；通过建立三维曲面，采用拟合的方式获取焊接参数的优化量，实现目标控制量的确定，能够更加准确高效的实现焊接控制。
附图说明
通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
图1为本发明具体实施例的结构图；
图2为本发明具体实施例的流程图；
图3为本发明具体实施例中加工中获取图像；
图4为本发明具体实施例中红外测量整体图；
图5为本发明具体实施例中红外测量原理图；
图6为本发明具体实施例的控制系统图；
图7为本发明具体实施例中经验接工曲面图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了便于对本发明实施例的理解，下面将结合附图以具体实施例为例作进一步的解释说明，且各个实施例不构成对本发明实施例的限定。
如图1所示，本发明具体实施例提供了一种基于机器视觉的铝合金搅拌摩擦焊控制系统，主要是针对基于视觉的搅拌摩擦焊接机器人领域的控制，从图像上信息可以看出，在控制系统设计上包括：六自由度工业摩擦焊接机器人1、图像采集器2、焊接所用刀具3、温度采集器4、上位机处理系统5、红外距离测量器6、待焊物7和工作台8和工装夹具9；
图像采集器2设置于六自由度工业摩擦焊接机器人1的工作端，图像采集器采集待焊物7焊接点表面图像；
温度采集器设置于六自由度工业摩擦焊接机器人1的工作端，温度采集器采集待焊物7焊接点表面温度；
工装夹具9有两个，两个工装夹具9相对设置在工作台8上，对待焊物7进行夹持；
红外距离测量器6为阵列式多点红外测距传感器，其输出数据为一个矩阵，矩阵的大小与红外距离测量器6的分辨率相同。如图5所示，红外距离测量器6有两组，两组红外距离测量器6分别水平设置于两个工装夹具内，红外距离测量器6的测量范围覆盖待焊物7表面；两组红外距离测量器6的测量端在水面上垂直朝向焊缝，并相对设置；红外距离测量器测量6向焊缝方向发射测距红外，当红外光碰到飞边时会反射回红外距离测量器测量6的接收端，此时经过简单计算就可以获知飞边与红外距离测量器测量6之间的距离，由于是阵列式多点红外测距传感器，通过能接收到红外反射的高度就可以简单获取飞边的高度；
上位机处理系统5分别与图像采集器2、温度采集器4、红外距离测量器6以及六自由度工业摩擦焊接机器人1连接，上位机处理系统5根据图像采集器2、温度采集器4、红外距离测量器6采集的数据控制六自由度工业摩擦焊接机器人1焊接。
本发明实施例提供还提供了一种基于机器视觉的铝合金搅拌摩擦焊控制方法，其如图2所示，现以焊接一张厚度为10mm的6061-T6铝合金板材为例，对整体控制系统及方法加以详细说明。
控制方法包括如下步骤：
步骤1：当开始搅拌摩擦焊接时，采集焊点处的焊道图像以及焊接温度；
当启动焊接系统时，机器人焊接系统将以初始预设的焊接参数(主轴转速ω，移动速度v及轴向下压量S)开始焊接，同时图像采集器及温度采集器开始工作，获取刀具后方已经焊接完成部分的焊道表面缺陷图像以及其温度分布图像如图3所示；
步骤2：对焊道图像进行预处理，将焊接温度形成灰度图像；
上位机处理系统将获取到的温度图像及焊缝表面图像进行预处理，其主要工作包括对所采集图像的滤波降噪等前处理工作以及温度图像的转化标定。例如，对于图3位置的温度图像，其所获取到的是一张带有色彩分布的图像，其所对应的实际温度无法识别，需要对其进行灰度转换，其具体转换方法为首先对彩色温度场图像进行温度标定，以6061-T6铝合金的熔化温度600摄氏度为上限，0摄氏度为下限，将其实际测量温度T与所采集图像中对应位置色度Q进行匹配，求解出从图像色度到实际温度的对应关系T＝KQ，其中K为关系系数，同时将灰度图像中0-255灰度值与实际焊接中最大温度变化区间0-600摄氏度进行线性映射，得到灰度值W与温度T的关系W＝0.425T，此时即可得到从温度采集器获得图像到灰度图像的转换关系W＝0.425KQ，利用此关系，即可将温度图像转化为灰度图像，图像中每个位置的(x,y)处的灰度值即可代表此位置实际温度。经过处理，其外观缺陷图像矩阵与温度灰度矩阵分别如下用L1、L2矩阵表示：
上式中矩阵的行列数等于获取图像的像素点行列数，在本例中为了简明表示，取其中6*4大小的部分矩阵加以说明。
步骤3：将预处理的焊道图像与灰度图像合成含有焊道纹理、焊接温度的二维图像，具体的：
将焊道图像转化为二维矩阵，将焊接温度形成灰度图像转化为二维矩阵，两个二维矩阵的行、列数相同，
构建二维图像的二维矩阵，其中，二维图像的二维矩阵的行、列数与焊道图像的二维矩阵行、列数相同，
二维图像的二维矩阵中的每个元素为通过相同行、列的焊道图像二维矩阵以及灰度图像二维矩阵中元素构成的具有两个元素的一维数组；
将二维图像的二维矩阵转化为二维图像；
新获取的二维矩阵L3如下所示：
步骤4：获取焊接飞边高度、宽度；
根据所述距离测量器输出的二维矩阵数据，二维矩阵数据中的列表示飞边高度，通过一列中非零数据的个数计算这一列像素中飞边的高度；二维矩阵数据中的数值表示飞边到距离测量器的距离，通过相同飞边高度的两侧距离测量器的数值差计算飞边宽度；
具体为其发射端发射出多条红外光水平被焊缝对面接收部分接收，如图4及图5所示，其中由于缺陷的存在，部分信号会被遮挡反射回发射端，此时通过设计逻辑判断即可得出测量位置高度方向上缺陷变化情况，对于被对面接受的部分，在生成矩阵时被赋予0元素，对于反射回来的部分，则根据其反射回来信息求解出距离发射位置的水平及高度位置，其测量结果如矩阵L4所示：
步骤5：将飞边高度与二维图像合成含有飞边高度、飞边宽度、焊接温度的三维图像，具体的：
将飞边高度、飞边宽度构成飞边的二维矩阵，其中，飞边的二维矩阵的列数与二维图像的二维矩阵行数相同；飞边的二维矩阵的行数表示飞边的高度系数；飞边的二维矩阵的元素表示飞边的宽度系数；
将飞边的二维矩阵中的非零元素所在列数与二维图像的二维矩阵的行数匹配，将飞边的二维矩阵中的非零元素的数值与二维图像的二维矩阵的列数匹配，寻找非零元素对应的二维图像的二维矩阵中的一维数组，将飞边的二维矩阵中非零元素所在行数与总行数的差值作为对应二维图像的二维矩阵中的一维数组的第三个元素；
对二维图像的二维矩阵中缺少第三个元素的一维数组补入第三个元素，完成三维图像合成；
再次对前面所得到的二维图像矩阵L3与红外矩阵L4进行合并，得到包含所有缺陷信息的三维矩阵L5，同样以图3位置图像为例，其矩阵如下所示：
其中内部1*3矩阵分别代表了该焊道位置的纹理信息、温度信息及高度信息，对于1*3内部矩阵的第三项元素，如果为零表示在该(ni,mi)位置的飞边缺陷高度为0，即没有飞边。
步骤6：通过训练好的卷积神经网络对三维图像进行卷积，当卷积神经网络判断存在焊接缺陷时，卷积神经网络输出焊接缺陷类型及焊接缺陷对应的量化参数；
其中，通过训练好的卷积神经网络对三维图像进行卷积时，分别对三维图像中的RGB色彩通道图像进行内积、对三维图像中的飞边高度、飞边宽度、焊接温度的数值根据阈值进行逻辑判断；每次卷积过程中的所述阈值根据每次卷积获取的新的RGB色彩通道图像进行确定；
将此图像矩阵L5作为CNN(卷积神经网络)的输入，对其进行图像卷积提取其特征信息，其最终输出为一组缺陷特征参数S，S＝[S1,S2,...,Sp]T,其中各项Si，i∈(1，p)分别代表各类缺陷信息，如在本例中S1表示飞边高度，S2表示温度差值，S3表示沟槽深度等等，此图像矩阵L5的处理部分即为控制图图6中的特征提取模块，将其与预设的理想缺陷特征参数Sd＝[Sd1.Sd2,....Sdp]T进行对比，求出当前焊接状态下不合格的参数信息，将其发送给视觉控制处理模块。
步骤7：将焊接缺陷对应的量化参数以及焊接参数的优化量作为训练好的RBF神经网络的输入量，神经网络输出优化后的机器人各关节参数及对应的机器人控制指令；
其中，焊接参数的优化量获取方法为：
通过正交试验法构建转速、移动速度、轴向下压量的三维曲面如图7所示，三维曲面上的每个点表示无焊接缺陷，
三维曲面的建立需要预设可接受的Sd参数，通过人为控制两个加工参数变量，改变第三个参数进行实际加工，认为评判加工后焊道缺陷特征参数S是否符合Sd的方式来得到三维曲面在空间中的点，如果不符合，则舍弃该组参数。
计算焊接缺陷对应的量化参数与预设的无焊接缺陷对应的量化参数的差值，将差值向三维曲面进行拟合，拟合过程中转速、移动速度、轴向下压量的变化量作为焊接参数的优化量；
以前面由L5矩阵得到的S为例，其提取出来的缺陷特征参数S＝[1,68,4,0]T，预设的理想特征参数为Sd＝[1,20,2,0]T，此时的误差E＝[0,48,2,0]T，E＝[0,0,0,0]T即为控制目标，在图四的经验加工图中找到距离最近的理想E＝0曲面，计算出其所需要在经验加工三维空间中各轴向移动距离(△X,△Y,△Z)＝(△ω,△v,△S)，此信息即为需要RBF滑模控制器控制的目标参数。
构建RBF神经网络的模型为：
S＝Jq
e1＝q-qd
S代表缺陷特征，J为机器人坐标与图像坐标系下求解出的雅各比矩阵，q为关节角度变化
M代表惯性矩阵，C为科氏力与向心力矩阵，G为重力矩阵，τ为关节力矩，τd为外部干扰误差补偿
e1与e2为滑模控制率，qd为预期值
[A,B,C]分别代表纹理信息、温度信息及高度信息
步骤8：通过优化后的机器人控制指令控制工业摩擦焊接机器人焊接。
RBF滑模控制器的输出为控制机器人运动的各个轴关节变化角度q以及其变化速度θ。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种基于机器视觉的铝合金搅拌摩擦焊控制系统，其特征在于，包括：工业摩擦焊接机器人、工装夹具、工作台、处理器、图像采集器、温度采集器、距离测量器；
图像采集器设置于工业摩擦焊接机器人的工作端，图像采集器采集待焊物焊接点表面图像；
温度采集器设置于工业摩擦焊接机器人的工作端，温度采集器采集待焊物焊接点表面温度；
工装夹具有两个，两个工装夹具相对设置在工作台上，对待焊物进行夹持；
距离测量器有两组，两组距离测量器分别水平设置于两个工装夹具内，距离测量器的测量范围覆盖待焊物表面；两组距离测量器的测量端垂直朝向焊缝，并相对设置；距离测量器测量焊接过程中飞边高度、宽度；
处理器分别与图像采集器、温度采集器、距离测量器以及工业摩擦焊接机器人连接，处理器根据图像采集器、温度采集器、距离测量器采集的数据控制工业摩擦焊接机器人焊接。
2.如权利要求1所述的基于机器视觉的铝合金搅拌摩擦焊控制系统，其特征在于，所述距离测量器为阵列式多点红外测距传感器。
3.一种基于机器视觉的铝合金搅拌摩擦焊控制方法，适用于如权利要求1或2所述的基于机器视觉的铝合金搅拌摩擦焊控制系统，其特征在于，所述控制方法包括如下步骤：
步骤1：当开始搅拌摩擦焊接时，采集焊点处的焊道图像以及焊接温度；
步骤2：对焊道图像进行预处理，将焊接温度形成灰度图像；
步骤3：将预处理的焊道图像与灰度图像合成含有焊接温度的二维图像；
步骤4：获取焊接飞边高度、宽度；
步骤5：将飞边高度、飞边宽度与二维图像合成含有焊接纹理、焊接温度、飞边数据的三维图像；
步骤6：通过训练好的卷积神经网络对三维图像进行卷积，当卷积神经网络判断存在焊接缺陷时，卷积神经网络输出焊接缺陷类型及焊接缺陷对应的量化参数；
步骤7：将焊接缺陷对应的量化参数以及焊接参数的优化量作为训练好的RBF神经网络的输入量，神经网络输出优化后的机器人各关节参数及对应的机器人控制指令；
其中，焊接参数的优化量获取方法为：
通过正交试验法构建转速、移动速度、轴向下压量的三维曲面，三维曲面上的每个点表示无焊接缺陷，
计算焊接缺陷对应的量化参数与预设的无焊接缺陷对应的量化参数的差值，将差值向三维曲面进行拟合，拟合过程中转速、移动速度、轴向下压量的变化量作为焊接参数的优化量；
步骤8：通过优化后的机器人控制指令控制工业摩擦焊接机器人焊接。
4.如权利要求3所述的基于机器视觉的铝合金搅拌摩擦焊控制方法，其特征在于，所述步骤3的具体方法为：
将焊道图像转化为二维矩阵，将焊接温度形成灰度图像转化为二维矩阵，两个二维矩阵的行、列数相同，
构建二维图像的二维矩阵，其中，二维图像的二维矩阵的行、列数与焊道图像的二维矩阵行、列数相同，
二维图像的二维矩阵中的每个元素为通过相同行、列的焊道图像二维矩阵以及灰度图像二维矩阵中元素构成的具有两个元素的一维数组；
将二维图像的二维矩阵转化为二维图像。
5.如权利要求3所述的基于机器视觉的铝合金搅拌摩擦焊控制方法，其特征在于，所述步骤4的具体方法为：
根据所述距离测量器输出的二维矩阵数据，二维矩阵数据中的列表示飞边高度，通过一列中非零数据的个数计算这一列像素中飞边的高度；二维矩阵数据中的数值表示飞边到距离测量器的距离，通过相同飞边高度的两侧距离测量器的数值差计算飞边宽度。
6.如权利要求3所述的基于机器视觉的铝合金搅拌摩擦焊控制方法，其特征在于，所述步骤5的具体方法为：
将飞边高度、飞边宽度构成飞边的二维矩阵，其中，飞边的二维矩阵的列数与二维图像的二维矩阵行数相同；飞边的二维矩阵的行数表示飞边的高度系数；飞边的二维矩阵的元素表示飞边的宽度系数；
将飞边的二维矩阵中的非零元素所在列数与二维图像的二维矩阵的行数匹配，将飞边的二维矩阵中的非零元素的数值与二维图像的二维矩阵的列数匹配，寻找非零元素对应的二维图像的二维矩阵中的一维数组，将飞边的二维矩阵中非零元素所在行数与总行数的差值作为对应二维图像的二维矩阵中的一维数组的第三个元素；
对二维图像的二维矩阵中缺少第三个元素的一维数组补入第三个元素，完成三维图像合成。
7.如权利要求6所述的基于机器视觉的铝合金搅拌摩擦焊控制方法，其特征在于，所述飞边的二维矩阵中，最后一行的元素均设为“0”，
或，所述飞边的二维矩阵中，最后一行的元素均设为“1”，将飞边的二维矩阵中最后一行的元素对应的二维图像的二维矩阵的一维数组中的第三个元素设为“0”。
8.如权利要求3所述的基于机器视觉的铝合金搅拌摩擦焊控制方法，其特征在于，所述步骤6中通过训练好的卷积神经网络对三维图像进行卷积时，分别对三维图像中的RGB色彩通道图像进行内积、对三维图像中的飞边高度、飞边宽度、焊接温度的数值根据阈值进行逻辑判断。
9.如权利要求8所述的基于机器视觉的铝合金搅拌摩擦焊控制方法，其特征在于，所述步骤6中，每次卷积过程中的所述阈值根据每次卷积获取的新的RGB色彩通道图像进行确定。
10.如权利要求3所述的基于机器视觉的铝合金搅拌摩擦焊控制方法，其特征在于，所述步骤7中，构建RBF神经网络的模型为：
式中，S为缺陷特征参数；J为机器人坐标与图像坐标系下求解出的雅各比矩阵；q为关节角度变化量；θ关节角速度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310622680.XA CN116689939A (zh) | 2023-05-30 | 2023-05-30 | 基于机器视觉的铝合金搅拌摩擦焊控制系统及控制方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310622680.XA CN116689939A (zh) | 2023-05-30 | 2023-05-30 | 基于机器视觉的铝合金搅拌摩擦焊控制系统及控制方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116689939A true CN116689939A (zh) | 2023-09-05 |
Family
ID=87824977
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310622680.XA Pending CN116689939A (zh) | 2023-05-30 | 2023-05-30 | 基于机器视觉的铝合金搅拌摩擦焊控制系统及控制方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116689939A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116930194A (zh) * | 2023-09-14 | 2023-10-24 | 张家港思复安全科技有限公司 | 一种搅拌摩擦焊的缺陷检测系统、方法、电子设备和介质 |
-
2023
- 2023-05-30 CN CN202310622680.XA patent/CN116689939A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116930194A (zh) * | 2023-09-14 | 2023-10-24 | 张家港思复安全科技有限公司 | 一种搅拌摩擦焊的缺陷检测系统、方法、电子设备和介质 |
| CN116930194B (zh) * | 2023-09-14 | 2023-12-08 | 张家港思复安全科技有限公司 | 一种搅拌摩擦焊的缺陷检测系统、方法、电子设备和介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108088390B (zh) | 一种焊接检测中基于双目线结构光的光条中心三维坐标获取方法 | |
| CN110370286B (zh) | 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法 | |
| CN111537517B (zh) | 一种无人智能化冲压缺陷识别方法 | |
| CN108031844B (zh) | 一种在线逐层检测的增减材复合制造方法 | |
| CN107214703B (zh) | 一种基于视觉辅助定位的机器人自标定方法 | |
| CN108489986B (zh) | 一种增材制造在线检测及修复方法 | |
| CN105458462B (zh) | 一种变间隙梯形焊缝多参数同步视觉检测跟踪方法 | |
| CN116689939A (zh) | 基于机器视觉的铝合金搅拌摩擦焊控制系统及控制方法 | |
| CN112518072B (zh) | 一种基于线结构光视觉的空间相贯曲线焊缝结构建模方法 | |
| CN110220481B (zh) | 手持式视觉检测设备及其位姿检测方法 | |
| JPH07119585B2 (ja) | 加工品表面からプロセスパラメータを決定するる方法 | |
| CN111702054B (zh) | 一种曲板渐进成形在位调形检测系统及方法 | |
| CN108344693B (zh) | 一种面向自动焊接的薄板焊缝错边量视觉测量方法 | |
| CN110093601B (zh) | 一种激光熔覆实时测厚及反馈的方法及装置 | |
| CN114152677B (zh) | 一种复杂模锻件超声波自动检测装置 | |
| CN110849882A (zh) | 一种用于识别、定位、检测管道焊缝的设备及方法 | |
| CN112238292A (zh) | 一种基于视觉的搅拌摩擦焊机器人空间曲线轨迹跟踪方法 | |
| CN114043045A (zh) | 一种基于激光视觉的圆孔自动塞焊方法及装置 | |
| CN113932710B (zh) | 一种复合式视觉刀具几何参数测量系统及方法 | |
| CN111397529A (zh) | 一种基于双目视觉结构光的复杂表面形状检测方法 | |
| CN113814331B (zh) | 一种汽车生产线异型钣金件智能检测方法 | |
| CN107843602B (zh) | 一种基于图像的焊缝质量检测方法 | |
| US20140347438A1 (en) | Triangulation-based, 3-d method and system for imaging the outer peripheral surface of a part | |
| CN115014205B (zh) | 塔盘的视觉检测方法、检测系统及其引导自动化焊接系统 | |
| CN114682917B (zh) | 一种单道多层埋弧焊激光-磁控电弧复合式焊缝跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |