CN112529103A - 一种基于双向熔池几何及纹理特征融合的熔透识别方法 - Google Patents
一种基于双向熔池几何及纹理特征融合的熔透识别方法 Download PDFInfo
- Publication number
- CN112529103A CN112529103A CN202011556910.XA CN202011556910A CN112529103A CN 112529103 A CN112529103 A CN 112529103A CN 202011556910 A CN202011556910 A CN 202011556910A CN 112529103 A CN112529103 A CN 112529103A
- Authority
- CN
- China
- Prior art keywords
- molten pool
- image
- degrees
- penetration
- geometric
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000035515 penetration Effects 0.000 title claims abstract description 71
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000004927 fusion Effects 0.000 title claims abstract description 25
- 230000002457 bidirectional effect Effects 0.000 title claims abstract description 24
- 238000003466 welding Methods 0.000 claims abstract description 47
- 230000001360 synchronised effect Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 11
- 230000000007 visual effect Effects 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000012935 Averaging Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 11
- 239000006185 dispersion Substances 0.000 claims description 8
- 238000003062 neural network model Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 239000000284 extract Substances 0.000 abstract 1
- 238000012544 monitoring process Methods 0.000 abstract 1
- 239000000155 melt Substances 0.000 description 8
- 238000012549 training Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 229910000838 Al alloy Inorganic materials 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000010891 electric arc Methods 0.000 description 3
- XKRFYHLGVUSROY-UHFFFAOYSA-N Argon Chemical compound [Ar] XKRFYHLGVUSROY-UHFFFAOYSA-N 0.000 description 2
- 239000007789 gas Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 229910000975 Carbon steel Inorganic materials 0.000 description 1
- 229910052786 argon Inorganic materials 0.000 description 1
- 239000010953 base metal Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000010962 carbon steel Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Pure & Applied Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
一种基于双向熔池几何及纹理特征融合的熔透识别方法，涉及焊接熔池图像的实时传感、图像信息提取和基于熔池图像信息的熔透识别方法。本发明利用双向同步视觉传感系统从熔池后上方和侧上方获取清晰、同步的熔池图像，然后对双向熔池图像进行图像处理，提取后上方熔池图像的几何特征和侧上方熔池图像的纹理特征信息，并基于此建立RBF熔透识别模型，利用实时熔池图像预判熔透状态，经由控制器反馈给焊机实现熔透控制。本发明利用焊接过程中实时传感采集的双向同步熔池图像中提取的几何特征和纹理特征，较仅基于单向熔池图像几何信息的熔透识别模型更为准确，可广泛应用于熔焊质量的非接触式在线信息传感、监测和熔透控制。
Description
技术领域
本发明属于焊接质量在线传感和智能控制领域，具体说的是一种基于双向熔池几何与纹理特征融合的熔透识别方法。
背景技术
熔透控制是实现焊接质量控制的重点，实现熔透控制的前提是能够获得准确反映熔透状态的焊接过程信息。目前能够反映熔透状态的信息包括焊接温度分布、熔池振荡、电弧声信息、电压电流信息、视觉信息等，其中视觉信息最为直观。
目前基于熔池图像的熔透控制研究大多集中于单向或多向熔池图像几何特征信息的提取，并基于此进行熔透控制。事实上，熔池图像内部信息丰富，除了几何信息之外，图像的纹理特征信息能够综合反映图像的灰度分布和细节变化，但目前基于熔池图像纹理特征的熔透控制研究较少。CN200710175859利用焊缝区和母材区的纹理特征的差异识别焊缝区域，确定焊缝边缘，该研究主要针对多层焊盖面焊前的焊缝识别问题，拍摄的是凝固后的焊缝图像，并未对焊接过程中的熔池图像以及熔池图像纹理特征能否反映熔透质量进行研究。文献[1]《铝合金双丝PMIG焊熔池视觉特征规律及表面形态三维重构》中提出了基于单向熔池图像几何和纹理特征的熔透识别，分别选用BP神经网络和RBF神经网络进行熔透识别，两种模型均把后上方熔池的几何特征和部分纹理特征作为输入量，存在的问题是BP神经网络容易陷入局部极小化，需要多次训练才能得到正确率较高的熔透识别模型，RBF神经网络熔透识别时正确率高于BP神经网络熔透识别模型，存在的问题是几何特征参数较多，提取速度较慢且误差较大，纹理特征参数较少，不能全面反映熔池图像特征，导致该模型多次测试获得的正确率不稳定，计算精度较低。两种熔透识别模型最大的不足是仅仅利用了后上方熔池图像的几何特征和纹理特征信息，侧上方熔池图像的信息并未加以利用。
众所周知，对接时焊枪正下方为熔池区域，但由于传感条件所限，从后上方进行熔池视觉传感时焊枪遮挡了部分电弧和熔池信息，而焊工在焊接过程中兼顾后方和侧面熔池、电弧等综合信息后对焊接质量进行预判，从而实时控制焊接质量，侧面熔池图像中包含的电弧形态、熔池流动状态及邻近区域的灰度变化比后方熔池图像更丰富直观，而纹理特征与其周围的灰度变化规律密切相关，不仅能够反映灰度的分布特征，也反映同样亮度或接近灰度的像素之间的位置分布特性，与焊接质量密切相关，但目前针对侧面熔池图像纹理特征与焊接质量之间关系的研究明显不足。
发明内容
为解决上述技术问题，本发明提供一种基于双向熔池几何与纹理特征融合的熔透识别方法，较仅利用单向熔池图像特征进行识别的方法训练迭代次数更少，计算精度更高，预测的熔透状态正确率更高，识别模型更稳定。
为实现上述技术目的，所采用的技术方案是：一种基于双向熔池几何与纹理特征融合的熔透识别方法，该方法针对焊接过程中的熔池从后上方和侧上方两个角度进行实时、同步视觉传感，对后上方角度获得的熔池图像进行二值图像处理，得到后上方熔池图像的几何特征参数；基于侧上方熔池图像的灰度共生矩阵，定义并提取侧上方熔池图像的纹理特征参数，将后上方熔池图像的几何特征参数和侧上方熔池图像的纹理特征参数作为输入量，将未熔透、熔透和过熔透三种特征作为输出量，建立RBF神经网络模型，对熔透状态进行识别。
熔池图像从熔池后上方和侧上方实时同步获取，双摄像机通过外触发模式实现同步采集，后上方熔池图像最佳传感角度为摄像机轴线与水平面夹角30-40°，侧上方熔池图像最佳传感角度为摄像机轴线与水平面夹角10-20°。
后上方熔池图像的几何特征参数包括后上方熔池图像中提取的熔池宽度 W、熔池抛物线系数α和熔池分散度D。
熔池宽度W指熔池图像轮廓最宽值，抛物线系数α指熔池尾部向熔池宽度的张开幅度，熔池分散度D指熔池周长C的平方与熔池面积S的比值。
熔池宽度W、熔池抛物线系数α和熔池分散度D的具体计算方法是：对后上方熔池图像进行中值滤波、灰度拉伸、形态学处理和轮廓提取，得到二值图像，对二值图像轮廓进行逐行扫描，记下每行左、右端点位置，每行左右端点间距中的最大值即为熔池宽度W，记录熔池宽度W的左右端点坐标，然后逐列扫描，记下二值图像轮廓中每列上下端点间距最大位置的下部端点(xb，yb)，通过熔池宽度W的左右端点和(xb，yb)三个点的曲线进行抛物线拟合，获得的系数即为熔池抛物线系数α，对每行熔池宽度累加求和，即为熔池面积S，将提取的二值图像轮廓上的所有像素数之和记为熔池周长C，计算得到熔池分散度D＝C2/S。
侧上方熔池图像的纹理特征是指从侧上方获取的熔池图像中提取的平均能量AVG_ASM、平均熵AVG_ENT、平均对比度AVG_CON和平均逆差矩 AVG_IDM，计算步骤如下：
步骤一：设在θ方向上，相隔距离d的一对像素分别具有灰度值i和j出现的概率，记为p(i,j,d,θ)，设f(x,y)为图像像素坐标(x,y)的点所对应的灰度值，M和 N分别为图像行和列的维数，则任意一对像素对(x1,y1)和(x2,y2)在0°、45°、90°和 135°四个方向上的共生矩阵分别按式(1)-(4)计算：
其中#(X)表示集合X中的元素个数；
步骤二：依据步骤一，分别按式(5)-(8)计算侧上方熔池图像在0°、45°、90°和135°方向上的能量ASM、图像熵ENT、对比度CON和逆差矩IDM，其中G表示图像灰度级；
步骤三：将步骤二获得的0°、45°、90°和135°四个方向上的能量ASM求平均值，获得侧上方熔池图像的纹理特征参数之一平均能量AVG_ASM；
步骤四：将步骤二获得0°、45°、90°和135°四个方向上的图像熵ENT求平均值，获得侧上方熔池图像的纹理特征参数之二平均图像熵AVG_ENT；
步骤五：将步骤二获得0°、45°、90°和135°四个方向上的对比度CON求平均值，获得侧上方熔池图像的纹理特征参数之三平均对比度AVG_CON；
步骤六：将步骤二获得0°、45°、90°和135°四个方向上的逆差矩IDM求平均值，获得侧上方熔池图像的纹理特征参数之四平均逆差矩AVG_IDM。
本发明有益效果是：
(1)本发明利用后上方和侧上方同步传感采集到的熔池图像中提取的几何特征和纹理特征信息，较仅利用单向或多向视觉传感获得的几何信息更全面；
(2)本发明首次将侧上方熔池图像的纹理特征信息用于熔透状态识别，尤其是侧上方图像提取的纹理特征信息在反映熔透状态时比后上方信息的准确度更高；
(3)本发明进行图像纹理信息提取时不需要预处理，计算速度快，可批量处理；
(4)本发明建立的RBF熔透识别模型更稳定，平均正确率更高，可以用于碳钢、铝合金等材料熔焊过程中的熔透控制。
附图说明
图1为熔池双向实时同步视觉传感系统示意图；
图2为不同熔透状态下后上方和侧上方获取的同步熔池图像图；
图3为后上方熔池图像处理及几何特征参数提取步骤示意图；
图4为现有技术中基于RBF神经网络模型的熔透识别系统训练收敛图；
图5为本发明的基于RBF神经网络模型的熔透识别系统训练收敛图；
图6为本发明基于双向熔池几何与纹理特征融合的RBF熔透识别模型的输出预测图。
具体实施方式
下面结合具体实施例进一步说明本发明的技术方案。
一种基于双向熔池几何与纹理特征融合的熔透识别方法，该方法针对焊接过程中的熔池从后上方和侧上方两个角度进行实时、同步视觉传感，对后上方角度获得的熔池图像进行中值滤波、灰度拉伸、形态学处理、轮廓提取和特征提取，得到后上方熔池图像的几何特征参数；基于侧上方熔池图像的灰度共生矩阵，定义并提取侧上方熔池图像的纹理特征参数，将后上方熔池图像的几何特征参数和侧上方熔池图像的纹理特征参数作为输入量，将未熔透、熔透和过熔透三种特征作为输出量，建立RBF神经网络模型，对熔透状态进行识别。
熔池图像从熔池后上方和侧上方实时同步获取，双摄像机通过外触发模式实现同步采集，后上方熔池图像最佳传感角度为摄像机轴线与水平面夹角30-40°，侧上方熔池图像最佳传感角度为摄像机轴线与水平面夹角10-20°。
后上方熔池图像的几何特征参数包括后上方熔池图像中提取的熔池宽度 W、熔池抛物线系数α和熔池分散度D。
熔池宽度W指熔池图像轮廓最宽值，抛物线系数α指熔池尾部向熔池宽度的张开幅度，熔池分散度D指熔池周长C的平方与面积S的比值。
熔池宽度W、熔池抛物线系数α和熔池分散度D的具体计算方法是：对后上方熔池图像进行中值滤波、灰度拉伸、形态学处理和轮廓提取，得到二值图像，对二值图像轮廓进行逐行扫描，记下每行左、右端点位置，每行左右端点间距中的最大值即为熔池宽度W，记录熔池宽度W的左右端点坐标，然后逐列扫描，记下二值图像轮廓中每列上下端点间距最大位置的下部端点(xb，yb)，通过熔池宽度W的左右端点和(xb，yb)三个点的曲线进行抛物线拟合，获得的系数即为熔池抛物线系数α，对每行熔池宽度累加求和，即为熔池面积S，将提取的二值图像轮廓上的所有像素数之和记为熔池周长C，计算得到熔池分散度D＝C2/S。
侧上方熔池图像的纹理特征是指从侧上方获取的熔池图像中提取的平均能量AVG_ASM、平均熵AVG_ENT、平均对比度AVG_CON和平均逆差矩 AVG_IDM，计算步骤如下：
步骤一：设在θ方向上，相隔距离d的一对像素分别具有灰度值i和j出现的概率，记为p(i,j,d,θ)，设f(x,y)为图像像素坐标(x,y)的点所对应的灰度值，M和 N分别为图像行和列的维数，则任意一对像素对(x1,y1)和(x2,y2)在0°、45°、90°和 135°四个方向上的共生矩阵分别按式(1)-(4)计算：
其中#(X)表示集合X中的元素个数；
步骤二：依据步骤一，分别按式(5)-(8)计算侧上方熔池图像在0°、45°、90°和135°方向上的能量(角二阶矩)ASM、图像熵ENT、对比度CON和逆差矩IDM，其中G表示图像灰度级；
步骤三：将步骤二获得的0°、45°、90°和135°四个方向上的能量ASM求平均值，获得侧上方熔池图像的纹理特征参数之一平均能量AVG_ASM；
步骤四：将步骤二获得0°、45°、90°和135°四个方向上的图像熵ENT求平均值，获得侧上方熔池图像的纹理特征参数之二平均图像熵AVG_ENT；
步骤五：将步骤二获得0°、45°、90°和135°四个方向上的对比度CON求平均值，获得侧上方熔池图像的纹理特征参数之三平均对比度AVG_CON；
步骤六：将步骤二获得0°、45°、90°和135°四个方向上的逆差矩IDM求平均值，获得侧上方熔池图像的纹理特征参数之四平均逆差矩AVG_IDM。
采用RBF神经网络模型，输入参量包含三个几何特征参数和四个纹理特征参数，分别为：后上方熔池图像中提取的熔池宽度W、熔池抛物线系数α、熔池分散度D，侧上方熔池图像中提出的平均能量AVG_ASM、平均图像熵AVG_ENT、平均对比度AVG_CON和平均逆差矩AVG_IDM，输出参量为未熔透、熔透和过熔透三种状态。
实施例1
试验系统如图1所示，焊机为STARMATIC R450 TOPMAG双丝自动焊机，母材为5A06铝合金，规格300mm×150mm×6mm，焊丝ER5356，直径1.6mm。双向视觉传感系统包括两个工业CCD摄像机、复合滤光片组、外部触发盒、计算机。在焊接前，将双向视觉传感系统通过专用夹具固定在焊枪上，调整后上方摄像机轴线与水平面夹角为35°，侧上方摄像机轴线与水平面夹角为15°。
具体步骤如下：
(1)焊接前，对铝合金母材表面进行化学清理和机械清理，去除表面的水分、油污和氧化膜。选用纯氩保护气，气流量20L/min。
(2)调节焊机参数，设置主丝电流110A、电压22V，辅丝电流118A、辅丝电压21V、焊速70cm/min，焊接得到未熔透焊缝。
(3)焊接过程中开启双向摄像机，实时、同步采集熔池图像，显示在计算机屏幕上，同时存在在计算机中。获得的后上方和侧上方同步熔池图像如图2 中(a)和(b)所示。
(4)通过图3所示图像处理步骤对每帧图像进行图像处理获得熔池轮廓，然后提取后上方熔池图像中的熔池宽度W、熔池抛物线系数α和熔池分散度D，选取120张熔池图像提取的几何特征参数放入数据集Q的前三列。
(5)对步骤(4)选择的各帧熔池图像对应的侧上方熔池图像进行纹理特征提取，利用公式(1)-(8)获得图像的平均能量AVG_ASM、平均图像熵 AVG_ENT、平均对比度AVG_CON和平均逆差矩AVG_IDM，放入数据集Q的后四列。
(6)接着调节焊机参数，设置主丝电流130A、电压22V，辅丝电流140A、辅丝电压21V、焊速60cm/min，焊接得到熔透焊缝。
(7)重复步骤(3)-(5)，获取的后上方和侧上方同步熔池图像如图2 中(c)和(d)所示，提取熔透状态下的双向熔池几何特征和纹理特征，选取其中120 帧熔池图像提取的几何特征和纹理特征参数放入数据集Q。
(8)继续调节焊机参数，设置主丝电流130A、电压22V，辅丝电流140A、辅丝电压21V、焊速50cm/min，焊接得到过熔透焊缝。
(9)重复步骤(3)-(5)，获取的后上方和侧上方同步熔池图像如图2 中(e)和(f)所示，提取过熔透状态下的双向熔池几何特征和纹理特征，选取其中 120帧熔池图像提取的几何特征和纹理特征参数放入数据集Q。
(10)建立RBF熔透识别网络模型[net,tr]＝newrb(P,T,GOAL,SPRED,MN), 其中P为输入向量，T为输出向量，GOAL为均方误差的目标，SPREAD为径向基的扩展速度,MN为最大神经元个数。RBF熔透识别网络部分样本的输入量和输出量如表1所示。
表1为熔池图像几何特征和纹理特征部分数据集
(11)将完成步骤(10)后的数据集Q归一化处理后，随机取80％作为 RBF熔透神别网络模型的输入量P，即288×7的矩阵，对应的输出量T为288×3 的矩阵。其中[001]代表未熔透，[010]代表熔透，[100]代表过熔透。
(12)设置训练参数，均方误差目标GOAL设定为0.05，径向基的扩展速度SPREAD设定为5，最大神经元个数MN设定为25。
(13)训练数据获得迭代收敛曲线，如图5所示，获得RBF熔透识别模型。
(14)利用步骤(11)中剩余的72组数据作为测试集，对步骤(13)建立的RBF熔透识别模型进行测试，得到熔透状态测试结果，如图6所示。
(15)保存该RBF熔透识别模型。
(16)设定新的焊接工艺参数施焊，拍摄实时双向熔池图像，提取几何及纹理特征参数，输入步骤(15)所得的RBF熔透识别模型，根据预测结果通过控制器调整焊机参数，实现熔透控制。
表2为本方法与文献[1]方法对同样的样本集测试10次的正确率对比
需要进一步说明的是，从图4、图5可知，与文献[1]仅利用单向熔池几何和纹理特征的熔透识别模型对比发现，本方法训练步数更少，网络输出性能更好，反映出网络结构更优秀。利用本方法与文献[1]方法对同样的数据集进行10次预测，正确率对比如表2所示。可见，两种方法均能获得98.6％的最高正确率，但本方法平均正确率更高，说明本熔透识别方法更稳定。
Claims (6)
1.一种基于双向熔池几何与纹理特征融合的熔透识别方法，其特征在于：该方法针对焊接过程中的熔池从后上方和侧上方两个角度进行实时、同步视觉传感，对后上方角度获得的熔池图像进行二值图像处理，得到后上方熔池图像的几何特征参数；基于侧上方熔池图像的灰度共生矩阵，定义并提取侧上方熔池图像的纹理特征参数，将后上方熔池图像的几何特征参数和侧上方熔池图像的纹理特征参数作为输入量，将未熔透、熔透和过熔透三种特征作为输出量，建立RBF神经网络模型，对熔透状态进行识别。
2.如权利要求1所述的一种基于双向熔池几何与纹理特征融合的熔透识别方法，其特征在于：熔池图像从熔池后上方和侧上方实时同步获取，双摄像机通过外触发模式实现同步采集，后上方熔池图像最佳传感角度为摄像机轴线与水平面夹角30-40°，侧上方熔池图像最佳传感角度为摄像机轴线与水平面夹角10-20°。
3.如权利要求1所述的一种基于双向熔池几何与纹理特征融合的熔透识别方法，其特征在于：后上方熔池图像的几何特征参数包括后上方熔池图像中提取的熔池宽度W、熔池抛物线系数α和熔池分散度D。
4.如权利要求3所述的一种基于双向熔池几何与纹理特征融合的熔透识别方法，其特征在于：熔池宽度W指熔池图像轮廓最宽值，抛物线系数α指熔池尾部向熔池宽度的张开幅度，熔池分散度D指熔池周长C的平方与熔池面积S的比值。
5.如权利要求4所述的一种基于双向熔池几何与纹理特征融合的熔透识别方法，其特征在于：熔池宽度W、熔池抛物线系数α和熔池分散度D的具体计算方法为，首先，对后上方熔池图像进行中值滤波、灰度拉伸、形态学处理和轮廓提取，得到二值图像，对二值图像轮廓进行逐行扫描，记下每行左、右端点位置，每行左右端点间距中的最大值即为熔池宽度W，记录熔池宽度W的左右端点坐标，然后逐列扫描，记下二值图像轮廓中每列上下端点间距最大位置的下部端点(xb，yb)，通过熔池宽度W的左右端点和(xb，yb)三个点的曲线进行抛物线拟合，获得的系数即为抛物线系数α，对每行熔池宽度累加求和，即为熔池面积S，将提取的二值图像轮廓上的所有像素数之和记为熔池周长C，计算得到熔池分散度D＝C2/S。
6.如权利要求1所述的一种基于双向熔池几何与纹理特征融合的熔透识别方法，其特征在于：侧上方熔池图像的纹理特征是指从侧上方获取的熔池图像中提取的平均能量AVG_ASM、平均熵AVG_ENT、平均对比度AVG_CON和平均逆差矩AVG_IDM，计算步骤如下：
步骤一：设在θ方向上，相隔距离d的一对像素分别具有灰度值i和j出现的概率，记为p(i,j,d,θ)，设f(x,y)为图像像素坐标(x,y)的点所对应的灰度值，M和N分别为图像行和列的维数，则任意一对像素对(x1,y1)和(x2,y2)在0°、45°、90°和135°四个方向上的共生矩阵分别按式(1)-(4)计算：
其中#(X)表示集合X中的元素个数；
步骤二：依据步骤一，分别按式(5)-(8)计算侧上方熔池图像在0°、45°、90°和135°方向上的能量ASM、图像熵ENT、对比度CON和逆差矩IDM，其中G表示图像灰度级；
步骤三：将步骤二获得的0°、45°、90°和135°四个方向上的能量ASM求平均值，获得侧上方熔池图像的纹理特征参数之一平均能量AVG_ASM；
步骤四：将步骤二获得0°、45°、90°和135°四个方向上的图像熵ENT求平均值，获得侧上方熔池图像的纹理特征参数之二平均图像熵AVG_ENT；
步骤五：将步骤二获得0°、45°、90°和135°四个方向上的对比度CON求平均值，获得侧上方熔池图像的纹理特征参数之三平均对比度AVG_CON；
步骤六：将步骤二获得0°、45°、90°和135°四个方向上的逆差矩IDM求平均值，获得侧上方熔池图像的纹理特征参数之四平均逆差矩AVG_IDM。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011556910.XA CN112529103A (zh) | 2020-12-24 | 2020-12-24 | 一种基于双向熔池几何及纹理特征融合的熔透识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011556910.XA CN112529103A (zh) | 2020-12-24 | 2020-12-24 | 一种基于双向熔池几何及纹理特征融合的熔透识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112529103A true CN112529103A (zh) | 2021-03-19 |
Family
ID=74976953
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011556910.XA Pending CN112529103A (zh) | 2020-12-24 | 2020-12-24 | 一种基于双向熔池几何及纹理特征融合的熔透识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112529103A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113674206A (zh) * | 2021-07-21 | 2021-11-19 | 华南理工大学 | 一种适用于深熔k-tig焊熔池和锁孔入口特征参数的提取方法 |
| CN116597391A (zh) * | 2023-07-18 | 2023-08-15 | 武汉纺织大学 | 一种焊缝表面形貌和熔透状态同步在线监测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4611111A (en) * | 1985-01-22 | 1986-09-09 | General Electric Company | Method to determine weld puddle area and width from vision measurements |
| CN108856978A (zh) * | 2018-08-20 | 2018-11-23 | 南京理工大学 | 基于近红外双目视觉识别的角接接头熔透控制方法 |
| CN111738369A (zh) * | 2020-08-24 | 2020-10-02 | 南京知谱光电科技有限公司 | 基于熔池视觉特征的焊熔透状态及熔深实时预测方法 |
-
2020
- 2020-12-24 CN CN202011556910.XA patent/CN112529103A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4611111A (en) * | 1985-01-22 | 1986-09-09 | General Electric Company | Method to determine weld puddle area and width from vision measurements |
| CN108856978A (zh) * | 2018-08-20 | 2018-11-23 | 南京理工大学 | 基于近红外双目视觉识别的角接接头熔透控制方法 |
| CN111738369A (zh) * | 2020-08-24 | 2020-10-02 | 南京知谱光电科技有限公司 | 基于熔池视觉特征的焊熔透状态及熔深实时预测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杨嘉佳: ""铝合金双丝PMIG焊熔池视觉特征规律及表面形态三维重构"", 《中国博士学位论文全文数据库（工程科技I辑）》, pages 57 - 110 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113674206A (zh) * | 2021-07-21 | 2021-11-19 | 华南理工大学 | 一种适用于深熔k-tig焊熔池和锁孔入口特征参数的提取方法 |
| CN116597391A (zh) * | 2023-07-18 | 2023-08-15 | 武汉纺织大学 | 一种焊缝表面形貌和熔透状态同步在线监测方法 |
| CN116597391B (zh) * | 2023-07-18 | 2023-09-19 | 武汉纺织大学 | 一种焊缝表面形貌和熔透状态同步在线监测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111539935B (zh) | 一种基于机器视觉的电缆表面缺陷在线检测方法 | |
| CN112529103A (zh) | 一种基于双向熔池几何及纹理特征融合的熔透识别方法 | |
| CN109308705B (zh) | 一种焊接熔池图像轮廓实时提取方法 | |
| CN111127402A (zh) | 一种机器人焊接质量的视觉检测方法 | |
| CN109447939B (zh) | 基于混合光谱视觉的熔池成形前焊缝宽度预测方法 | |
| CN111203639B (zh) | 一种基于高速摄像下的双激光束双侧同步焊接填丝熔滴过渡监控系统及方法 | |
| CN116423005B (zh) | 一种提高焊接精度的锡焊工艺优化方法及系统 | |
| CN112017186A (zh) | 基于熔池图像和深度残差网络的增材余高预测方法 | |
| CN113379740A (zh) | 基于穿孔熔池图像和深度学习的vppaw熔透原位实时监测系统 | |
| CN108067714A (zh) | 一种薄壁环缝端接质量在线监测与缺陷定位系统及方法 | |
| CN111451604A (zh) | 一种gtaw电弧熔丝增材制造熄弧处补焊监测反馈方法及系统 | |
| CN114252449B (zh) | 一种基于线结构光的铝合金焊缝表面质量检测系统及方法 | |
| CN114453708A (zh) | 一种铝合金焊接缺陷在线监测方法 | |
| CN114131141A (zh) | 一种大型结构件变位置焊接质量在线监测方法及系统 | |
| CN113902698A (zh) | 一种基于智能视觉控制的无人机云台渐进式目标对焦方法 | |
| CN113554587A (zh) | 一种基于深度学习的熔池图像几何特征提取方法及系统 | |
| CN116664478A (zh) | 一种基于深度学习的钢材表面缺陷检测算法 | |
| CN111402239A (zh) | 基于形态特征滤波的激光焊缝跟踪图像处理方法及系统 | |
| Lin et al. | Intelligent seam tracking of an ultranarrow gap during K-TIG welding: a hybrid CNN and adaptive ROI operation algorithm | |
| Chen et al. | Multi-exposure fusion for welding region based on multi-scale transform and hybrid weight | |
| CN112129774B (zh) | 一种焊接未熔合缺陷在线检测方法 | |
| CN114669835A (zh) | 基于喷粉式视觉传感的表面强反光工件焊缝位姿提取方法 | |
| CN115194290B (zh) | 一种数控火焰切割机参数控制方法 | |
| CN113240668A (zh) | 一种基于图像数字特征分布的生成熔池图像质量评估方法 | |
| Fei et al. | Machine Vision Analysis of Welding Region and its Application to Seam Tracking in Arc Welding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |