CN110675370A - 一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法 - Google Patents

一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法 Download PDF

Info

Publication number
CN110675370A
CN110675370A CN201910831729.6A CN201910831729A CN110675370A CN 110675370 A CN110675370 A CN 110675370A CN 201910831729 A CN201910831729 A CN 201910831729A CN 110675370 A CN110675370 A CN 110675370A
Authority
CN
China
Prior art keywords
layer
training
neural network
deep learning
welding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910831729.6A
Other languages
English (en)
Inventor
周强
潘黎
王敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN201910831729.6A priority Critical patent/CN110675370A/zh
Publication of CN110675370A publication Critical patent/CN110675370A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Chemical & Material Sciences (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法，采用卷积神经网络CNN实现虚拟焊缝缺陷检测，所述卷积神经网络CNN包括从上至下的输入层、卷积层、激励层、池化层、全连接层，相邻两个层之间，上一层的输出值作为下一层的输入值属于焊缝检测技术领域，提供了一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法。首先，在分析采集数据特征的基础上，设计焊缝图像的识别算法，对图像进行灰度化处理和分割处理，将焊缝区域和非焊缝区域显著的分开；其次，构建深度学习网络并对收集到的数据集进行扩充；最后，利用训练学习框架对缺陷特征进行识别训练。

Description

一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法
技术领域
本发明涉及焊接模拟器虚拟焊缝缺陷检测领域，具体涉及一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法。
背景技术
焊接技术水平是衡量一个制造大国强弱的重要指标，我国对焊接工人的需求一直保持较大的趋势，特别是高技术焊工。随着虚拟现实技术的飞速发展，焊接培训逐渐由传统实物训练模式转向虚拟模拟与实物训练相结合的新模式，虚拟焊接模拟器依靠其安全、高效、无污染等优势，在焊接培训工作中受到欢迎，并逐渐推广应用，然而在计算机虚拟环境中如何评价虚拟焊接质量并指出学员操作问题一直是一个技术难度。
在焊接模拟器中，焊缝检测往往会受到二维图像的处理以及检测方法的影响而无法有效检测出焊缝中具体存在的缺陷或者对焊缝识别时间过长导致培训质量的整体下降，现有的虚拟焊接模拟器在评价焊缝缺陷时其识别焊缝缺陷的准确率低，对缺陷的类型容易漏判或误判，且其对焊缝识别的效率较低，严重影响了焊接培训的整体质量，焊接是一个多输入多输出的过程，难以用准确的数学模型表达，且焊缝缺陷的成因多种多样，不易建立统一的特征提取规则和图像模板，因此，常规的焊缝缺陷识别方法难以满足检测的需要。
发明内容：
为了克服上述背景技术的缺陷，本发明提供一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法，可以提高识别准确率、识别精度、识别效率。
为了解决上述技术问题本发明的所采用的技术方案为：
一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法，采用卷积神经网络CNN实现虚拟焊缝缺陷检测，卷积神经网络CNN包括从上之下的输入层、卷积层、激励层、池化层、全连接层，相邻两个层之间，上一层的输出值作为下一层的输入值，包括：
步骤1，对存储器中的训练集I中的图像进行预处理：对图像进行灰度化处理，分割焊缝，获取优化后的类间方差和最佳阈值，构建卷积神经网络模型；
步骤2，对卷积神经网络CNN进行训练，训练步骤包括：
步骤21，将训练集I中的图像进行Resize处理，将图像中选定区域转化为188x116的像素大小，将输入数据各个维度均中心化到原点；
步骤22，对输入层输入的图像进行卷积计算，通过Relu激活函数输出特征图对应的计算公式为
Figure BDA0002190935210000021
其中，w为权值，b为偏置，x为输入，y为输出，f为激励函数；
步骤23，采用bxb(此发明取b＝2)领域的采样窗口对上层特征映射进行不重叠最大值采样，滑动步长为s(此发明取s＝2)；
步骤24，在卷积神经网络最后搭建两个全连接层，将已提取的局部特征重新组合，二维特征图像转化为一维向量，再通过softmax函数进行焊缝缺陷分类，使输出层对应设置四个神经元；
步骤25，在输出层采用Dropout(神经网络中防止过拟合的一种方法)处理，第一个全连接层设置Dropout值为K(此发明取K＝70％)，在每次网络参数迭代过程中以设定比例随机关闭部分神经元节点，将这些神经元的输入、输出、以及内部权重抹去；
步骤26，选用训练框架TensorFlow步骤25所得网络进行训练优化，设置训练批次、学习率以及优化器，采用反向传播梯度下降法进行网络优化，不断更新参数，达到网络收敛，得到训练好的卷积神经网络CNN；
步骤3，将训练好的卷积神经网络CNN进行测试，评估输出结果的正确率达到预设值时，将此时训练好的卷积神经网络CNN用于正常焊缝缺陷检测。
较佳地，训练集I中图片数量不少于300张。
较佳地，步骤1对存储器中的训练集I中的图像进行预处理的步骤包括：
步骤11，采用人体灰度学公式Gray＝0.299R+0.587G+0.114B对图像进行灰度化处理，R、G、B为三通道数据；
步骤12，采用Otsu优化分割方法分割焊缝，
获取优化后的类间方
Figure BDA0002190935210000041
其中，ω1、ω2为目标类s1、s2像素出现的概率，
Figure BDA0002190935210000042
μ1、μ2分别为S1和S2的平均灰度；μ为整个图像的平均灰度；
获取优化后的最佳阈值
Figure BDA0002190935210000043
步骤13，构建卷积神经网络模型CNN，神经网络模型CNN内部的模型参数设置如下：
在卷积层C1层采用n1个感受野大小为m1×m1的卷积核，步长为s1,池化层P1层进行最大池化下采样，采样领域大小步长为
Figure BDA0002190935210000045
卷积层C2中，设置n2个大小为m2×m2的卷积核，步长设为s2，P2池化层采用
Figure BDA0002190935210000046
的下采样领域，步长为
Figure BDA0002190935210000047
C3层为n3个卷积核大小为m3×m3，P3池化层和P1、P2结构设置相同；
卷积层C4采用n4个m4×m4的卷积核，F1层包含a个神经元节点，F2层通过Softmax激活函数实现焊缝缺陷种类预测。
较佳地，网络P1至C2层、P2至C3层之间，采用特征图非全连接机制C2层的前4个特征图与P1层中连续2个特征图相连接，中间3个特征图与P1层中连续3个特征图相连接，最后一个特征图与P1层所有特征图采用全连接。
较佳地，步骤3将训练好的卷积神经网络CNN进行测试的方法包括：测试阶段第一个全连接层设置Dropout值为t，从存储器中选取测试集图片，测试集图片在外部计算机中经过旋转、镜像、添加噪声扰动处理后以增加测试样本数量再导入到焊接模拟器的存储器中，测试集图片数量不少于100张。
较佳地，被训练的焊缝缺陷分4类，包括咬边、弧坑、焊瘤以及焊缝过窄。
较佳地，对训练数据集I中的图像进行旋转、镜像、添加噪声扰动方法增加训练样本的数量，进行样本的扩充。
本发明的有益效果在于：本发明公开了一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法，属于焊缝检测技术领域，提供了一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法。首先，在分析采集数据特征的基础上，设计焊缝图像的识别算法，对图像进行灰度化处理和分割处理，将焊缝区域和非焊缝区域显著的分开；其次，构建深度学习网络并对收集到的数据集进行扩充；最后，利用训练学习框架对缺陷特征进行识别训练。本发明在对虚拟焊缝缺陷进行检测时避免了虚拟焊接模拟器已有检测方法检测效率低以及对缺陷识别准确率差的缺点。本方法通过对虚拟焊接模拟器中虚拟焊缝进行图像预处理，在训练过程中不断地对训练参数进行优化，得到识别准确率较高的卷积神经网络模型，可以对焊接模拟器中虚拟焊缝进行质量评估。可以对多条焊缝、多种缺陷类型同步检测，在识别准确率、识别精度、识别效率等方面显著提高。
附图说明
图1为本发明实施例的方法流程图；
图2为本发明实施例卷积神经网络框架示意图，其中C1、C2、C3、C4为卷积层，P1、P2、P3为池化层，F1、F2为全连接层；
图3为本发明实施例P1与C2层网络特征图连接关系；
图4为本发明实施例Dropout处理结构示意图；
图5为本发明实施例TensorFlow架构图。
具体实施方式
下面结合附图和实施例对本发明做进一步的说明。
一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法，采用卷积神经网络CNN实现虚拟焊缝缺陷检测；卷积神经网络CNN包括输入层、卷积层、激励层、池化层、全连接层，相邻两个层之间，上一层的输出值作为下一层的输入值。
进行虚拟焊缝缺陷检测前对存储器中的训练集I中的图像进行如下预处理，本实施例中训练集I中图片数量不少于300张：
作为本发明的一个实施例，单幅工件焊缝图像中包含2-10个焊缝区域；
采用人体灰度学公式Gray＝0.299R+0.587G+0.114B对图像进行灰度化处理；
用优化的Otsu分割方法分割焊缝，优化后的类间方差计算公式为：
Figure BDA0002190935210000061
其中，ω1、ω2为目标类s1、s2像素出现的概率
Figure BDA0002190935210000071
μ2分别为S1和S2的平均灰度；μ为整个图像的平均灰度，优化后的最佳阈值计算公式为
Figure BDA0002190935210000072
构建卷积神经网络模型，所设计的卷积神经网络结构如图2所示，其内部的模型参数设置如下：在卷积层C1层采用n1个感受野大小为m1×m1的卷积核，本实施例中n1＝6，m1＝17，步长设为s1，本实施例中s1＝1,池化层P1层进行最大池化下采样，采样领域大小
Figure BDA0002190935210000073
步长为
Figure BDA0002190935210000074
本实施例中
卷积层C2中，设置n2个大小为m2×m2的卷积核，步长设为s2，本实施例中n2＝12，m2＝15，s2＝1，P2池化层采用
Figure BDA0002190935210000076
的下采样领域，步长为
Figure BDA0002190935210000077
本实施例中
C3层为n3个卷积核大小为m3×m3，本实施例中n3＝18，m3＝9，步长为s3，本实施例中s3＝1，P3池化层和P1、P2结构设置相同；
卷积层C4采用n4个m4×m4的卷积核，本实施例中n4＝32，m4＝5；
F1层包含a个神经元节点，F2层通过Softmax激活函数实现焊缝缺陷种类预测，本实施例中a＝256。
网络P1至C2层、P2至C3层之间，采用特征图非全连接机制C2层的前4个特征图与P1层中连续2个特征图相连接，中间3个特征图与P1层中连续3个特征图相连接，最后一个特征图与P1层所有特征图采用全连接，其连接关系如图3所示。P3池化层和P1、P2结构设置相同。
卷积神经网络CNN经过如下步骤进行训练：
将所有的训练集I中的图像进行Resize处理，选取图像中的感兴趣区域统一转化为像素大小为188x116，将输入的数据各个维度都中心化到原点，使不同的特征具有相同的尺度；
对输入层输入的图像进行卷积计算，通过Relu激活函数输出特征图对应的计算公式为
Figure BDA0002190935210000081
式中：w为权值；b为偏置；x为输入；y为输出；f为激励函数。
采用bxb领域的采样窗口对上层特征映射进行不重叠最大值采样，滑动步长为s，本实施例中b＝2，s＝2；
在卷积神经网络最后搭建两个全连接层，把之前提取的局部特征重新组合，二维特征图像转化为一维向量，再通过softmax函数实现焊缝缺陷分类作用，输出层对应设置四个神经元；
在输出层采用神经网络中防止过拟合方法Dropout处理，第一个全连接层设置Dropout值为K本实施例中K＝70％，即在每次网络参数迭代过程中以一定比例随机“关闭”部分神经元节点，将这些神经元的输入、输出、以及内部权重一并“抹去”，也即全部清除，如图4所示；
本实施例输出层设置两个全连接层，F1层和F2层，其中F1层包含256个神经元节点，F2层通过Softmax激活函数实现焊缝缺陷种类预测；
本实施例网络训练阶段，第一个全连接层Dropout值设为70％，在网络测试阶段，将第一个全连接层神经元全部激活，保留所有数据参数，Dropout值设置为1；
选用TensorFlow训练框架对如上的网络进行训练以及优化，设置训练批次、学习率以及优化器，考虑到过大的批次数目必然降低一次全数据集训练所需的迭代次数，训练批次数目选择过小时，每次输入的数据都不尽相同，引入的随机性更大，难以达到网络收敛。选择训练批次为x批(本实施例取x＝4)，采用动态衰减法设置学习率；选取TensorFlow优化器库中的tf.train.AdamOptimizer优化器；
采用反向传播梯度下降法进行网络优化，不断更新参数(参数更新到测试准确率保持稳定小幅波动，即已达到网络收敛状态。卷积神经网络训练的原理主要是依据链式求导原则，分别计算网络的梯度，然后采用反向传播梯度下降法进行网络优化，从而更新参数)，最终达到网络收敛，得到训练好的卷积神经网络CNN。
将训练好的卷积神经网络进行测试，测试阶段第一个全连接层设置Dropout值为t，本实施例中t＝1，从存储器中选取测试集图片，所述测试集图片在外部计算机中经过旋转、镜像、添加噪声扰动等处理后以增加测试样本数量再导入到焊接模拟器的存储器中,测试集图片数量不少于100张；
评估输出结果的正确率达到预设值时，此训练好的卷积神经网络CNN被用于正常焊缝缺陷检测；
本实施例将训练数据集I中的焊缝图像放在所构建的网络中进行训练，不断地更新参数，最终达到网络收敛，得到训练好的卷积神经网络CNN；
对训练好的卷积神经网络CNN进行测试，对于训练集I中的每种缺陷类型图像不少于300张，测试集图片每种缺陷类型图像不少于100张，测试集图像不包含在训练集内，且所述的测试集图像均通过旋转、镜像、添加噪声扰动等方法来增加训练样本的数量；
评估出卷积神经网络测试焊缝缺陷图片的正确率，达到预设值时则此训练好的卷积神经网络CNN被用于正常的焊缝缺陷检测；
述焊缝缺陷分4类，分别为咬边、弧坑、焊瘤以及焊缝过窄；
将上述在嵌入式计算机中完成的图像预处理、卷积神经网络构建、训练等得到的最终训练好的卷积神经网络应用于虚拟焊接模拟器中，操作人员每次进行虚拟焊接后的图像保存在存储器中，嵌入式计算机调取图像进行识别并将识别结果通过输出电路输出到模拟器显示屏上；
卷积神经网络CNN包括输入层、卷积层、激励层、池化层、全连接层，卷积层、激励层、池化层进行缺陷特征提取，全连接层把之前提取的局部特征重新组合，二维特征图像转化为一维向量，卷积层使用Relu激励函数,全连接层采用Dropout处理。本方法通过对虚拟焊接模拟器中虚拟焊缝进行图像预处理，在训练过程中不断地对训练参数进行优化，得到识别准确率较高的卷积神经网络模型，可以对焊接模拟器中虚拟焊缝进行质量评估。
以上对本发明具体实施方案所呈现的描述只是出于说明和描述的目的，前面的描述不是想要把本发明限制为所公开的精确形式，选择示例性实施方案是为了解释本发明的原理和实际应用，对本发明的技术方案作出的任何变形和改进，均应落入本发明的权利要求书确定的保护范围之内。

Claims (8)

1.一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法，其特征在于：采用卷积神经网络CNN实现虚拟焊缝缺陷检测，所述卷积神经网络CNN包括从上之下的输入层、卷积层、激励层、池化层、全连接层，相邻两个层之间，上一层的输出值作为下一层的输入值，包括：
步骤1，对存储器中的训练集I中的图像进行预处理：对图像进行灰度化处理，分割焊缝，获取优化后的类间方差和最佳阈值，构建卷积神经网络模型；
步骤2，对所述卷积神经网络CNN进行训练，训练步骤包括：
步骤21，将所述训练集I中的图像进行像素大小调整处理，将图像中选定区域转化为188x116的像素大小，将输入数据各个维度均中心化到原点；
步骤22，对输入层输入的图像进行卷积计算，通过Relu激活函数输出特征图对应的计算公式为
Figure FDA0002190935200000011
其中，w为上一层第n个神经元对下一层第m个神经元的权值；b为卷积层的偏置值；x为卷积层的实际输入；y为卷积层的实际输出；f为用于卷积层的Relu激活函数；
步骤23，采用bxb领域的采样窗口对上层特征映射进行不重叠最大值采样，滑动步长为s；
步骤24，在卷积神经网络最后搭建两个全连接层，将已提取的局部特征重新组合，二维特征图像转化为一维向量，再通过softmax函数进行焊缝缺陷分类，使输出层对应设置四个神经元；
步骤25，在输出层采用神经网络防止过拟合方法Dropout处理，第一个全连接层设置Dropout值为K将神经元的输入、输出、以及内部权重清除；
步骤26，选用训练框架TensorFlow所述步骤25所得网络进行训练优化，设置训练批次、学习率以及优化器，采用反向传播梯度下降法进行网络优化，不断更新参数，达到网络收敛，得到训练好的卷积神经网络CNN；
步骤3，将训练好的卷积神经网络CNN进行测试，评估输出结果的正确率达到预设值时，将此时训练好的卷积神经网络CNN用于正常焊缝缺陷检测。
2.根据权利要求1所述的一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法，其特征在于：所述训练集I中图片数量不少于300张。
3.根据权利要求1所述的一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法，其特征在于，所述步骤1对存储器中的训练集I中的图像进行预处理的步骤包括：
步骤11，采用人体灰度学公式Gray＝0.299R+0.587G+0.114B对图像进行灰度化处理，所述R、G、B为红、绿、蓝三基色的分量三通道数据；
步骤12，采用Otsu优化分割方法分割焊缝，
获取优化后的类间方
Figure FDA0002190935200000031
其中，ω1、ω2为目标类s1、s2像素出现的概率，
Figure FDA0002190935200000032
μ1、μ2分别为S1和S2的平均灰度；μ为整个图像的平均灰度；
获取优化后的最佳阈值
步骤13，构建卷积神经网络模型CNN，所述神经网络模型CNN内部的模型参数设置如下：
在卷积层C1层采用n1个感受野大小为m1×m1的卷积核，步长为s1,池化层P1层进行最大池化下采样，采样领域大小
Figure FDA0002190935200000034
步长为
Figure FDA0002190935200000035
卷积层C2中，设置n2个大小为m2×m2的卷积核，步长设为s2，P2池化层采用
Figure FDA0002190935200000036
的下采样领域，步长为
Figure FDA0002190935200000037
C3层为n3个卷积核大小为m3×m3，步长为s3，P3池化层和P1、P2结构设置相同；
卷积层C4采用n4个m4×m4的卷积核，F1层包含a个神经元节点，F2层通过Softmax激活函数实现焊缝缺陷种类预测。
4.根据权利要求3所述的一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法，其特征在于：所述网络P1至C2层、P2至C3层之间，采用特征图非全连接机制C2层的前4个特征图与P1层中连续2个特征图相连接，中间3个特征图与P1层中连续3个特征图相连接，最后一个特征图与P1层所有特征图采用全连接。
5.根据权利要求1所述的一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法，其特征在于，所述步骤3将训练好的卷积神经网络CNN进行测试的方法包括：测试阶段第一个全连接层设置Dropout值为t，从存储器中选取测试集图片，所述测试集图片在外部计算机中经过旋转、镜像、添加噪声扰动处理后以增加测试样本数量再导入到焊接模拟器的存储器中，测试集图片数量不少于100张。
6.根据权利要求1所述的一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法，其特征在于：所述被训练的焊缝缺陷分4类，包括咬边、弧坑、焊瘤以及焊缝过窄。
7.根据权利要求1所述的一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法，其特征在于：对所述训练数据集I中的图像进行旋转、镜像、添加噪声扰动方法增加训练样本的数量，进行样本的扩充。
8.根据权利要求1所述的一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法，其特征在于，所述步骤26中设置训练批次、学习率以及优化器的具体方法为：选择训练批次为x批，x＝4，采用动态衰减法设置学习率；选取TensorFlow优化器库中的tf.train.AdamOptimizer优化器。
CN201910831729.6A 2019-09-04 2019-09-04 一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法 Pending CN110675370A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910831729.6A CN110675370A (zh) 2019-09-04 2019-09-04 一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910831729.6A CN110675370A (zh) 2019-09-04 2019-09-04 一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法

Publications (1)

Publication Number Publication Date
CN110675370A true CN110675370A (zh) 2020-01-10

Family

ID=69076002

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910831729.6A Pending CN110675370A (zh) 2019-09-04 2019-09-04 一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法

Country Status (1)

Country Link
CN (1) CN110675370A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507998A (zh) * 2020-04-20 2020-08-07 南京航空航天大学 基于深度级联的多尺度激励机制隧道表面缺陷分割方法
CN111612747A (zh) * 2020-04-30 2020-09-01 重庆见芒信息技术咨询服务有限公司 产品表面裂缝快速检测方法及检测系统
CN111612758A (zh) * 2020-05-19 2020-09-01 南京航空航天大学 一种基于卷积神经网络的隧道表面缺陷检测方法
CN111882557A (zh) * 2020-09-28 2020-11-03 成都睿沿科技有限公司 一种焊接缺陷检测方法、装置、电子设备及存储介质
CN111932489A (zh) * 2020-06-03 2020-11-13 西安电子科技大学 焊缝缺陷检测方法、系统、存储介质、计算机设备、终端
CN112116557A (zh) * 2020-08-12 2020-12-22 西安交通大学 一种射线图像焊缝区域缺陷探测方法、存储介质及设备
CN112184704A (zh) * 2020-10-28 2021-01-05 广西科技大学 一种基于卷积神经网络的焊缝处理方法
CN112465851A (zh) * 2020-09-27 2021-03-09 华南理工大学 一种基于压力容器表面焊缝表面轮廓曲线的参数检测方法
CN113231715A (zh) * 2021-05-31 2021-08-10 华南理工大学 一种大型叶片超低热输入快频焊接修复方法
CN113269720A (zh) * 2021-04-16 2021-08-17 张家港华程机车精密制管有限公司 一种直缝焊管的缺陷检测方法、系统和可读介质
CN113267560A (zh) * 2021-07-15 2021-08-17 南京思飞捷软件科技有限公司 一种基于改进的esn车身焊缝检测方法
CN113376172A (zh) * 2021-07-05 2021-09-10 四川大学 一种基于视觉与涡流的焊缝缺陷检测系统及其检测方法
CN113421252A (zh) * 2021-07-07 2021-09-21 南京思飞捷软件科技有限公司 基于改进的卷积神经网络的车身焊接缺陷实际检测方法
CN113658132A (zh) * 2021-08-16 2021-11-16 沭阳九鼎钢铁有限公司 基于计算机视觉的结构件焊缝检测方法
CN113763314A (zh) * 2020-06-03 2021-12-07 通用电气精准医疗有限责任公司 使用深度降低卷积神经网络进行图像分割和分类的系统和方法
CN113780525A (zh) * 2021-08-30 2021-12-10 中国人民解放军火箭军工程大学 一种基于深度学习的装备智能辅助训练与维修决策方法及装置
WO2022265801A1 (en) * 2021-06-17 2022-12-22 Microsoft Technology Licensing, Llc Tracking in-game events and generating event reports across multiple gaming applications
CN116765635A (zh) * 2023-08-18 2023-09-19 济南邦德激光股份有限公司 一种用于激光切割机的焊缝识别方法及识别系统
CN117828406A (zh) * 2024-03-01 2024-04-05 山东大学 一种基于深度学习的多层单道焊焊缝尺寸预测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107871099A (zh) * 2016-09-23 2018-04-03 北京眼神科技有限公司 人脸定位方法和装置
US20190146477A1 (en) * 2016-05-09 2019-05-16 Strong Force Iot Portfolio 2016, Llc Method and system for adjusting an operating parameter in a marginal network
CN109859164A (zh) * 2018-12-21 2019-06-07 苏州绿控传动科技股份有限公司 一种通过快速型卷积神经网络对pcba外观检验的方法
CN110060238A (zh) * 2019-04-01 2019-07-26 桂林电子科技大学 基于深度学习的pcb板标注印刷质量检测方法
KR20190088089A (ko) * 2017-12-26 2019-07-26 세종대학교산학협력단 용접 표면 결점 검출 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190146477A1 (en) * 2016-05-09 2019-05-16 Strong Force Iot Portfolio 2016, Llc Method and system for adjusting an operating parameter in a marginal network
CN107871099A (zh) * 2016-09-23 2018-04-03 北京眼神科技有限公司 人脸定位方法和装置
KR20190088089A (ko) * 2017-12-26 2019-07-26 세종대학교산학협력단 용접 표면 결점 검출 장치 및 방법
CN109859164A (zh) * 2018-12-21 2019-06-07 苏州绿控传动科技股份有限公司 一种通过快速型卷积神经网络对pcba外观检验的方法
CN110060238A (zh) * 2019-04-01 2019-07-26 桂林电子科技大学 基于深度学习的pcb板标注印刷质量检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
李金燕: "基于机器视觉的滚焊机钢筋骨架焊接缺陷在线检测系统", 《中国优秀硕士学位论文全文数据库 工程科技I辑》 *
杨志超 等: "基于卷积神经网络的焊接缺陷识别技术及应用", 《武汉理工大学学报（信息与管理工程版）》 *
陈展鹏: "《个人行为的机器识别与决策协同》", 31 July 2018 *

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507998A (zh) * 2020-04-20 2020-08-07 南京航空航天大学 基于深度级联的多尺度激励机制隧道表面缺陷分割方法
CN111612747A (zh) * 2020-04-30 2020-09-01 重庆见芒信息技术咨询服务有限公司 产品表面裂缝快速检测方法及检测系统
CN111612747B (zh) * 2020-04-30 2023-10-20 湖北煌朝智能自动化装备有限公司 产品表面裂缝快速检测方法及检测系统
CN111612758A (zh) * 2020-05-19 2020-09-01 南京航空航天大学 一种基于卷积神经网络的隧道表面缺陷检测方法
CN113763314A (zh) * 2020-06-03 2021-12-07 通用电气精准医疗有限责任公司 使用深度降低卷积神经网络进行图像分割和分类的系统和方法
CN111932489B (zh) * 2020-06-03 2024-02-20 西安电子科技大学 焊缝缺陷检测方法、系统、存储介质、计算机设备、终端
CN111932489A (zh) * 2020-06-03 2020-11-13 西安电子科技大学 焊缝缺陷检测方法、系统、存储介质、计算机设备、终端
CN112116557A (zh) * 2020-08-12 2020-12-22 西安交通大学 一种射线图像焊缝区域缺陷探测方法、存储介质及设备
CN112465851A (zh) * 2020-09-27 2021-03-09 华南理工大学 一种基于压力容器表面焊缝表面轮廓曲线的参数检测方法
CN112465851B (zh) * 2020-09-27 2023-08-01 华南理工大学 一种基于压力容器表面焊缝表面轮廓曲线的参数检测方法
CN111882557B (zh) * 2020-09-28 2021-01-05 成都睿沿科技有限公司 一种焊接缺陷检测方法、装置、电子设备及存储介质
CN111882557A (zh) * 2020-09-28 2020-11-03 成都睿沿科技有限公司 一种焊接缺陷检测方法、装置、电子设备及存储介质
CN112184704A (zh) * 2020-10-28 2021-01-05 广西科技大学 一种基于卷积神经网络的焊缝处理方法
CN112184704B (zh) * 2020-10-28 2022-06-14 广西科技大学 一种基于卷积神经网络的焊缝处理方法
CN113269720A (zh) * 2021-04-16 2021-08-17 张家港华程机车精密制管有限公司 一种直缝焊管的缺陷检测方法、系统和可读介质
CN113269720B (zh) * 2021-04-16 2024-02-02 张家港华程机车精密制管有限公司 一种直缝焊管的缺陷检测方法、系统和可读介质
WO2022252462A1 (zh) * 2021-05-31 2022-12-08 华南理工大学 一种大型叶片超低热输入快频焊接修复方法
CN113231715A (zh) * 2021-05-31 2021-08-10 华南理工大学 一种大型叶片超低热输入快频焊接修复方法
WO2022265801A1 (en) * 2021-06-17 2022-12-22 Microsoft Technology Licensing, Llc Tracking in-game events and generating event reports across multiple gaming applications
US11850519B2 (en) 2021-06-17 2023-12-26 Microsoft Technology Licensing, Llc Tracking in-game events and generating event reports across multiple gaming applications
CN113376172A (zh) * 2021-07-05 2021-09-10 四川大学 一种基于视觉与涡流的焊缝缺陷检测系统及其检测方法
CN113421252A (zh) * 2021-07-07 2021-09-21 南京思飞捷软件科技有限公司 基于改进的卷积神经网络的车身焊接缺陷实际检测方法
CN113421252B (zh) * 2021-07-07 2024-04-19 南京思飞捷软件科技有限公司 一种基于改进的卷积神经网络的车身焊接缺陷的检测方法
CN113267560A (zh) * 2021-07-15 2021-08-17 南京思飞捷软件科技有限公司 一种基于改进的esn车身焊缝检测方法
CN113267560B (zh) * 2021-07-15 2021-09-24 南京思飞捷软件科技有限公司 一种基于改进的esn车身焊缝检测方法
CN113658132A (zh) * 2021-08-16 2021-11-16 沭阳九鼎钢铁有限公司 基于计算机视觉的结构件焊缝检测方法
CN113780525A (zh) * 2021-08-30 2021-12-10 中国人民解放军火箭军工程大学 一种基于深度学习的装备智能辅助训练与维修决策方法及装置
CN116765635A (zh) * 2023-08-18 2023-09-19 济南邦德激光股份有限公司 一种用于激光切割机的焊缝识别方法及识别系统
CN116765635B (zh) * 2023-08-18 2024-04-12 济南邦德激光股份有限公司 一种用于激光切割机的焊缝识别方法及识别系统
CN117828406A (zh) * 2024-03-01 2024-04-05 山东大学 一种基于深度学习的多层单道焊焊缝尺寸预测方法及系统

Similar Documents

Publication Publication Date Title
CN110675370A (zh) 一种基于深度学习的焊接模拟器虚拟焊缝缺陷检测方法
CN108537215B (zh) 一种基于图像目标检测的火焰检测方法
KR102166458B1 (ko) 인공신경망 기반의 영상 분할을 이용한 불량 검출 방법 및 불량 검출 장치
WO2020102988A1 (zh) 基于特征融合和稠密连接的红外面目标检测方法
JP6584477B2 (ja) スキップアーキテクチャ・ニューラルネットワーク装置及び改良されたセマンティックセグメンテーションのための方法
CN110992238B (zh) 一种基于双通道网络的数字图像篡改盲检测方法
CN111753828B (zh) 一种基于深度卷积神经网络的自然场景水平文字检测方法
CN109086799A (zh) 一种基于改进卷积神经网络模型AlexNet的作物叶片病害识别方法
CN107292875A (zh) 一种基于全局‑局部特征融合的显著性检测方法
CN107945153A (zh) 一种基于深度学习的路面裂缝检测方法
CN110879982B (zh) 一种人群计数系统及方法
CN109886066A (zh) 基于多尺度和多层特征融合的快速目标检测方法
CN106682569A (zh) 一种基于卷积神经网络的快速交通标识牌识别方法
CN112418212B (zh) 一种基于EIoU改进的YOLOv3算法
CN111507998B (zh) 基于深度级联的多尺度激励机制隧道表面缺陷分割方法
CN110751644B (zh) 道路表面裂纹检测方法
KR102141302B1 (ko) 회귀 딥러닝 모델 기반의 영상 객체 검출 방법 및 영상처리장치
CN113177456B (zh) 基于单阶段全卷积网络和多特征融合的遥感目标检测方法
CN112950570B (zh) 一种结合深度学习与密集连续中心点的裂纹检测方法
CN112766283B (zh) 一种基于多尺度卷积网络的两相流流型识别方法
CN111275171A (zh) 一种基于参数共享的多尺度超分重建的小目标检测方法
CN109685030A (zh) 一种基于卷积神经网络的马克杯杯口缺陷检测分类方法
CN111145145A (zh) 一种基于MobileNets的图像表面缺陷检测方法
CN114511710A (zh) 一种基于卷积神经网络的图像目标检测方法
CN116703885A (zh) 一种基于Swin Transformer的表面缺陷检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200110