CN113256620B - 基于差值卷积神经网络的车身焊接质量信息评判方法 - Google Patents

基于差值卷积神经网络的车身焊接质量信息评判方法 Download PDF

Info

Publication number
CN113256620B
CN113256620B CN202110708024.2A CN202110708024A CN113256620B CN 113256620 B CN113256620 B CN 113256620B CN 202110708024 A CN202110708024 A CN 202110708024A CN 113256620 B CN113256620 B CN 113256620B
Authority
CN
China
Prior art keywords
layer
welding
image
neural network
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110708024.2A
Other languages
English (en)
Other versions
CN113256620A (zh
Inventor
陆晓佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Sjstec Co ltd
Original Assignee
Nanjing Sjstec Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Sjstec Co ltd filed Critical Nanjing Sjstec Co ltd
Priority to CN202110708024.2A priority Critical patent/CN113256620B/zh
Publication of CN113256620A publication Critical patent/CN113256620A/zh
Application granted granted Critical
Publication of CN113256620B publication Critical patent/CN113256620B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30152—Solder
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Immunology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biochemistry (AREA)
  • Software Systems (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

基于差值卷积神经网络的车身焊接质量信息评判方法。该方法包括以下步骤：步骤1，车身图像采集：利用高清相机多方位采集车身焊接图像，其中方位包括主视图、俯视图、左视图、右视图、仰视图和后视图六个方向；步骤2，损失特征构建：利用提出的相对扰动差值损失构建六个方位采集的图像与标准图像的损失特征；步骤3，模型离线训练：利用步骤2构建的损失特征对差值卷积神经网络进行训练，直至网络收敛；步骤4，模型在线判别：将步骤1~步骤3训练得到的差值卷积神经网络安装于上位机中，实时对采集的车身焊接图像进行质量的评判。本发明所述方法可以准确有效的对车身焊接质量进行评判，严格把关汽车出厂质量具有良好的实际应用价值。

Description

基于差值卷积神经网络的车身焊接质量信息评判方法
技术领域
本发明涉及车身焊接质量评估领域，特别是涉及基于差值卷积神经网络的车身焊接质量信息评判方法。
背景技术
车身壳体是一个复杂的结构件，也是一个典型的焊接结构件。例如面包车车身，是由数百个冲压件、凸焊螺母、凸焊螺栓等零部件经点焊、凸焊、CO,气体保护焊等工艺连接而成。焊接质量的好坏不仅关系到车身整车的美观，还直接影响整个车身质量，甚至会危及到人身安全。因此，必须对车身焊接质量进行严格的管控。焊接质量管理必须以降低生产成本、保证质量达到产品的技术要求为目的，以提高商品价值为主而达到良好的外观质量。
从目前的研究来看，涉及车身焊接质量评估的技术手段主要是在各种评估规则下对焊接点进行测量，然后确定焊接的质量等级。现如今，深度学习技术手段成熟，且在机器视觉领域有着很广泛的应用，若能对焊接车身所对应的多方位的图像进行算法处理，从整体上对焊接质量进行评估，可大大的节约人力物力，在提高生产效率的同时带来经济收益。
国内涉及车身焊接质量评估的专利有中国发明专利，专利名称“一种在线整体焊接质量检测装置及其方法”（201910140797.8），该发明包括有固定焊接件的流水线以及机器手，还包括有截断面发射模块、设置在机器手上的局部接收模块以及处理采集信息的处理器，处理器连接有比对数据库，截断面发射模块包括有环绕轨道以及射线发生器，局部接收模块包括有固定设置在机器手上的射线发生器，该专利提高了汽车车身焊接质量检测的效率,实现了下线汽车车身焊接质量的全部检测，但该专利所述方法无法从整体上对焊接质量进行检测评估，导致评估的精度不足。中国发明专利，专利名称“汽车车身焊装实时在线检测方法及装置”（200510032461.8），该装置包括与汽车车身生产流水线上的焊装夹具相连的探头和控制盒，探头通过电缆与控制盒相连；控制盒包括控制器、模数转换单元、存储单元、人机对话单元以及电源单元。该发明结构简单、操作方便、成本低廉、能够实现在车身生产流水线上对焊装夹具的定位进行实时检测，但是该专利未详述车身焊接质量的评估方法。
发明内容
为解决上述问题，本发明卷积神经网络的基础上，提出了基于差值卷积神经网络的车身焊接质量信息评判方法。考虑到车身焊接复杂，本专利充分利用了多方位采集的焊接图像，并提出了一种相对扰动差值损失构建实时采集的图像与标准图像间的损失特征，有效的量化了采集图像与标准图像间的差异，增强了模型的输入特征；另外在卷积神经网络的基础上加以改进，其中提出了MWA Pooling池化算法和增加了差值损失项的损失函数，从而可以更好的抓取到局部特征和量化实际输出与理论输出间的差异，提高模型的收敛速度和评判的精度。为达此目的，本发明提供基于差值卷积神经网络的车身焊接质量信息评判方法，具体步骤如下，其特征在于：
步骤1，车身图像采集：利用高清相机多方位采集车身焊接图像，其中方位包括主视图、俯视图、左视图、右视图、仰视图和后视图六个方向；
步骤2，损失特征构建：利用提出的相对扰动差值损失构建六个方位采集的图像与标准图像的损失特征；
步骤3，模型离线训练：利用步骤2构建的损失特征对差值卷积神经网络进行训练，直至网络收敛；
步骤4，模型在线判别：将步骤1~步骤3训练得到的差值卷积神经网络安装于上位机中，实时对采集的车身焊接图像进行质量的评判。
进一步，步骤2中利用提出的相对扰动差值损失构建六个方位采集的图像与标准图像的损失特征的具体步骤为：
步骤2.1，对摄像机所在的六个方位，各选取500张焊接等级为优秀的车身焊接图像，并计算各方位图像所在像素点的均值，并以之为各方位的标准图像；
步骤2.2，将实时采集的图像与标准图像进行计算以构建损失特征Rd，其表达式为：
Figure 138026DEST_PATH_IMAGE001
式中，
Figure 943171DEST_PATH_IMAGE002
和
Figure 668682DEST_PATH_IMAGE003
分别表示实时采集的图像与标准图像。
进一步，步骤3中对差值卷积神经网络进行训练的具体步骤为：
步骤3.1，将步骤2得到的损失特征Rd进行分类并制作相应的标签，分类等级有优、 良、中和不合格四个等级，分别编码为分别编码为
Figure 242883DEST_PATH_IMAGE004
、
Figure 661226DEST_PATH_IMAGE005
、
Figure 596077DEST_PATH_IMAGE006
和
Figure 187595DEST_PATH_IMAGE007
，其 中分类等级的具体划分准则为：
优：车身焊接无瑕疵，完全符合出厂准则；
良：车身焊接存有一定的瑕疵，瑕疵处于不明显的位置，人眼难以辨别；
中：车身焊接存有一定的瑕疵，瑕疵处于明显的位置，人眼可以辨别；
不合格：车身存有肉眼可见的焊接缺陷，严重影响外观和车辆的安全性；
步骤3.2，利用Tensorflow框架搭建差值卷积神经网络，其架构为：输入层-卷积层1-池化层1-卷积层2-池化层2-卷积层3-池化层3-Flatten层-全连接层1-全连接层2-Softmax层；
步骤3.3，利用卷积层对上一层的输出进行特征提取，并接着利用提出的最大加权平均池化Maximum weighted average pooling，MWA Pooling算法对卷积层的输出进行特征降维，MWA Pooling的算法原理可表述如下：
对m×n维的卷积层的输出特征
Figure 22827DEST_PATH_IMAGE008
，计算其均值
Figure 579448DEST_PATH_IMAGE009
和最大值
Figure 93606DEST_PATH_IMAGE010
，即：
Figure 223236DEST_PATH_IMAGE011
Figure 444133DEST_PATH_IMAGE012
接着计算MWA Pooling的结果
Figure 266596DEST_PATH_IMAGE013
：
Figure 972777DEST_PATH_IMAGE014
步骤3.4，重复步骤3.3以完成卷积层2-池化层2-卷积层3-池化层3的运算；
步骤3.5，将池化层3的输出以Flatten的方式展开，并依次连接全连接层1-全连接层2-Softmax层；
步骤3.6，利用随机梯度下降算法对网络参数进行更新，并重复训练直至网络收敛，此处损失函数在原有的交叉熵损失函数的基础上添加了差值损失项，具体的表达式为：
Figure 109360DEST_PATH_IMAGE016
式中，N为样本总量，
Figure 450343DEST_PATH_IMAGE017
为实际样本标签，
Figure 381390DEST_PATH_IMAGE018
为Softmax层判别的标签，
Figure 571937DEST_PATH_IMAGE019
和
Figure 43370DEST_PATH_IMAGE020
分别表示第p个原始图像和第q个标准图像；
步骤4，模型在线判别：将步骤1~步骤3训练得到的差值卷积神经网络安装于上位机中，实时对采集的车身焊接图像进行质量的评判。
本发明基于差值卷积神经网络的车身焊接质量信息评判方法，有益效果：本发明的技术效果在于：
1. 考虑到车身焊接复杂，本发明充分利用了多方位采集的焊接图像，并提出了一种相对扰动差值损失构建实时采集的图像与标准图像间的损失特征，有效的量化了采集图像与标准图像间的差异，增强了模型的输入特征；
2. 本发明在卷积神经网络的基础上加以改进，其中提出了MWA Pooling池化算法和增加了差值损失项的损失函数，从而可以更好的抓取到局部特征和量化实际输出与理论输出间的差异，提高模型的收敛速度和评判的精度。
附图说明
图1为本发明的流程图；
图2为本发明的评判系统的示意图；
图3为本发明所用的差值卷积神经网络的结构图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述：
本发明提出了基于差值卷积神经网络的车身焊接质量信息评判方法，旨在实现车身焊接质量精确有效的评判，提高汽车出厂质量。图1为本发明的流程图，下面结合流程图对本发明的步骤作详细介绍。
步骤1，车身图像采集：利用高清相机多方位采集车身焊接图像，其中方位包括主视图、俯视图、左视图、右视图、仰视图和后视图六个方向；
步骤2，损失特征构建：利用提出的相对扰动差值损失构建六个方位采集的图像与标准图像的损失特征；
步骤2中利用提出的相对扰动差值损失构建六个方位采集的图像与标准图像的损失特征的具体步骤为：
步骤2.1，对摄像机所在的六个方位，各选取500张焊接等级为优秀的车身焊接图像，并计算各方位图像所在像素点的均值，并以之为各方位的标准图像；
步骤2.2，将实时采集的图像与标准图像进行计算以构建损失特征Rd，其表达式为：
Figure 35597DEST_PATH_IMAGE001
式中，
Figure 137545DEST_PATH_IMAGE002
和
Figure 582433DEST_PATH_IMAGE003
分别表示实时采集的图像与标准图像。
步骤3，模型离线训练：利用步骤2构建的损失特征对差值卷积神经网络进行训练，直至网络收敛；
步骤3中对差值卷积神经网络进行训练的具体步骤为：
步骤3.1，将步骤2得到的损失特征Rd进行分类并制作相应的标签，分类等级有优、 良、中和不合格四个等级，分别编码为分别编码为
Figure 857556DEST_PATH_IMAGE004
、
Figure 969869DEST_PATH_IMAGE005
、
Figure 478604DEST_PATH_IMAGE006
和
Figure 676367DEST_PATH_IMAGE007
，其 中分类等级的具体划分准则为：
优：车身焊接无瑕疵，完全符合出厂准则；
良：车身焊接存有一定的瑕疵，瑕疵处于不明显的位置，人眼难以辨别；
中：车身焊接存有一定的瑕疵，瑕疵处于明显的位置，人眼可以辨别；
不合格：车身存有肉眼可见的焊接缺陷，严重影响外观和车辆的安全性。
步骤3.2，利用Tensorflow框架搭建差值卷积神经网络，其架构为：输入层-卷积层1-池化层1-卷积层2-池化层2-卷积层3-池化层3-Flatten层-全连接层1-全连接层2-Softmax层；
步骤3.3，利用卷积层对上一层的输出进行特征提取，并接着利用提出的最大加权平均池化（Maximum weighted average pooling，MWA Pooling）算法对卷积层的输出进行特征降维，MWA Pooling的算法原理可表述如下：
对m×n维的卷积层的输出特征
Figure 489602DEST_PATH_IMAGE008
，计算其均值
Figure 456421DEST_PATH_IMAGE009
和最大值
Figure 634593DEST_PATH_IMAGE010
，即：
Figure 319652DEST_PATH_IMAGE011
Figure 841638DEST_PATH_IMAGE012
接着计算MWA Pooling的结果
Figure 662964DEST_PATH_IMAGE013
：
Figure 74353DEST_PATH_IMAGE014
步骤3.4，重复步骤3.3以完成卷积层2-池化层2-卷积层3-池化层3的运算；
步骤3.5，将池化层3的输出以Flatten的方式展开，并依次连接全连接层1-全连接层2-Softmax层；
步骤3.6，利用随机梯度下降算法对网络参数进行更新，并重复训练直至网络收敛，此处损失函数在原有的交叉熵损失函数的基础上添加了差值损失项，具体的表达式为：
Figure 184392DEST_PATH_IMAGE016
式中，N为样本总量，
Figure 829176DEST_PATH_IMAGE017
为实际样本标签，
Figure 973849DEST_PATH_IMAGE018
为Softmax层判别的标签，
Figure 290561DEST_PATH_IMAGE019
和
Figure 950213DEST_PATH_IMAGE020
分别表示第p个原始图像和第q个标准图像；
步骤4，模型在线判别：将步骤1~步骤3训练得到的差值卷积神经网络安装于上位机中，实时对采集的车身焊接图像进行质量的评判。
图2为本发明的评判系统的示意图。从图中可以清晰的看出：对六个方向的视图（主视图、俯视图、左视图、右视图、仰视图和后视图），分别训练对应的差值卷积神经网络，然后利用训练好的差值神经网络对各视图进行焊接质量等级的评估，最终给出评估的结果，其中的每个视图都对应一个差值神经网络，使得模型更具有针对性，从而提高了模型的判别精度。
图3为本发明所用的差值卷积神经网络的结构图。从图中可以清晰的看出，差值卷积神经网络主要包含两大模块，分别为：输入数据特征增强模块和差值卷积神经网络模块。对输入数据特征增强模块来说，通过提出的相扰动差值损失构建实时采集的图像与标准图像间的损失特征，有效的量化了采集图像与对标准图像间的差异，增强了模型的输入特征；对差值卷积神经网络模块来说，其网络的架构为：输入层-卷积层1-池化层1-卷积层2-池化层2-卷积层3-池化层3-Flatten层-全连接层1-全连接层2-Softmax层，其中提出了MWAPooling池化算法和增加了差值损失项的损失函数，从而可以更好的抓取到局部特征和量化实际输出与理论输出间的差异，提高模型的收敛速度和评判的精度。综上，通过该模型可以准确有效的对车身焊接质量进行评估，保证了汽车出厂的质量。
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

Claims (1)

1.基于差值卷积神经网络的车身焊接质量信息评判方法，具体步骤如下，其特征在于：
步骤1，车身图像采集：利用高清相机多方位采集车身焊接图像，其中方位包括主视图、俯视图、左视图、右视图、仰视图和后视图六个方向；
步骤2，损失特征构建：利用提出的相对扰动差值损失构建六个方位采集的图像与标准图像的损失特征；
具体步骤为：
步骤2.1，对摄像机所在的六个方位，各选取500张焊接等级为优秀的车身焊接图像，并计算各方位图像所在像素点的均值，并以之为各方位的标准图像；
步骤2.2，将实时采集的图像与标准图像进行计算以构建损失特征Rd，其表达式为：
Figure 958453DEST_PATH_IMAGE001
式中，
Figure 896322DEST_PATH_IMAGE002
和
Figure 863141DEST_PATH_IMAGE003
分别表示实时采集的图像与标准图像；
步骤3，模型离线训练：利用步骤2构建的损失特征对差值卷积神经网络进行训练，直至网络收敛；
对差值卷积神经网络进行训练的具体步骤为：
步骤3.1，将步骤2得到的损失特征Rd进行分类并制作相应的标签，分类等级有优、良、中和不合格四个等级，分别编码为
Figure 251700DEST_PATH_IMAGE004
、
Figure 671180DEST_PATH_IMAGE005
、
Figure 147161DEST_PATH_IMAGE006
和
Figure 296383DEST_PATH_IMAGE007
，其中分类等级的具体划分准则为：
优：车身焊接无瑕疵，完全符合出厂准则；
良：车身焊接存有一定的瑕疵，瑕疵处于不明显的位置，人眼难以辨别；
中：车身焊接存有一定的瑕疵，瑕疵处于明显的位置，人眼可以辨别；
不合格：车身存有肉眼可见的焊接缺陷，严重影响外观和车辆的安全性；
步骤3.2，利用Tensorflow框架搭建差值卷积神经网络，其架构为：输入层-卷积层1-池化层1-卷积层2-池化层2-卷积层3-池化层3-Flatten层-全连接层1-全连接层2-Softmax层；
步骤3.3，利用卷积层对上一层的输出进行特征提取，并接着利用提出的最大加权平均池化Maximum weighted average pooling，MWA Pooling算法对卷积层的输出进行特征降维，MWA Pooling的算法原理表述如下：
对m×n维的卷积层的输出特征
Figure 707772DEST_PATH_IMAGE008
，计算其均值
Figure 739182DEST_PATH_IMAGE009
和最大值
Figure 628641DEST_PATH_IMAGE010
，即：
Figure 694686DEST_PATH_IMAGE011
Figure 276977DEST_PATH_IMAGE012
接着计算MWA Pooling的结果
Figure 795683DEST_PATH_IMAGE013
：
Figure 488832DEST_PATH_IMAGE014
步骤3.4，重复步骤3.3以完成卷积层2-池化层2-卷积层3-池化层3的运算；
步骤3.5，将池化层3的输出以Flatten的方式展开，并依次连接全连接层1-全连接层2-Softmax层；
步骤3.6，利用随机梯度下降算法对网络参数进行更新，并重复训练直至网络收敛，此处损失函数在原有的交叉熵损失函数的基础上添加了差值损失项，具体的表达式为：
Figure 143805DEST_PATH_IMAGE015
式中，N为样本总量，
Figure 896997DEST_PATH_IMAGE016
为实际样本标签，
Figure 902999DEST_PATH_IMAGE017
为Softmax层判别的标签，
Figure 399840DEST_PATH_IMAGE018
和
Figure 440477DEST_PATH_IMAGE019
分别表示第p个原始图像和第q个标准图像；
步骤4，模型在线判别：将步骤1~步骤3训练得到的差值卷积神经网络安装于上位机中，实时对采集的车身焊接图像进行质量的评判。
CN202110708024.2A 2021-06-25 2021-06-25 基于差值卷积神经网络的车身焊接质量信息评判方法 Active CN113256620B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110708024.2A CN113256620B (zh) 2021-06-25 2021-06-25 基于差值卷积神经网络的车身焊接质量信息评判方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110708024.2A CN113256620B (zh) 2021-06-25 2021-06-25 基于差值卷积神经网络的车身焊接质量信息评判方法

Publications (2)

Publication Number Publication Date
CN113256620A CN113256620A (zh) 2021-08-13
CN113256620B true CN113256620B (zh) 2021-09-28

Family

ID=77189604

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110708024.2A Active CN113256620B (zh) 2021-06-25 2021-06-25 基于差值卷积神经网络的车身焊接质量信息评判方法

Country Status (1)

Country Link
CN (1) CN113256620B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455860B (zh) * 2023-10-26 2024-04-09 宁波市宇星水表有限公司 水表出厂数据监控管理系统
CN117852948B (zh) * 2023-12-21 2024-06-21 山东理工职业学院 基于人工智能的汽车生产监管方法及系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9314878B2 (en) * 2013-09-12 2016-04-19 Ford Global Technologies, Llc Non-destructive aluminum weld quality estimator
CN105891215B (zh) * 2016-03-31 2019-01-29 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置
CN106296679A (zh) * 2016-08-08 2017-01-04 武汉科技大学 一种确定直缝焊管焊接质量的方法
CN108127241A (zh) * 2017-12-18 2018-06-08 武汉捷众汽车零部件有限公司 一种焊接机器人智能控制系统
CN108269254B (zh) * 2018-01-17 2020-12-01 百度在线网络技术（北京）有限公司 图像质量评估方法和装置
CN108337504A (zh) * 2018-01-30 2018-07-27 中国科学技术大学 一种评价视频质量的方法及装置
CN108346151A (zh) * 2018-03-12 2018-07-31 湖南大学 一种判断激光焊接熔透性的方法
US11014184B2 (en) * 2018-04-23 2021-05-25 Hitachi, Ltd. In-process weld monitoring and control
CN108956653A (zh) * 2018-05-31 2018-12-07 广东正业科技股份有限公司 一种焊点质量检测方法、系统、装置及可读存储介质
CN109001211A (zh) * 2018-06-08 2018-12-14 苏州赛克安信息技术有限公司 基于卷积神经网络的长输管道焊缝检测系统及方法
CN109308489B (zh) * 2018-09-03 2021-09-10 中国人民解放军国防科技大学 一种元件电弧焊焊接质量检测方法
CN109886298B (zh) * 2019-01-16 2023-06-16 成都戎盛科技有限公司 一种基于卷积神经网络的焊缝质量检测方法
CN110458828B (zh) * 2019-08-12 2023-02-10 广东工业大学 一种基于多模态融合网络的激光焊接缺陷识别方法及装置
CN110569763B (zh) * 2019-08-27 2022-05-24 高新兴科技集团股份有限公司 一种用于细粒度人脸识别的眼镜去除方法
CN111069819A (zh) * 2019-11-27 2020-04-28 广州明珞汽车装备有限公司 一种基于人工智能的焊接质量预测系统及方法
CN111862040B (zh) * 2020-07-20 2023-10-31 中移（杭州）信息技术有限公司 人像图片质量评价方法、装置、设备及存储介质
CN112614110B (zh) * 2020-12-24 2022-11-04 Oppo（重庆）智能科技有限公司 评估图像质量的方法、装置及终端设备

Also Published As

Publication number Publication date
CN113256620A (zh) 2021-08-13

Similar Documents

Publication Publication Date Title
CN110598736B (zh) 一种电力设备红外图像故障定位、识别与预测方法
CN113256620B (zh) 基于差值卷积神经网络的车身焊接质量信息评判方法
CN110310261B (zh) 一种接触网吊弦缺陷检测模型训练方法和缺陷检测方法
CN110262463B (zh) 一种基于深度学习的轨道交通站台门故障诊断系统
CN110097053B (zh) 一种基于改进Faster-RCNN的电力设备外观缺陷检测方法
CN110689011A (zh) 多尺度联合卷积神经网络的太阳能电池板缺陷检测方法
CN110135521A (zh) 基于卷积神经网络的极片极耳缺陷检测模型、检测方法及系统
CN113870260A (zh) 一种基于高频时序数据的焊接缺陷实时检测方法及系统
CN114881956A (zh) 基于霍夫变换的电池板栅线自适应提取方法及系统
CN111539657A (zh) 结合用户日用电量曲线的典型用电行业负荷特性分类与综合方法
CN113570571A (zh) 一种工业边缘端动力电池缺陷检测方法及系统
CN117269168B (zh) 一种新能源汽车精密零配件表面缺陷检测装置及检测方法
CN110142803B (zh) 一种移动焊接机器人系统工作状态检测方法及装置
CN114858455A (zh) 基于改进GAN-OSNet的滚动轴承故障诊断方法及系统
CN114018951A (zh) 基于dcgan显著特征样本扩大预处理的塑料件焊缝检测方法
CN114167830A (zh) 基于机器视觉与边缘智能的焊接过程监测及质量诊断方法
CN113392773A (zh) 基于图谱信息融合的卷积神经网络的变压器故障诊断系统
Jiang et al. An enhancement generative adversarial networks based on feature moving for solar panel defect identification
CN113421252B (zh) 一种基于改进的卷积神经网络的车身焊接缺陷的检测方法
CN112651454B (zh) 一种电力设备红外数据采集系统和螺旋式数据处理方法
Han et al. Stack workpieces recognition model based on deep learning
Zhu et al. Residual attention dual autoencoder for anomaly detection and localization in cigarette packaging
Duongthipthewa et al. Detection Welding Performance of Industrial Robot Using Machine Learning
CN115456989A (zh) 一种高精准度飞机蒙皮缺陷检测的识别方法
Zhang et al. A Similarity Measurement Algorithm for Spacecraft Telemetry Time Series

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant