CN113207286A - 外观检查装置及使用该外观检查装置判定焊接部位有无形状不良及形状不良的种类的判定精度的提高方法、焊接系统及使用该焊接系统的工件的焊接方法 - Google Patents

外观检查装置及使用该外观检查装置判定焊接部位有无形状不良及形状不良的种类的判定精度的提高方法、焊接系统及使用该焊接系统的工件的焊接方法 Download PDF

Info

Publication number
CN113207286A
CN113207286A CN201980083360.3A CN201980083360A CN113207286A CN 113207286 A CN113207286 A CN 113207286A CN 201980083360 A CN201980083360 A CN 201980083360A CN 113207286 A CN113207286 A CN 113207286A
Authority
CN
China
Prior art keywords
welding
shape
determination
unit
workpiece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980083360.3A
Other languages
English (en)
Other versions
CN113207286B (zh
Inventor
吉田成志
酒井彻
厚田鸣海
樱井通雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN113207286A publication Critical patent/CN113207286A/zh
Application granted granted Critical
Publication of CN113207286B publication Critical patent/CN113207286B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B5/00—Measuring arrangements characterised by the use of mechanical techniques
    • G01B5/0037—Measuring of dimensions of welds
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/02—Positioning or observing the workpiece, e.g. with respect to the point of impact; Aligning, aiming or focusing the laser beam
    • B23K26/03—Observing, e.g. monitoring, the workpiece
    • B23K26/032—Observing, e.g. monitoring, the workpiece using optical means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K26/00—Working by laser beam, e.g. welding, cutting or boring
    • B23K26/20—Bonding
    • B23K26/21—Bonding by welding
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/006—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to using of neural networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • B23K31/12—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to investigating the properties, e.g. the weldability, of materials
    • B23K31/125—Weld quality monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B23K9/0953—Monitoring or automatic control of welding parameters using computing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/095—Monitoring or automatic control of welding parameters
    • B23K9/0956—Monitoring or automatic control of welding parameters using sensing means, e.g. optical
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K9/00—Arc welding or cutting
    • B23K9/16—Arc welding or cutting making use of shielding gas
    • B23K9/173—Arc welding or cutting making use of shielding gas and of a consumable electrode
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Plasma & Fusion (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

外观检查装置(20)包括图像处理部(23)、学习数据集生成部(25)、判定模型生成部(26)以及第一判定部(27)，图像处理部(23)基于由形状计测部(21)计测出的形状数据，生成焊接部位(201)的图像数据，学习数据集生成部(25)按照工件(200)的每种材质及形状对由图像处理部(23)生成的多个图像数据进行分类并进行数据扩展，生成多个学习数据集，判定模型生成部(26)使用多个学习数据集，按照工件(200)的每种材质及形状来生成焊接部位(201)的形状的判定模型，第一判定部(27)基于从图像处理部(23)读出的图像数据和判定模型，判定焊接部位(201)的形状的良好与否。

Description

外观检查装置及使用该外观检查装置判定焊接部位有无形状 不良及形状不良的种类的判定精度的提高方法、焊接系统及 使用该焊接系统的工件的焊接方法
技术领域
本发明涉及一种外观检查装置及使用该外观检查装置判定焊接部位有无形状不良及形状不良的种类的判定精度的提高方法、焊接系统及使用该焊接系统的工件的焊接方法。
背景技术
以往，作业人员大多通过目视来进行焊接部位的形状检查，其检查工时成为问题。另外，根据进行检查的工作人员的不同，判断存在偏差，有时无法保证规定的焊接品质。
对此，提出了一种使用具有形状计测传感器的外观检查装置来检查焊接部位的形状的技术。例如，在专利文献1所公开的方法中，在工件的焊接部位扫描并投影来自激光光源的狭缝光，通过计测相机来拍摄所得到的形状线。进而，基于拍摄结果取得焊接部位的三维形状作为点云数据，根据该点云数据得到焊接部位的所希望的剖面形状。
专利文献1：日本公开专利公报特开2012-037487号公报
发明内容
-发明要解决的技术问题-
然而，在判定焊接部位的形状的良好与否的情况下，基于预先设定的判定基准进行判定。
但是，就该判定基准而言，需要按照不同种类的每个焊接部位并且按照每个形状检查项目而设定多个判定基准，判定基准的设定作业变得繁琐，需要工时。另外，焊接部位的形状不良存在很多模式，并且，根据焊接工序中的判定基准，不仅仅需要判定有无形状不良，也需要判定焊接部位中的不良部位的位置、不良部位的尺寸等，判定良好与否时需要很多工时。另外，为了进行上述的判定，必须取得大量的极限样本，需要非常多的工时。
但是，在专利文献1中没有公开任何消除上述问题的对策。
本发明是鉴于上述方面而完成的，其目的在于，提供一种能够以较少的工时高精度地判定焊接部位的形状良好与否的外观检查装置及使用该外观检查装置判定焊接部位有无形状不良及形状不良的种类的判定精度的提高方法、焊接系统及使用该焊接系统的工件的焊接方法。
-用以解决技术问题的技术方案-
为了实现上述目的，本发明的外观检查装置检查工件的焊接部位的外观，其特征在于，所述外观检查装置包括形状计测部、图像处理部、学习数据集生成部、判定模型生成部、以及第一判定部，所述形状计测部计测所述焊接部位的形状，所述图像处理部基于由所述形状计测部计测出的形状数据，生成所述焊接部位的图像数据，所述学习数据集生成部按照所述工件的每种材质及形状对由所述图像处理部生成的多个图像数据进行分类，并且，对分类后的所述图像数据进行数据扩展处理而生成多个学习数据集，所述判定模型生成部使用所述多个学习数据集，按照所述工件的每种材质及形状来生成用于进行所述焊接部位的形状的良好与否判定的判定模型，所述第一判定部基于从所述图像处理部读出的所述图像数据和由所述判定模型生成部生成的一个或多个判定模型，判定所述焊接部位的形状的良好与否。
根据该构成方式，能够基于较少的图像数据，生成所需要的量的学习数据集，使判定模型高精度化，因此，能够高精度地判定焊接部位的形状良好与否。另外，无需大量取得学习用的图像数据，能够大幅削减用于判定形状良好与否的工时。
本发明的判定焊接部位有无形状不良及形状不良的种类的判定精度的提高方法使用所述外观检查装置来判定焊接部位有无形状不良及形状不良的种类，其特征在于，所述判定焊接部位有无形状不良及形状不良的种类的判定精度的提高方法至少包括外观检查步骤、形状不良判定步骤、目视确认步骤、以及准确与否判断步骤，在所述外观检查步骤中，检查所述工件的所述焊接部位的外观，在所述形状不良判定步骤中，基于所述外观检查步骤中的检查结果，判定所述焊接部位中有无形状不良及形状不良的种类，在所述目视确认步骤中，通过人眼来确认所述焊接部位，在所述准确与否判断步骤中，对所述目视确认步骤中的确认结果与所述形状不良判定步骤中的判定结果进行比较对照，判断所述形状不良判定步骤中的判定结果是否准确，在所述准确与否判断步骤中的判断结果为否定的情况下，执行注释步骤、学习数据集生成步骤、以及重新学习步骤后，再次返回形状不良判定步骤，反复执行一系列的处理，直至所述准确与否判断步骤中的判断结果成为肯定，在所述注释步骤中，将在所述目视确认步骤中确定出的有无形状不良及形状不良的种类标注于所述焊接部位的图像数据，在所述学习数据集生成步骤中，基于执行所述注释步骤后的所述焊接部位的图像数据，生成所述学习数据集，在所述重新学习步骤中，使用在所述学习数据集生成步骤中生成的所述学习数据集，进行所述判定模型的重新学习。
根据该方法，能够提高判定模型的学习效率及其精度。另外，能够提高外观检查装置的第一判定部中的判定焊接部位的形状的良好与否的判定精度，能够准确地评价工件的焊接成品率。
另外，本发明的焊接系统的特征在于，包括焊接装置和所述外观检查装置，所述焊接装置对工件进行焊接，所述焊接装置至少包括焊接头和输出控制部，所述焊接头用于向所述工件输入热量，所述输出控制部控制所述焊接头的焊接输出。
根据该构成方式，能够以较少的工时高精度地检查焊接部位的形状，能够降低焊接工序的成本。
本发明的工件的焊接方法的特征在于，包括焊接步骤、形状判定步骤、以及能否重新焊接判定步骤，在所述焊接步骤中，通过所述焊接装置对所述工件的规定的部位进行焊接，在所述形状判定步骤中，在所述焊接步骤结束后使用所述外观检查装置来判定所述工件的焊接部位的形状的良好与否，在所述能否重新焊接判定步骤中，基于所述形状判定步骤中的判定结果，判定是否能够通过重新焊接来修复所述焊接部位中的形状不良部位，在所述形状判定步骤中的判定结果为肯定的情况下，开始该工件中的其他部位的焊接，或者开始下一个工件的焊接，在所述形状判定步骤中的判定结果为否定的情况下，执行所述能否重新焊接判定步骤，在所述能否重新焊接判定步骤中的判定结果为肯定的情况下，按照由所述输出控制部设定的重新焊接条件，对所述形状不良部位进行重新焊接。
根据该方法，通过判定焊接部位的形状的良好与否及形状不良部位的修复可能性，并按照基于这些判定结果的重新焊接条件对焊接部位进行重新焊接，从而能够减少工件的焊接不良，并且提高焊接品质。
-发明的效果-
根据本发明的外观检查装置，能够基于较少的图像数据，高精度地判定焊接部位的形状良好与否。根据本发明的判定焊接部位有无形状不良及形状不良的种类的判定精度的提高方法，能够提高判定模型的学习效率及其精度。另外，能够提高利用外观检查装置判定焊接部位的形状的良好与否的判定精度。根据本发明的焊接系统，能够以较少的工时高精度地检查焊接部位的形状，能够降低焊接工序的成本。根据本发明的工件的焊接方法，能够减少工件的焊接不良，并且能够提高焊接品质。
附图说明
图1是示出本发明的第一实施方式的焊接系统的结构的示意图。
图2是外观检查装置的功能框图。
图3A是示出焊接部位的不良模式的一例的平面示意图。
图3B是沿图3A的IIIB-IIIB线剖切的剖面示意图。
图3C是沿图3A的IIIC-IIIC线剖切的剖面示意图。
图3D是沿图3A的IIID-IIID线剖切的剖面示意图。
图3E是沿图3A的IIIE-IIIE线剖切的剖面示意图。
图4A是示出学习数据集的制作步骤的一例的示意图。
图4B是示出学习数据集的制作步骤的另一例的示意图。
图4C是示出学习数据集的制作步骤的又一例的示意图。
图5是示出提高判定有无形状不良及形状不良的种类的判定精度的作业步骤的流程图。
图6是示出与焊缝的始端部相关的学习数据集的制作步骤的一例的示意图。
图7是本发明的第二实施方式的外观检查装置的功能框图。
图8是焊接装置的输出控制部的功能框图。
图9是示出工件的焊接步骤的流程图。
图10是本发明的第三实施方式的焊接装置的输出控制部的功能框图。
图11是示出另一焊接系统的结构的示意图。
具体实施方式
以下，基于附图对本发明的实施方式详细进行说明。以下优选的实施方式的说明本质上只不过是示例而已，完全没有对本发明、本发明的应用对象或本发明的用途加以限制的意图。
(实施方式)
[焊接系统的结构]
图1示出本实施方式的焊接系统的结构的示意图，焊接系统100具有焊接装置10和外观检查装置20。
焊接装置10具有焊炬11、焊丝进给装置13、电源14、输出控制部15、机械臂16、以及机器人控制部17。通过从电源14向保持于焊炬11的焊丝12供给电力，在焊丝12的前端与工件200之间产生电弧，工件200被输入热量而进行电弧焊接。需要说明的是，焊接装置10具有用于向焊炬11供给保护气体的配管、储气瓶等其他构成部件或设备，但为了方便说明，省略它们的图示及说明。
输出控制部15与电源14及焊丝进给装置13连接，输出控制部15按照规定的焊接条件，控制焊炬11的焊接输出，换言之，控制向焊丝12供给的电力及电力供给时间。另外，输出控制部15控制从焊丝进给装置13向焊炬11进给的焊丝12的进给速度及进给量。需要说明的是，关于焊接条件，可以经由未图示的输入部直接向输出控制部15输入，也可以选自从另外的记录介质等读出的焊接程序。
机械臂16是公知的多关节轴机器人，其在前端保持焊炬11，并且与机器人控制部17连接。机器人控制部17控制机械臂16的动作，使得焊炬11的前端、换言之保持于焊炬11的焊丝12的前端描绘规定的焊接轨迹向所希望的位置移动。
外观检查装置20具有形状计测部21和数据处理部22，形状计测部21安装在机械臂16或焊炬11上，用于计测工件200的焊接部位201的形状。之后详述外观检查装置20的结构。
需要说明的是，在图1中，作为焊接装置10示例了电弧焊接装置，但并非特别限定于此。例如，焊接装置10也可以是激光焊接装置。在该情况下，代替焊炬11，将经由光纤(未图示)与激光振荡器(未图示)连接的激光头(未图示)安装并保持在机械臂16上。另外，在以后的说明中，有时将焊炬11和激光头统称为焊接头11。
[外观检查装置的结构]
图2示出外观检查装置的功能框图。需要说明的是，数据处理部22具有多个功能块，具体而言，具有图像处理部23、第一存储部24、学习数据集生成部25、判定模型生成部26、第一判定部27以及通知部28。通常，数据处理部22由个人计算机构成，其通过执行安装在CPU(Central Processing Unit，中央处理器)或GPU(Graphics Processing Unit，图形处理器)上的软件而构成数据处理部22内的多个功能块。
形状计测部21是公知的结构，其例如是由激光光源(未图示)和相机(未图示)构成的三维形状计测传感器，该激光光源构成为能够扫描工件200的表面，该相机拍摄投影在工件200的表面上的激光的反射轨迹(以下，有时称为形状线。)。通过形状计测部21，利用激光光线对工件200的整个焊接部位201进行扫描，利用相机拍摄在焊接部位201反射后的激光光线，由此计测焊接部位201的形状。需要说明的是，形状计测部21构成为：不仅对焊接部位201进行形状计测，还对其周围在规定范围内也进行形状计测。这是为了评价有无后述的飞溅物204或污物206(参照图3A)。需要说明的是，相机具有CCD或CMOS图像传感器作为拍摄元件。另外，形状计测部21的结构没有特别限定于上述结构，能够采用其他结构。例如，也可以代替相机而使用光干涉计。
图像处理部23接受由形状计测部21取得的形状数据，将该形状数据转换成图像数据。例如，图像处理部23取得由形状计测部21拍摄到的形状线的点云数据。另外，图像处理部23通过对点云数据进行统计处理，来修正焊接部位201的基底部分相对于规定的基准面、例如工件200的设置面的倾斜或形变等，生成与焊接部位201的形状相关的图像数据。除此以外，例如，为了强调焊接部位201的形状、位置，也有时进行强调焊接部位201的周缘的边缘强调修正。
另外，图像处理部23根据工件200的形状，并且根据焊接部位201的形状的检查项目，提取图像数据的特征量。在该情况下，针对一个图像数据，提取与一个或多个检查项目对应的一个或多个特征量。另外，所提取的特征量与图像数据相关联，用于以后的数据处理。这里，特征量是指从图像数据提取的特定的各种因素，作为代表性的特征量，有焊接部位201的长度、宽度、距基准面的高度、以及焊接部位201内的多个点之间的长度、宽度、高度之差等。但是，不特别限定于此，根据在各检查项目中判定的内容，适当设定特征量。
另外，图像处理部23具有由形状计测部21取得的数据的噪声去除功能。根据工件200的材质的不同，从形状计测部21出射的激光的反射率不同，因此，当反射率过高时，引起光晕等而形成噪声，有时无法顺利地生成点云数据等图像数据。因此，在图像处理部23中构成为通过软件进行噪声的滤波处理。需要说明的是，通过对形状计测部21本身设置光学滤波器(未图示)，同样也能够去除噪声。通过并用光学滤波器和软件上的滤波处理，能够得到高品质的图像数据。另外，由此，能够提高后述的学习数据集的判定模型的品质，能够高精度地判定焊接部位201的形状良好与否。
在焊接成为评价对象的工件200之前，第一存储部24中保存有已被处理的其他工件200中的焊接部位201的图像数据。另外，第一存储部24在焊接实际的工件200之前保存有在实验中取得的样本图像数据。样本图像数据包括成为评价对象的焊接部位201的形状良好的合格品数据、以及形状存在某些不良情况的不合格品数据。需要说明的是，其他工件200中的焊接部位201的图像数据和成为评价对象的工件200中的焊接部位201的图像数据当然是针对具有同样的形状及材质的工件200内的同样的焊接部位201而取得的。
学习数据集生成部25读出由图像处理部23生成并保存于第一存储部24的图像数据，按照工件200的每种材质及形状进行分类。另外，也可以按照焊接部位201的每个检查项目进行分类。在该情况下，相同的图像数据也可以分别包含在不同的检查项目中。另外，学习数据集生成部25基于与图像数据相关联的特征量，按照工件200的每种材质及形状而生成学习数据集，即，生成被输入到后述的判定模型并用于提高判定模型的判定精度的学习数据的组。例如，以矩阵的形式对工件200的材质和形状进行整理来决定分类的类别，与该类别对应地对学习数据集进行分类(参照图2)。需要说明的是，作为工件200的形状的例子，举出板材的对接或重合、T字接头或十字接头等。
另外，学习数据集生成部25对从第一存储部24读出的图像数据进行数据扩展处理，生成学习数据集。具体而言，通过使与图像数据相关联的一个或多个特征量变化、或改变焊接部位201的图像数据中的形状不良部位的位置、或者执行这两者，来执行数据扩展处理。之后详述学习数据集的生成步骤。
判定模型生成部26针对按照工件200的每种材质及形状而设定的焊接部位201的检查项目，基于在各个项目中设定的判定基准，生成判定模型。所生成的判定模型通过分别进行了加权的多个识别器的组合等得以表现。例如，通过CNN(Convolutional NeuralNetwork；卷积神经网络)等得以表现。
另外，判定模型生成部26向按照工件200的每种材质及形状而生成的各判定模型输入多个学习数据集中的与工件200的每种材质及形状对应的学习数据集，反复进行学习，由此提高各判定模型的判定精度。在该情况下，根据图2所示的分类的类别来生成判定模型。需要说明的是，反复进行学习，直至判定模型的准确率(accuracy rate)、再现率、精度满足预先设定的值。
另外，在生成判定模型时，根据工件200的材质及形状，适当地选择并使用样本图像数据中的合格品数据及不合格品数据，由此，能够缩短判定模型的生成时间，实现判定模型的高精度化。同样，在按照焊接部位201的每个检查项目而生成判定模型的情况下，根据检查项目，适当地选择并使用样本图像数据中的合格品数据及不合格品数据，由此，能够缩短判定模型的生成时间，实现判定模型的高精度化。
第一判定部27基于由图像处理部23生成的焊接部位201的图像数据、和由判定模型生成部26生成的判定模型中的与选择出的检查项目对应的判定模型，判定焊接部位201的形状是否良好，换言之，是否满足规定的判定基准。
但是，如后所述，由于形状不良的模式涉及多方面，因此，实际上以概率的形式计算图像数据中所包含的形状异常部分是怎样的不良模式，如果为规定值以上的概率，则判定为形状不良好。例如，将判定为图像数据中包含形状不良部位并且其种类为飞溅物204(参照图3A)的概率(例如考虑形状、尺寸和/或位置等计算概率)显示于未图示的显示部。如果概率值为70％以上，则判定为该形状不良部位是飞溅物204。需要说明的是，能够任意地设定判定的阈值和显示形式。例如也可以是，如果是飞溅物204，则显示为红色，如果是穿孔202(参照图3A)，则显示为黄色。另外，在作为检查项目而设定了有无飞溅物204及飞溅物204的上限个数的情况下，也可以以与背景不同的颜色显示识别为飞溅物204的部分，并且，通过颜色区分来显示是飞溅物204的概率。例如也可以是，如果为30％以下的概率，则显示为绿色，如果为70％以上的概率，则显示为红色。需要说明的是，当然也能够任意地设定该情况下的概率范围的划分和对应的颜色设定等。另外，在飞溅物204的尺寸也包含在形状良好与否的判定基准内的情况下，当然对基于图像数据计算出的飞溅物204的尺寸与判定基准进行比较，进行形状良好与否的判定。
需要说明的是，由于焊接部位201的形状的检查项目涉及多方面，因此，按照每个检查项目进行形状的良好与否判定，仅在需要判定的全部检查项目都已得到满足的情况下，进行最终的合格品判定。
通知部28构成为，将第一判定部27中的判定结果通知给输出控制部15、机器人控制部17以及焊接作业人员、或者系统管理者。判定结果可以显示于焊接系统100的未图示的显示部，或者从未图示的打印机输出，或者也可以通过这两者进行通知。如果仅仅是通知最终的判定结果，则也可以从未图示的声音输出部作为声音而输出。需要说明的是，从通知部28通知的判定结果优选不仅通知最终的判定，还通知每个检查项目的判定结果。通过这种方式，焊接作业人员或系统管理者能够具体地知晓在焊接部位201中发生了怎样的不良情况。
需要说明的是，构成为：在第一判定部27中的判定结果为肯定、即判定出焊接部位201的形状良好的情况下，焊接系统100连续地对同一工件200内的下一个焊接部位201进行焊接，或者对下一个工件200中的同样的焊接部位201进行焊接。
另一方面，在第一判定部27中的判定结果为否定，即判定出焊接部位201的形状不良好的情况下，输出控制部15停止焊炬11的焊接输出，机器人控制部17使机械臂16的动作停止，或者以焊炬11来到规定的初始位置的方式使机械臂16动作。
[学习数据集的生成步骤]
图3A～图3E示出在焊接部位产生的形状不良部位的一例，图4A～图4C示出学习数据集的生成步骤的一例。需要说明的是，图3A～图3E示出对接焊接时的焊接部位201的形状，图3A示出平面形状，图3B～图3E示出沿图3A的IIIB-IIIB线至IIIE-IIIE线剖切的剖视图。
如图3A～图3E所示，在对工件200进行了电弧焊接或激光焊接的情况下，由于焊接条件的设定的不良情况或使用低品质的工件200等，因此在该焊接部位201可能产生各种形状不良。例如，有时焊接部位201的一部分烧穿(以下，有时将焊接部位201的一部分从工件200烧穿而形成于工件200的通孔称为穿孔202)或产生咬边203。需要说明的是，咬边203是指焊缝的边缘的部分比工件200的表面凹陷的状态下的不良情况部分。另外，焊接部位201的长度、宽度、距基准面的高度有时从各自的设计值L、W、H超过容许范围ΔL、ΔW、ΔH而变动。另外，有时在形成于焊丝12的前端的熔滴(未图示)向工件200转移时熔滴的一部分或工件200的熔融金属的微粒飞散而产生飞溅物204，或者在工件200为镀锌钢板的情况下，一部分从焊接部位201蒸发而产生凹坑205，或者在工件200或焊丝12为铝系材料的情况下，在焊接部位201的附近产生污物206。
需要说明的是，凹坑205是在焊缝的表面开口的部分，污物206是在焊缝的附近产生的黑色碳黑状的附着物，包含上述的穿孔202、咬边203、飞溅物204等在内，分别是形状不良的模式(种类)之一。
这样，焊接部位201的形状不良存在各种模式，需要对它们分别设置判定基准来进行检查。例如，关于穿孔202和咬边203，不仅需要判定它们的有无，还需要设定用于确定为穿孔202等的例如与焊接部位201的周围的对比度或高度之差等来进行良好与否判定。另外，例如，如果说是飞溅物204，则需要设定其平均直径，利用每单位面积存在平均直径为规定值以上的飞溅物204的个数来进行良好与否判定。而且，根据工件200的材质、焊接部位、以及顾客的要求规格等，改变或追加焊接部位201的检查项目数量或形状的良好与否判定基准。
此外，根据图像数据判定有无形状不良的判定基准由于工件200的材质及形状的不同而不同。如上所述，激光的反射率根据工件200的材质的不同而不同，因此，例如，图像数据的亮度等级或对比度也会改变。另外，根据工件200的形状的不同，即便在对相同长度的直线部进行焊接的情况下，有时在重力等的影响下，焊接部位201的焊缝形状也会发生变化。
因此，判定模型生成部26需要按照工件200的每种材质及形状，分别使用大量的学习数据来生成判定模型。即，需要按照工件200的每种材质及形状，大量取得适合作为学习数据的焊接部位201的图像数据。但是，按照工件200的每种材质及形状预先取得所需的图像数据，就需要庞大的工时，从而效率低。
对此，在本实施方式中，在学习数据集生成部25中，按照工件200的每种材质及形状对从第一存储部24读出的图像数据进行分类，对分类后的图像数据分别进行数据扩展处理，生成多个在生成判定模型时需要的学习数据的组，即学习数据集。
例如，如图4A所示，作为学习数据集，生成在原始的图像数据中使作为特征量之一的焊接部位201的长度或位置变化而得到的多个数据。需要说明的是，在图4A中，示出生成了从焊接部位201的长度的基准值L超出容许范围ΔL而缩短的多个图像数据的例子，但不特别限定于此，另外也生成从长度的基准值L超出容许范围ΔL而变长的图像数据。
或者，如图4B所示，作为学习数据集，在原始的图像数据中生成使穿孔202的尺寸或位置变化而得到的多个数据。在该情况下，作为特征量，提取距基准面的高度及焊接部位201内的多个点之间的该高度之差，使它们变动。另外，在焊接部位201的周围提取同样的特征量，基于该特征量生成学习数据集，由此，能够判定飞溅物204或污物206是否超过容许范围而存在(参照图4C)。
另外，根据工件200的形状的不同，有时产生形状不良的误判定。从形状计测部21照射的激光通常只沿着规定的方向进行扫描。因此，根据焊接部位201的表面凹凸的程度，激光被遮挡或被漫反射，可能产生图像数据的品质下降的部分。例如，在形成于焊接部位201的焊缝的始端部或终端部的附近，有时由于焊缝的堆高等的影响而使激光发生漫反射，从而无法准确地判定形状不良、特别是形状不良的种类。在这样的情况下，通过人眼再次确认所计测的形状不良并施加注释，来提高判定有无形状不良的判定精度和判定形状不良的种类的判定精度。
图5示出提高判定有无形状不良及形状不良的种类的判定精度的作业步骤。
通过外观检查装置20的形状计测部21来检查工件200的焊接部位201的外观(步骤S1)。该情况下的焊接部位201可以不是实际产品中的焊接部位，是在测试用的工件中焊接的部位即可。在使用测试用的工件的情况下，根据材质及形状而准备多个。
接着，基于检查结果来判定焊接部位201中有无形状不良及形状不良的种类(步骤S2)。步骤S2由第一判定部27执行。
进而，通过人眼来确认焊接部位201(步骤S4)，与步骤S2中的判定结果进行比较对照，判断步骤S2中的判定结果是否准确(步骤S4)。步骤S4中的判断当然由人的手进行。
如果步骤S4中的判断结果为肯定，则认为判定模型具有一定值以上的精度而结束作业。
另一方面，如果步骤S4中的判断结果为否定，则进入步骤S5并执行注释。这里所说的注释是指，将通过人眼观察实际的焊接部位201而确定出的有无形状不良及形状不良的种类标注于图像数据的对应部位的工序。当然，该注释也由人的手进行。
通过执行步骤S5，在取得的图像数据中确定有无形状不良和形状不良的种类。基于该结果，进行学习数据集的重新评估、重新制作或新制作(步骤S6)，使用步骤S6中制作出的学习数据集，执行判定模型的重新学习(步骤S7)。步骤S6中的学习数据集的生成是由学习数据集生成部25执行的。需要说明的是，也可以使用按照工件的每种材质及形状而分类的图像数据来生成学习数据集。
在执行步骤S7之后，返回步骤S2，再次判定有无形状不良及形状不良的种类。
根据需要，以适当的次数或频度进行图5所示的例行程序，由此，能够提高用于进行焊接部位的形状的良好与否判定的判定模型的精度，从而提高与焊接部位的形状的良好与否判定相关的判定有无重要的形状不良及重要的形状不良的种类的判定精度。需要说明的是，基于有无形状不良及形状不良的种类的准确率来决定步骤S4中的判断基准。另外，在通过步骤S7重新学习后的判定模型中，用于判定焊接部位201有无形状不良及形状不良的种类的阈值与重新学习前的判定模型相比发生变化。该情况下的阈值对应于考虑了形状不良部位的形状、尺寸和/或位置等的上述的概率。
另外，针对与成为对象的工件200的材质及形状接近的工件，在另外准备了学习完毕且确保了规定值以上的精度(概率)的判定模型的情况下，也考虑不通过人的手，而是使用该判定模型，由第一判定部27进行步骤S5的注释。
需要说明的是，在步骤S6中进行学习数据集的重新制作或新制作的情况下，在焊接部位201的特定部分中与其他部分分开制作学习数据集，由此，能够提高判定模型的学习效率及其精度。在该情况下，关于数据扩展处理而言，也优选单独对该特定部分进行数据扩展处理，并且，反映精度被提高的判定模型中的判定结果。需要说明的是，本申请说明书中的“焊接部位201的特定部分”是指，如上述的焊缝的始端部或终端部等那样与焊接部位201的其他部分相比难以判定有无形状不良及形状不良的种类的部分。
图6示出与焊缝的始端部相关的学习数据集的制作步骤的一例。需要说明的是，在焊缝的终端部当然也进行同样的处理。
焊缝的始端部或终端部距工件200的平坦面的高度的变化是急剧的。作为形状不良的种类，尤其难以判别附着于焊缝表面的凹坑205或焊渣207、以及在焊缝与平坦面的边界部产生的咬边203等与表面凹凸相关的形状不良。需要说明的是，焊渣207是指在焊接时附着的金属垃圾。
因此，如图6所示，在生成学习数据时，改变个数或尺寸向焊缝的始端部插入这些形状不良的数据。此时，在图5所示的步骤中，使用已将形状不良的种类的判别确定出的形状不良的数据。另外，例如，也生成使形状不良的亮度或与其附近的对比度之差变化的数据，并向始端部的图像数据插入该数据。
通过这种方式，能够将焊接部位201的形状良好与否的判定精度提高到实用的水平。
另外，为了判定一个焊接部位201的形状良好与否，也可以在特定部分和除此以外的部分中使用不同的判定模型，在该情况下，使用通过与特定部分对应的学习数据集学习到的判定模型和通过与除此以外的部分对应的学习数据集学习到的判定模型。
需要说明的是，在焊缝的始端部和终端部以外的焊接部位201的特定部分，当然也能够通过执行图5所示的作业来提高判定模型的学习精度和再现性。另外，此时，根据需要适当地进行注释。
当然，不限于上述，也可以按照工件200的每种材质及形状，通过图像处理部23从原始的图像数据中提取对应的特征量，基于该特征量，由学习数据集生成部25进行数据扩展，生成学习数据集。
需要说明的是，在生成学习数据集时，可以仅使用上述的样本图像数据，也可以是，除了样本图像数据之外还使用在工件200的焊接工序中另外取得的图像数据。能够按照工件200的每种材质及形状来确保为了得到满足所希望的精度等的判定模型而需要的学习数据集即可。
[效果等]
如以上说明的那样，本实施方式的外观检查装置20具有对工件200的焊接部位201的形状进行计测的形状计测部21、以及数据处理部22。数据处理部22包括图像处理部23和学习数据集生成部25，该图像处理部23基于由形状计测部21计测到的形状数据，生成焊接部位201的图像数据，该学习数据集生成部25按照工件200的每种材质及形状对由图像处理部23生成的多个图像数据进行分类，并且，对分类后的图像数据进行数据扩展处理，生成多个学习数据集。
另外，数据处理部22包括判定模型生成部26和第一判定部27，该判定模型生成部26使用多个学习数据集，按照工件200的每种材质及形状而生成用于进行焊接部位201的形状的良好与否判定的判定模型，该第一判定部27基于从图像处理部23读出的图像数据和由判定模型生成部26生成的一个或多个判定模型，判定焊接部位201的形状的良好与否。
通过以这样的方式构成外观检查装置20，能够基于较少的图像数据，生成所需要的量的学习数据集，使判定模型高精度化，因此，能够高精度地判定焊接部位201的形状良好与否。另外，无需大量取得学习用的图像数据，能够大幅削减用于判定形状良好与否的工时。另外，不用手动设定复杂的判定基准就能够自动检测焊接部位201的形状不良。此外，由于按照工件200的每种材质及形状预先对图像数据进行分类之后生成学习数据集，因此，能够高效地生成学习数据集。
学习数据集生成部25基于在图像处理部23中从图像数据提取出的一个或多个特征量，生成学习数据集。
通过使用从图像数据提取出的特征量来生成学习数据集，能够不降低判定模型的精度而简化学习数据集的生成处理。
学习数据集生成部25通过使从图像数据提取出的一个或多个特征量变化、或改变图像数据中的形状不良部位的位置、或者执行这两者，来进行数据扩展处理。
通过基于从图像数据提取出的一个或多个特征量来生成学习数据集，能够提高学习数据的制作效率，能够进一步削减工时。另外，通过使特征量、形状不良部位的位置变化这样的简单的处理，能够高效地生成学习数据集。
需要说明的是，学习数据集生成部25也可以按照焊接部位201的每个检查项目对由图像处理部23生成的多个图像数据进行分类，并且，对分类后的图像数据进行数据扩展处理，生成多个学习数据集。
另外，判定模型生成部26也可以使用多个学习数据集，按照焊接部位201的每个检查项目，生成用于进行焊接部位201的形状的良好与否判定的判定模型。
此外，学习数据集生成部25也可以将由图像处理部23生成的多个图像数据分成与其他部分相比难以判定焊接部位201的形状不良的特定部分和除此以外的部分，对各个图像数据分别进行数据扩展处理，生成多个学习数据集。
另外，判定模型生成部26也可以在使用多个学习数据集并按照工件200的每种材质及形状而生成判定模型时，分别生成与焊接部位201的特定部分对应的判定模型和与除此以外的部分对应的判定模型。
通过这种方式，在与其他部分相比难以判定有无形状不良和形状不良的种类的焊接部位201的特定部分，也能够以规定值以上的精度判定有无形状不良和形状不良的种类。其结果是，能够高精度地判定外观检查中的焊接部位201的形状良好与否。
另外，外观检查装置20还包括通知第一判定部27中的判定结果的通知部28。
通过这种方式，在焊接工件200的过程中，焊接作业人员或系统管理者能够实时知晓焊接部位201是否发生了不良情况。另外，能够根据需要，采取是否继续焊接工件200的处置。由此，能够降低焊接工序中的焊接成本。
另外，外观检查装置20也可以具有保存由图像处理部23生成的图像数据的第一存储部24。该情况下，将保存于第一存储部24的图像数据读出到学习数据集生成部25，生成多个学习数据集。
通过这种方式，能够顺利地进行学习数据集的生成及紧随其后的判定模型的生成处理。需要说明的是，第一存储部24也可以位于数据处理部22的外部。例如，也可以在数据处理部22设置与外部之间的通信接口部，经由该通信接口部而与第一存储部24进行数据的交换。第一存储部24也可以是外部服务器等。
另外，本实施方式的判定焊接部位201有无形状不良及形状不良的种类的判定精度的提高方法是使用外观检查装置20来进行的，其至少包括以下的步骤。
至少包括：外观检查步骤(步骤S1)，检查工件200的焊接部位201的外观；形状不良判定步骤(步骤S2)，基于外观检查步骤中的检查结果，判定焊接部位201中有无形状不良及形状不良的种类；目视确认步骤(步骤S3)，通过人眼来确认焊接部位201；以及准确与否判断步骤(步骤S4)，对目视确认步骤中的确认结果与形状不良判定步骤中的判定结果进行比较对照，判断形状不良判定步骤中的判定结果是否准确。
在准确与否判断步骤中的判断结果为否定的情况下，执行注释步骤(步骤S5)、学习数据集生成步骤(步骤S6)以及重新学习步骤(步骤S7)，再次返回形状不良判定步骤，反复执行一系列的处理，直至准确与否判断步骤中的判断结果成为肯定，其中，在注释步骤(步骤S5)中，将在目视确认步骤中确定出的有无形状不良及形状不良的种类标注于由图像处理部23生成的焊接部位201的图像数据，在学习数据集生成步骤(步骤S6)中，基于执行注释步骤后的焊接部位201的图像数据，生成学习数据集，在重新学习步骤(步骤S7)中，使用在学习数据集生成步骤中生成的学习数据集，进行判定模型的重新学习。
根据该方法，在焊接部位201中难以判定有无形状不良及形状不良的种类的情况下，通过追加执行基于人手的焊接部位201的目视确认和注释，能够提高判定模型的学习效率并提高其精度。由此，能够提高第一判定部27中的焊接部位201的形状的良好与否的判定精度，能够准确地评价工件200的焊接成品率。
另外，与重新学习前的判定模型相比，在重新学习步骤中进行了重新学习而得到的判定模型的用于判定焊接部位201有无形状不良及形状不良的种类的阈值发生变化。
由此，能够巩固判定模型的重新学习效果，在以后的外观检查中，能够以稳定的高精度来执行形状不良的良好与否判定。
焊接部位201也可以包括与其他部分相比难以判定有无形状不良和形状不良的种类的特定部分。在该情况下，在焊接部位201的特定部分也可以包括焊缝的始端部和终端部。
与其他部分相比，在焊接部位201的特定部分中难以判定有无形状不良和形状不良的种类，在较少次数的学习中，有时无法提高判定模型的学习精度。特别是在焊缝的始端部和终端部，相对于工件200的表面的高度的变化是急剧的，因此，该趋势显著。
另一方面，根据本实施方式，通过执行基于人手的焊接部位201的目视确认和注释，能够提高判定模型的学习效率并提高其精度。因此，在包含焊缝的始端部和终端部的焊接部位201的特定部分，也能够提高焊接部位201的形状的良好与否的判定精度。
另外，焊接部位201的形状不良的种类至少包括焊接部位201的一部分从工件200烧穿而形成于工件200的通孔即穿孔202、处于焊缝的边缘的部分比工件200的表面凹陷的状态下的部分即咬边203。
另外，至少包括在焊丝12的前端形成的熔滴的一部分或工件200的熔融部分的微粒飞散而附着于焊接部位201的飞溅物204、在焊接工件200时附着于焊接部位201的金属垃圾即焊渣207。
在工件200为镀锌钢板的情况下，至少包括一部分从焊接部位201蒸发从而在焊缝的表面开口所形成的凹坑205。
这些形状不良在焊接部位201中被检测为表面凹凸的异常。另一方面，如上所述，在焊缝的始端部和终端部，原本相对于工件200的表面的高度的变化是急剧的，难以准确地判定有无这些形状不良本身。
另一方面，根据本实施方式，通过执行基于人手的焊接部位201的目视确认和注释，在包含焊缝的始端部和终端部的焊接部位201的特定部分也能够准确地判别有无形状不良和形状不良的种类。另外，通过基于该结果进行重新学习，提高判定模型的学习效率并提高其精度。因此，在包含焊缝的始端部和终端部等的焊接部位201也能够提高焊接部位201的形状的良好与否的判定精度。
本实施方式的焊接系统100包括焊接工件200的焊接装置10、以及外观检查装置20。
通过以这样的方式构成焊接系统100，能够以较少的工时高精度地检查焊接部位201的形状。由此，能够降低焊接工序的成本。
另外，焊接装置10至少包括用于向工件200输入热量的焊接头11(焊炬11)、保持焊接头11(焊炬11)且使焊接头11(焊炬11)向所希望的位置移动的机械臂16、对焊接头11(焊炬11)的焊接输出进行控制的输出控制部15、以及对机械臂16的动作进行控制的机器人控制部17。
在由外观检查装置20的第一判定部27判定出焊接部位201的形状不良好的情况下，输出控制部15停止焊接头11(焊炬11)的焊接输出，机器人控制部17使机械臂16的动作停止，或者以焊接头11(焊炬11)来到规定的初始位置的方式使机械臂16动作。
通过以这样的方式构成焊接系统100，在焊接部位201的形状不良好的情况下，能够停止接下来的焊接，防止频繁出现不合格品。需要说明的是，通过按照每个检查项目获取第一判定部27中的判定结果，能够估计焊接系统100中的不良情况部位，迅速地消除不良原因，能够缩短焊接系统100的停机时间。
(第二实施方式)
以往，由焊接作业人员通过如专利文献1所公开的方法进行焊接部位201的形状检查，在发现了焊接部位201的形状不良的情况下，判断是否能够通过重新焊接对形状不良部位进行修复。另外，也由焊接作业人员自己进行判断为能够修复时的重新焊接。
但是，如果由焊接作业人员判断能否修复形状不良部位，则根据个人技能等的不同，判断结果产生了偏差。其结果是，产生如下的不良情况：将能够修复的形状不良部位误判断为不能够修复，将工件200作为不合格品而废弃，或者将不能够修复的形状不良部位误判断为能够修复，进行无用的重新焊接等。
另外，随着被焊接的工件200的种类多样化，焊接部位201的形状、形状检查项目及其判定基准变得复杂。因此，焊接作业人员非常不易判断能否修复形状不良部位。另外，在重新焊接工件200时，重新焊接条件的辨别也变得困难。
鉴于上述方面，在本实施方式中，公开了一种能够高精度且自动地判定能否修复焊接部位201中的形状不良部位的焊接系统100及使用该焊接系统100焊接工件200的焊接方法。
[外观检查装置的结构]
本实施方式的焊接系统的结构与第一实施方式所示的焊接系统100相同，另一方面，焊接装置10的输出控制部15的结构和外观检查装置20的数据处理部22的结构与第一实施方式所示的结构不同。因此，在本实施方式中，以数据处理部22的结构和输出控制部15的结构为中心进行说明。
图7示出外观检查装置的功能框图，形状计测部21的结构与图2所示的结构是同样的，因此省略说明。
数据处理部22具有图像处理部23、第一存储部24、学习数据集生成部25、判定模型生成部26、第一判定部27、通知部28、以及反馈部29。需要说明的是，数据处理部22中的反馈部29以外的功能块的结构与第一实施方式同样，因此，省略详细的说明。
反馈部29构成为：基于第一判定部27中的判定结果和从图像处理部23读出的图像数据，提取与后述的焊接部位201的不良模式、形状不良部位的位置、尺寸相关的信息(以下，有时统称为形状不良信息。)。具体而言，反馈部29构成为：在判定出焊接部位201的形状不良好的情况下，基于从图像处理部23读出的图像数据，提取形状不良信息。另外，反馈部29构成为：将提取出的形状不良信息和第一判定部27中的判定结果输出到焊接装置10的输出控制部15和机器人控制部17。
需要说明的是，通知部28构成为：将第一判定部27中的判定结果通知给反馈部29、焊接作业人员或系统管理者。
另外，构成为：在第一判定部27中的判定结果为肯定、即判定出焊接部位201的形状良好的情况下，焊接系统100连续地焊接同一工件200内的下一个焊接部位201、或者焊接下一个工件200中的同样的焊接部位201。
另一方面，在第一判定部27中的判定结果为否定、即判定出焊接部位201的形状不良好的情况下，输出控制部15停止焊炬11的焊接输出，机器人控制部17使机械臂16的动作停止。需要说明的是，如后所述，在能够通过重新焊接来修复焊接部位201中的形状不良部位的情况下，机器人控制部17基于由反馈部29提取出的形状不良部位的位置，使机械臂16动作，使得焊炬11来到该位置。
[焊接装置的输出控制部的结构]
图8示出焊接装置的输出控制部的功能框图，输出控制部15基于外观检查装置20的反馈部29(参照图7)中的提取结果，设定焊接部位201的重新焊接条件。
输出控制部15具有多个功能块，具体而言，具有接收部151、第二存储部152、第二判定部153、焊接条件设定部154、以及控制信号输出部155。通常，通过执行安装在CPU(Central Processing Unit)或MCU(Micro Controller Unit，微控制器)上的软件，构成输出控制部15内的多个功能块。
接收部151从外观检查装置20的反馈部29接受第一判定部27中的判定结果及形状不良信息。需要说明的是，反馈部29与接收部151之间的通信可以是通过无线方式进行的，也可以是通过有线方式进行的。
第二存储部152中保存有判定基准数据，该判定基准数据用于判定工件200的焊接条件及是否能够修复焊接部位201中的形状不良部位。该判定基准数据是主要基于焊接部位201的不良模式及尺寸而设定的。另外，第二存储部152以矩阵的形式保存根据工件200的材质、厚度、以及焊接部位201的不良模式、形状不良部位的尺寸而预先设定的重新焊接条件。需要说明的是，使用工件200通过实验而求出重新焊接条件，该工件200是以产生规定的形状不良的方式将焊接条件调整后进行焊接而得的工件。
另外，第二存储部152也可以位于输出控制部15的外部。例如，也可以经由输出控制部15的接收部151而与第二存储部152进行数据的交换。第二存储部152也可以是外部服务器等。另外，在第二存储部152位于输出控制部15的内部且能够和它以外的存储部(未图示)进行数据的交换的情况下，第二存储部152也可以构成为暂时保存上述的焊接条件、重新焊接条件、判定基准数据。
第二判定部153基于由反馈部29提取出的形状不良信息，判定是否能够通过重新焊接来修复焊接部位201中的形状不良部位。需要说明的是，根据需要从第二存储部152读出用于判定能否修复的判定基准数据。
焊接条件设定部154根据预定焊接的工件200的材质及形状，从保存于第二存储部152的多个焊接条件中设定对应的条件。另外，焊接条件设定部154在第二判定部153中的判定结果为肯定、即判定为能够修复焊接部位201中的形状不良部位的情况下，从保存于第二存储部152的重新焊接条件中设定对应的条件。
控制信号输出部155向焊丝进给装置13、电源14输出控制信号，控制向焊丝12供给的电力及电力供给时间、以及焊丝12的进给速度及进给量。就该控制信号而言，在通常焊接工件200时是基于由焊接条件设定部154设定的焊接条件而生成的，在重新焊接工件200时是基于由焊接条件设定部154设定的重新焊接条件而生成的。
需要说明的是，机器人控制部17基于从反馈部29接受的形状不良信息和输出控制部15的第二判定部153中的判定结果，对机械臂16的动作进行控制，使得焊炬11的前端来到焊接部位201的能够修复的形状不良部位所存在的规定的位置。
[工件的焊接步骤]
如第一实施方式所说明的那样，焊接部位201的形状不良具有各种模式，但它们大致分为能够通过重新焊接而修复的模式和无法修复的模式。例如，即便通过对焊接部位201进行重新焊接，也无法去除飞溅物204，从而不能进行修复。在焊接部位201的宽度超过容许范围扩宽的情况下也同样不能够修复。另一方面，能够通过在适当的条件下对焊接部位201进行重新焊接，来修复穿孔202、咬边203、以及焊接部位201的长度、宽度的不足等。
基于此，使用图9对工件200的焊接步骤进行说明。
首先，在规定的焊接条件对工件200进行焊接(步骤S11；焊接步骤)，通过外观检查装置20来检查焊接部位201的外观，具体而言是焊接部位201的形状(步骤S12；外观检查步骤)。
基于步骤S12的检查结果，外观检查装置20判定焊接部位201的形状的良好与否(步骤S13；形状判定步骤)。在步骤S13中的判定结果为肯定、即判定出焊接部位201的形状良好的情况下，判断是否焊接了工件200内的所有对象部位(步骤S14)，如果步骤S13中的判定结果为肯定，则结束工件200的焊接。如果残留有应焊接的其他工件，则向焊接系统100内导入其他工件200，继续焊接，或者返回步骤S11，对工件200内的其他部位进行焊接。
另一方面，在步骤S13中的判定结果为否定、即判定出焊接部位201的形状不良好的情况下，反馈部29提取形状不良信息，即，该焊接部位201中的形状不良是何种模式、以及形状不良部位的尺寸、焊接部位201内的形状不良部位的位置(步骤S15；形状不良信息提取步骤)，进而，输出控制部15基于步骤S15中的提取结果，判定是否能够通过重新焊接来修复该形状不良部位(步骤S16；能否重新焊接判定步骤)。
在步骤S16中的判定结果为肯定、即判定为能够通过重新焊接来修复焊接部位201的形状不良部位的情况下，输出控制部15设定重新焊接条件(步骤S17；重新焊接条件设定步骤)，按照该重新焊接条件，进行工件200的重新焊接(步骤S18；重新焊接步骤)，返回步骤S12，再次检查焊接部位201的外观。需要说明的是，在步骤S18之前，机器人控制部17基于由反馈部29提取出的形状不良部位的位置，使机械臂16动作，使得焊炬11的前端来到该位置。
在步骤S16中的判定结果为否定、即判定为不能够通过重新焊接来修复焊接部位201的形状不良部位的情况下，焊接系统100将工件200的焊接中断，从焊接系统100取下工件200。
[效果等]
如以上说明的那样，本实施方式的焊接系统100包括对工件200进行焊接的焊接装置10、以及检查工件200的焊接部位201的外观的外观检查装置20。
外观检查装置20至少具有形状计测部21、图像处理部23、第一判定部27、以及反馈部29，该形状计测部21计测焊接部位201的形状，该图像处理部23基于由形状计测部21计测的形状数据，生成焊接部位201的图像数据，该第一判定部27基于从图像处理部23读出的图像数据，判定焊接部位201的形状的良好与否，该反馈部29基于第一判定部27中的判定结果和从图像处理部23读出的图像数据，提取形状不良信息，该形状不良信息包括焊接部位201的不良模式和焊接部位201中的形状不良部位的尺寸及位置。
焊接装置10至少具有用于向工件200输入热量的焊接头11(焊炬11)、以及对焊接头11(焊炬11)的焊接输出进行控制的输出控制部15。
在由第一判定部27判定出焊接部位201的形状不良好的情况下，输出控制部15基于由反馈部29提取出的形状不良信息，判定是否能够通过重新焊接来修复形状不良部位，并且，在能够重新焊接形状不良部位的情况下，设定重新焊接条件。
通过以这样的方式构成焊接系统100，能够基于外观检查装置20中的检查结果，自动判定能否修复焊接部位201中的形状不良部位。另外，由于基于由形状计测部21计测的形状数据，提取形状不良信息，即，焊接部位201的不良模式和形状不良部位的位置及尺寸，因此，例如与焊接作业人员自己提取这些信息的情况相比，能够提高形状不良信息的提取精度。另外，由于输出控制部15基于形状不良信息来判定能否修复形状不良部位，因此，能够提高能否修复的判定精度。此外，通过输出控制部15基于由反馈部29提取出的形状不良信息，设定重新焊接条件，因此，能够提高条件设定的精度，能够提高形状不良部位的修复率。由此，能够提高焊接工序的最终成品率，降低焊接工序的成本。
另外，焊接装置10还具有机械臂16和机器人控制部17，该机械臂16保持焊接头11(焊炬11)并使焊接头11(焊炬11)向所希望的位置移动，该机器人控制部17控制机械臂16的动作。
在由第一判定部27判定出焊接部位201的形状不良好的情况下，机器人控制部17基于由反馈部29提取出的形状不良部位的位置，使机械臂16动作，使得焊接头11(焊炬11)来到该位置。
通过以这样的方式构成焊接装置10，包括重新焊接在内能够自动对工件200进行焊接。另外，在重新焊接时，不需要焊接头11(焊炬11)的复杂的位置调整，能够简化重新焊接工序。
另外，使用上述的焊接系统100进行的本实施方式的工件200的焊接方法包括焊接步骤(步骤S11)、形状判定步骤(步骤S13)、以及能否重新焊接判定步骤(步骤S16)，在该焊接步骤(步骤S11)中，通过焊接装置10对工件200的规定的部位进行焊接，在该形状判定步骤(步骤S13)中，在焊接步骤结束后使用外观检查装置20来判定工件200的焊接部位201的形状的良好与否，在该能否重新焊接判定步骤(步骤S16)中，根据形状判定步骤中的判定结果，判定是否能够通过重新焊接来修复焊接部位201中的形状不良部位。
在形状判定步骤中的判定结果为肯定的情况下，开始工件200中的其他部位的焊接，或者开始下一个工件200的焊接。
另一方面，在形状判定步骤中的判定结果为否定的情况下，执行能否重新焊接判定步骤，在能否重新焊接判定步骤中的判定结果为肯定的情况下，按照由输出控制部15设定的重新焊接条件，对焊接部位201中的形状不良部位进行重新焊接。
根据本实施方式，通过判定焊接部位201的形状的良好与否，并判定是否能够通过重新焊接来修复形状不良部位，按照这些判定结果及由输出控制部15设定的重新焊接条件，对焊接部位201中的形状不良部位进行重新焊接，由此能够减少工件200的焊接不良，进而提高焊接品质。
在能否重新焊接判定步骤中的判定结果为否定的情况下，也可以中断工件200的焊接。
通过这种方式，能够迅速地从焊接系统100中取下被判定为不合格品的工件200，缩短焊接工序的工序时间。
(第三实施方式)
图10示出本实施方式的焊接装置的输出控制部的功能框图。
图10所示的本实施方式的输出控制部15具有重新焊接条件扩展部156，这一点与图8所示的第二实施方式的结构不同。另外，第二存储部152和重新焊接条件扩展部156构成为能够相互进行数据的交换。
重新焊接条件扩展部156读出保存于第二存储部152的重新焊接条件，按照规定的扩展模型进行数据扩展处理，将扩展后的重新焊接条件保存于第二存储部152。另外，焊接条件设定部154从保存于第二存储部152的、扩展后的重新焊接条件中设定与工件200的包含材质及厚度在内的形状、以及焊接部位201的不良模式及形状不良部位的尺寸相应的重新焊接条件。
需要说明的是，在进行重新焊接条件的数据扩展时，将基于原来的工件200的焊接条件的扩展模型构成为重新焊接条件扩展部156。该扩展模型构成为，通过反馈实际重新焊接后的焊接部位201的外观检查结果而被强化学习，使扩展后的重新焊接条件的精度提高。
根据本实施方式，在预先取得的重新焊接条件的数据数量少且条件的范围小的情况下，通过适当对其进行扩大，能够可靠地修复具有各种不良模式的焊接部位201。
例如，保存于第二存储部152的重新焊接条件虽然是针对规定材质的工件200中的具有规定的不良模式的焊接部位201而设定的，但是为仅对应于一种形状的焊接部位201和一种尺寸的形状不良部位的条件。此时，重新焊接条件扩展部156从第二存储部152读出重新焊接条件，新生成变更了焊接部位201的形状和形状不良部位的尺寸的重新焊接条件。进而，根据工件200的材质、焊接部位201的不良模式，新生成变更了焊接部位201的形状和形状不良部位的尺寸的重新焊接条件。这样，保存于第二存储部152的重新焊接条件被进行数据扩展，扩展后的重新焊接条件被保存于第二存储部152。
通过这种方式，能够以较少的数据数量适当地设定重新焊接条件。另外，能够提高焊接部位201的修复率，进而提高焊接工序的最终成品率。
(其他实施方式)
在第一实施方式～第三实施方式中，将形状计测部21安装于焊炬11或机械臂16，但也可以如图11所示，另外设置保持形状计测部21并使其向所希望的位置移动的机械臂30来构成焊接系统100。通过这种方式，能够独立地进行焊接工序和检查工序，能够缩短整体的工序时间。另外，在图11中示出了构成为机器人控制部17、31分别控制机械臂16、30的动作的例子，但不特别限定于此，例如，机器人控制部17也可以分别控制机械臂16、30的动作。
需要说明的是，虽然针对样本学习数据和/或取得完毕的图像数据进行数据扩展处理而制作出学习数据集，但如果预先取得对于进行良好与否判定来说足够量的图像数据，则也可以不进行数据扩展处理，直接使用由图像处理部23生成且保存于第一存储部24的图像数据来进行良好与否判定。另外，只要能够确保用于提高判定模型的精度所需要的量的学习数据即可，因此，也可以不对从第一存储部24读出的所有图像数据进行数据扩展处理，还可以仅对需要量的图像数据进行数据扩展处理。
另外，如上所述，由多个识别器的组合等表现判定模型。因此，如图2中的虚线箭头所示，也可以将由判定模型生成部26生成且结束了规定的学习的判定模型、即各识别器的结构和它们的组合模式保存于第一存储部24。在该情况下，也可以从第一存储部24将与工件200的材质及形状相应的判定模型的构成信息读出到判定模型生成部26，通过判定模型生成部26重新构成判定模型。通过这种方式，即便在伴随着工件200的材质及形状的种类、以及检查项目的增大而导致应使用的判定模型的个数增加的情况下也能够容易地应对。
需要说明的是，在第二实施方式、第三实施方式中，示出了将反馈部29设置于外观检查装置20的数据处理部22的例子，但也可以将反馈部29设置于输出控制部15。在该情况下，也可以经由通知部28，由输出控制部15的接收部151接受第一判定部27中的判定结果。
另外，在图8中，示出了从图像处理部23向反馈部29直接发送图像数据的例子，但数据流向仅是为了方便说明而示例性地进行了图示，并不特别限定于此。例如，也可以从第一判定部27向反馈部29直接发送图像数据。另外，也可以将第一判定部27中的判定结果直接发送到反馈部29。
需要说明的是，在第二实施方式、第三实施方式中的外观检查装置20中，也可以构成为如下：省略判定模型生成部26，取而代之，在第一存储部24中保存按照焊接部位201的每个检查项目而设定的判定基准，由第一判定部27基于形状不良信息和保存于第一存储部24的判定基准来判定焊接部位201的形状的良好与否。如果检查项目少且判定基准的范围宽，则即便这样也能够确保规定的判定精度。
-产业实用性-
本发明的外观检查装置能够以较少的数据数量高精度地检查焊接部位的形状，因此，在用于焊接系统的方面是有用的。
-符号说明-
10 焊接装置
11 焊接头(焊炬)
12 焊丝
13 焊丝进给装置
14 电源
15 输出控制部
16 机械臂
17 机器人控制部
20 外观检查装置
21 形状计测部
22 数据处理部
23 图像处理部
24 第一存储部
25 学习数据集生成部
26 判定模型生成部
27 第一判定部
28 通知部
29 反馈部
30 机械臂
31 机器人控制部
100 焊接系统
151 接收部
152 第二存储部
153 第二判定部
154 焊接条件设定部
155 控制信号输出部
156 重新焊接条件扩展部
200 工件
201 焊接部位。

Claims (16)

1.一种外观检查装置，检查工件的焊接部位的外观，其特征在于，
所述外观检查装置包括形状计测部、图像处理部、学习数据集生成部、判定模型生成部、以及第一判定部，
所述形状计测部计测所述焊接部位的形状，
所述图像处理部基于由所述形状计测部计测出的形状数据，生成所述焊接部位的图像数据，
所述学习数据集生成部按照所述工件的每种材质及形状对由所述图像处理部生成的多个图像数据进行分类，并且，对分类后的所述图像数据进行数据扩展处理而生成多个学习数据集，
所述判定模型生成部使用所述多个学习数据集，按照所述工件的每种材质及形状来生成用于进行所述焊接部位的形状的良好与否判定的判定模型，
所述第一判定部基于从所述图像处理部读出的所述图像数据和由所述判定模型生成部生成的一个或多个判定模型，判定所述焊接部位的形状的良好与否。
2.根据权利要求1所述的外观检查装置，其特征在于，
所述学习数据集生成部基于在所述图像处理部中从所述图像数据提取出的一个或多个特征量，生成所述学习数据集。
3.根据权利要求2所述的外观检查装置，其特征在于，
所述学习数据集生成部通过使从所述图像数据提取出的一个或多个特征量变化、或改变所述图像数据中的形状不良部位的位置、或者执行这两者，来进行所述数据扩展处理。
4.根据权利要求1至3中任一项权利要求所述的外观检查装置，其特征在于，
所述外观检查装置还包括第一存储部，该第一存储部保存由所述图像处理部生成的图像数据，
将保存于所述第一存储部的多个图像数据读出到所述学习数据集生成部，生成所述多个学习数据集。
5.根据权利要求1至4中任一项权利要求所述的外观检查装置，其特征在于，
所述外观检查装置还包括通知部，该通知部通知所述第一判定部中的判定结果。
6.一种判定焊接部位有无形状不良及形状不良的种类的判定精度的提高方法，使用权利要求1至5中任一项权利要求所述的外观检查装置来判定焊接部位有无形状不良及形状不良的种类，其特征在于，
所述判定焊接部位有无形状不良及形状不良的种类的判定精度的提高方法至少包括外观检查步骤、形状不良判定步骤、目视确认步骤、以及准确与否判断步骤，
在所述外观检查步骤中，检查所述工件的所述焊接部位的外观，
在所述形状不良判定步骤中，基于所述外观检查步骤中的检查结果，判定所述焊接部位中有无形状不良及形状不良的种类，
在所述目视确认步骤中，通过人眼来确认所述焊接部位，
在所述准确与否判断步骤中，对所述目视确认步骤中的确认结果与所述形状不良判定步骤中的判定结果进行比较对照，判断所述形状不良判定步骤中的判定结果是否准确，
在所述准确与否判断步骤中的判断结果为否定的情况下，执行注释步骤、学习数据集生成步骤、以及重新学习步骤后，再次返回形状不良判定步骤，
反复执行一系列的处理，直至所述准确与否判断步骤中的判断结果成为肯定，
在所述注释步骤中，将在所述目视确认步骤中确定出的有无形状不良及形状不良的种类标注于所述焊接部位的图像数据，
在所述学习数据集生成步骤中，基于执行所述注释步骤后的所述焊接部位的图像数据，生成所述学习数据集，
在所述重新学习步骤中，使用在所述学习数据集生成步骤中生成的所述学习数据集，进行所述判定模型的重新学习。
7.根据权利要求6所述的判定焊接部位有无形状不良及形状不良的种类的判定精度的提高方法，其特征在于，
在所述重新学习步骤中进行了重新学习的所述判定模型的用于判定所述焊接部位有无形状不良及形状不良的种类的阈值与重新学习前的判定模型相比发生变化。
8.根据权利要求6或7所述的判定焊接部位有无形状不良及形状不良的种类的判定精度的提高方法，其特征在于，
所述焊接部位包括与其他部分相比难以判定有无形状不良及形状不良的种类的特定部分，
所述特定部分包括焊缝的始端部和终端部。
9.根据权利要求8所述的判定焊接部位有无形状不良及形状不良的种类的判定精度的提高方法，其特征在于，
所述焊接部位的形状不良的种类至少包括穿孔、咬边、飞溅物、焊渣，在所述工件为镀锌钢板的情况下还包括凹坑，
所述穿孔是所述焊接部位的一部分从所述工件烧穿而形成于所述工件的通孔，
所述咬边是所述焊缝的边缘的部分处于比所述工件的表面凹陷的状态下的部分，
所述飞溅物是形成于焊丝的前端的熔滴的一部分或所述工件的熔融部分的微粒飞散而附着于所述焊接部位所形成的，
所述焊渣是在焊接所述工件时附着于所述焊接部位的金属垃圾，
所述凹坑是通过一部分从所述焊接部位蒸发而在焊缝的表面上开口所形成的。
10.一种焊接系统，其特征在于，
所述焊接系统包括焊接装置和权利要求1至5中任一项权利要求所述的外观检查装置，
所述焊接装置对工件进行焊接，
所述焊接装置至少包括焊接头和输出控制部，
所述焊接头用于向所述工件输入热量，
所述输出控制部控制所述焊接头的焊接输出。
11.根据权利要求10所述的焊接系统，其特征在于，
所述焊接装置还包括机械臂和机器人控制部，
所述机械臂保持所述焊接头并使所述焊接头向所希望的位置移动，
所述机器人控制部控制所述机械臂的动作，
在由所述第一判定部判定出所述焊接部位的形状不良好的情况下，所述输出控制部停止所述焊接头的焊接输出，所述机器人控制部使所述机械臂的动作停止，或者以所述焊接头来到规定的初始位置的方式使所述机械臂动作。
12.根据权利要求10或11所述的焊接系统，其特征在于，
所述外观检查装置还具有反馈部，
所述反馈部基于所述第一判定部中的判定结果和从所述图像处理部读出的所述图像数据，提取形状不良信息，该形状不良信息包含所述焊接部位的不良模式、以及所述焊接部位中的形状不良部位的尺寸及位置，
在由所述第一判定部判定出所述焊接部位的形状不良好的情况下，所述输出控制部基于由所述反馈部提取出的所述形状不良信息判定是否能够通过重新焊接来修复所述形状不良部位，并且，在能够修复所述形状不良部位的情况下，设定重新焊接条件。
13.根据权利要求12所述的焊接系统，其特征在于，
所述输出控制部至少具有第二存储部和重新焊接条件扩展部，
所述第二存储部保存预先取得的重新焊接条件，
所述重新焊接条件扩展部根据所述焊接部位的不良模式及所述工件的材质，对保存于所述第二存储部的所述重新焊接条件进行数据扩展，将扩展后的重新焊接条件保存于所述第二存储部，
在能够修复所述形状不良部位的情况下，所述输出控制部从扩展后的所述重新焊接条件中设定实际使用的重新焊接条件。
14.根据权利要求12或13所述的焊接系统，其特征在于，
所述焊接装置还包括机械臂和机器人控制部，
所述机械臂保持所述焊接头并使所述焊接头向所希望的位置移动，
所述机器人控制部控制所述机械臂的动作，
在由所述第一判定部判定出所述焊接部位的形状不良好且由所述输出控制部判定出能够通过重新焊接来修复所述形状不良部位的情况下，所述机器人控制部基于所述形状不良部位的位置，以所述焊接头来到该位置的方式使所述机械臂动作。
15.一种工件的焊接方法，是使用权利要求12至14中任一项权利要求所述的焊接系统的工件的焊接方法，其特征在于，
所述工件的焊接方法包括焊接步骤、形状判定步骤、以及能否重新焊接判定步骤，
在所述焊接步骤中，通过所述焊接装置对所述工件的规定的部位进行焊接，
在所述形状判定步骤中，在所述焊接步骤结束后使用所述外观检查装置来判定所述工件的焊接部位的形状的良好与否，
在所述能否重新焊接判定步骤中，基于所述形状判定步骤中的判定结果，判定是否能够通过重新焊接来修复所述焊接部位中的形状不良部位，
在所述形状判定步骤中的判定结果为肯定的情况下，开始该工件中的其他部位的焊接，或者开始下一个工件的焊接，
在所述形状判定步骤中的判定结果为否定的情况下，执行所述能否重新焊接判定步骤，
在所述能否重新焊接判定步骤中的判定结果为肯定的情况下，按照由所述输出控制部设定的重新焊接条件，对所述形状不良部位进行重新焊接。
16.根据权利要求15所述的工件的焊接方法，其特征在于，
在所述能否重新焊接判定步骤中的判定结果为否定的情况下，中断所述工件的焊接。
CN201980083360.3A 2018-12-19 2019-12-03 外观检查装置及使用该外观检查装置判定焊接部位有无形状不良及形状不良的种类的判定精度的提高方法、焊接系统及工件的焊接方法 Active CN113207286B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2018237521 2018-12-19
JP2018-237521 2018-12-19
JP2018237516 2018-12-19
JP2018-237516 2018-12-19
PCT/JP2019/047218 WO2020129617A1 (ja) 2018-12-19 2019-12-03 外観検査装置及びそれを用いた溶接箇所の形状不良の有無及び種類の判定精度の向上方法、溶接システム及びそれを用いたワークの溶接方法

Publications (2)

Publication Number Publication Date
CN113207286A true CN113207286A (zh) 2021-08-03
CN113207286B CN113207286B (zh) 2023-04-25

Family

ID=71101683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980083360.3A Active CN113207286B (zh) 2018-12-19 2019-12-03 外观检查装置及使用该外观检查装置判定焊接部位有无形状不良及形状不良的种类的判定精度的提高方法、焊接系统及工件的焊接方法

Country Status (4)

Country Link
EP (1) EP3900870A4 (zh)
JP (1) JP7308461B2 (zh)
CN (1) CN113207286B (zh)
WO (1) WO2020129617A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113732496A (zh) * 2021-09-08 2021-12-03 东风本田汽车有限公司 一种白车身顶盖激光填丝钎焊再加工系统及加工方法
DE102021123038A1 (de) 2021-09-06 2023-03-09 Trumpf Laser- Und Systemtechnik Gmbh Spritzerdetektion durch künstliche Intelligenz bei der Laserbearbeitung

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI744999B (zh) * 2020-07-23 2021-11-01 和碩聯合科技股份有限公司 焊點檢測模型訓練方法、焊點檢測方法及焊點檢測裝置
CN112067623B (zh) * 2020-09-16 2024-05-24 中国京冶工程技术有限公司 钢结构构件焊缝外观质量检测方法及系统
EP4227848A4 (en) 2020-10-06 2023-11-22 Fujitsu Limited TRAINING DATA GENERATION PROGRAM, TRAINING DATA GENERATION METHOD AND TRAINING DATA GENERATION APPARATUS
DE102020213650A1 (de) * 2020-10-29 2022-05-05 Trumpf Laser- Und Systemtechnik Gmbh Verfahren und Vorrichtung zur Charakterisierung einer Schweißstelle
CN113390881B (zh) * 2021-06-09 2023-11-21 杭州圣建钢结构工程管理有限公司 一种焊缝检测可视化系统
CN113610814B (zh) * 2021-08-10 2022-11-18 广东利元亨智能装备股份有限公司 焊缝质量检测方法、装置、电子设备及存储介质
EP4425155A1 (en) 2021-10-28 2024-09-04 Panasonic Intellectual Property Management Co., Ltd. Annotation assistance system and training assistance system that is for model for inspecting appearance and that uses said annotation assistance system
CN118159832A (zh) * 2021-10-28 2024-06-07 松下知识产权经营株式会社 学习辅助系统、外观检查装置、外观检查用软件的更新装置及外观检查用模型的更新方法
CN114354618A (zh) * 2021-12-16 2022-04-15 浙江大华技术股份有限公司 一种焊缝检测的方法及装置
WO2023120111A1 (ja) * 2021-12-24 2023-06-29 パナソニックＩｐマネジメント株式会社 外見検査装置、溶接システム及び溶接箇所の外観検査方法
JPWO2023120110A1 (zh) 2021-12-24 2023-06-29
CN114295640B (zh) * 2022-01-07 2022-11-08 江苏省特种设备安全监督检验研究院 一种容器焊缝识别方法及系统
US20230274407A1 (en) * 2022-02-25 2023-08-31 General Electric Company Systems and methods for analyzing weld quality
JP2023128940A (ja) * 2022-03-04 2023-09-14 株式会社日立製作所 外観分析システム、外観分析方法、及びプログラム
DE102022115255A1 (de) 2022-06-20 2023-12-21 Trumpf Laser Gmbh System und Verfahren zur Fehlerkontrolle von Laserschweißprozessen
WO2024120894A1 (de) * 2022-12-09 2024-06-13 Trumpf Laser Gmbh VERFAHREN ZUM KORREKTURSCHWEIßEN, NAHTBEARBEITUNGSVORRICHTUNG ZUM KORREKTURSCHWEIßEN
DE102023001602A1 (de) 2023-04-21 2024-10-24 Mercedes-Benz Group AG Verfahren zum Verschweißen zweier Bauteile
CN116609345B (zh) * 2023-07-19 2023-10-17 北京阿丘机器人科技有限公司 电池盖板缺陷检测方法、装置、设备及存储介质
CN117086465B (zh) * 2023-09-27 2024-10-11 盐城工学院 一种基于ai技术的搅拌摩擦焊接机器人控制方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050163364A1 (en) * 2004-01-07 2005-07-28 Markus Beck Process for checking a laser weld seam
CN101556598A (zh) * 2009-05-08 2009-10-14 中国矿业大学 射线检测焊缝图像管理系统及辅助评片方法
CN103760229A (zh) * 2014-01-07 2014-04-30 天津大学 基于支持向量机的焊接缺陷巨磁电阻涡流检测方法
JP2015064301A (ja) * 2013-09-25 2015-04-09 Ｊｆｅスチール株式会社 表面欠陥検査装置及び表面欠陥検査方法
CN104977305A (zh) * 2015-06-29 2015-10-14 华中科技大学 一种基于红外视觉的焊接质量分析装置及分析方法
CN104977313A (zh) * 2014-04-09 2015-10-14 四川省特种设备检验研究院 一种焊缝x射线图像缺陷检测与识别方法和装置
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置
CN105938563A (zh) * 2016-04-14 2016-09-14 北京工业大学 一种基于图像纹理的焊缝表面缺陷识别方法
CN107451997A (zh) * 2017-07-31 2017-12-08 南昌航空大学 一种基于深度学习的焊缝超声tofd‑d扫描缺陷类型的自动识别方法
JP2018040649A (ja) * 2016-09-06 2018-03-15 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
CN108776964A (zh) * 2018-06-04 2018-11-09 武汉理工大学 一种基于Adaboost及Haar特征的船舶焊缝缺陷图像检测系统及方法
JP2018192524A (ja) * 2017-05-12 2018-12-06 株式会社神戸製鋼所 自動溶接システム、溶接制御方法、及び機械学習モデル
CN109034204A (zh) * 2018-07-02 2018-12-18 西安交通大学 一种基于改进卷积神经网络的焊缝缺陷识别方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0772909B2 (ja) * 1991-08-27 1995-08-02 松下電工株式会社 外観検査による溶接状態判定方法
JP4747313B2 (ja) 2006-12-28 2011-08-17 公立大学法人高知工科大学 薄板状部品の検査方法と検査装置
JP5758090B2 (ja) 2010-08-11 2015-08-05 コアテック株式会社 形状検査装置及び形状検査方法
JP6208552B2 (ja) * 2013-11-14 2017-10-04 株式会社デンソーアイティーラボラトリ 識別器、識別プログラム、及び識別方法
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050163364A1 (en) * 2004-01-07 2005-07-28 Markus Beck Process for checking a laser weld seam
CN101556598A (zh) * 2009-05-08 2009-10-14 中国矿业大学 射线检测焊缝图像管理系统及辅助评片方法
JP2015064301A (ja) * 2013-09-25 2015-04-09 Ｊｆｅスチール株式会社 表面欠陥検査装置及び表面欠陥検査方法
CN103760229A (zh) * 2014-01-07 2014-04-30 天津大学 基于支持向量机的焊接缺陷巨磁电阻涡流检测方法
CN104977313A (zh) * 2014-04-09 2015-10-14 四川省特种设备检验研究院 一种焊缝x射线图像缺陷检测与识别方法和装置
CN104977305A (zh) * 2015-06-29 2015-10-14 华中科技大学 一种基于红外视觉的焊接质量分析装置及分析方法
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置
CN105938563A (zh) * 2016-04-14 2016-09-14 北京工业大学 一种基于图像纹理的焊缝表面缺陷识别方法
JP2018040649A (ja) * 2016-09-06 2018-03-15 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2018192524A (ja) * 2017-05-12 2018-12-06 株式会社神戸製鋼所 自動溶接システム、溶接制御方法、及び機械学習モデル
CN107451997A (zh) * 2017-07-31 2017-12-08 南昌航空大学 一种基于深度学习的焊缝超声tofd‑d扫描缺陷类型的自动识别方法
CN108776964A (zh) * 2018-06-04 2018-11-09 武汉理工大学 一种基于Adaboost及Haar特征的船舶焊缝缺陷图像检测系统及方法
CN109034204A (zh) * 2018-07-02 2018-12-18 西安交通大学 一种基于改进卷积神经网络的焊缝缺陷识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021123038A1 (de) 2021-09-06 2023-03-09 Trumpf Laser- Und Systemtechnik Gmbh Spritzerdetektion durch künstliche Intelligenz bei der Laserbearbeitung
CN113732496A (zh) * 2021-09-08 2021-12-03 东风本田汽车有限公司 一种白车身顶盖激光填丝钎焊再加工系统及加工方法

Also Published As

Publication number Publication date
EP3900870A4 (en) 2022-02-16
WO2020129617A1 (ja) 2020-06-25
CN113207286B (zh) 2023-04-25
JP7308461B2 (ja) 2023-07-14
JPWO2020129617A1 (ja) 2021-11-04
EP3900870A1 (en) 2021-10-27

Similar Documents

Publication Publication Date Title
CN113207286B (zh) 外观检查装置及使用该外观检查装置判定焊接部位有无形状不良及形状不良的种类的判定精度的提高方法、焊接系统及工件的焊接方法
JP7316573B2 (ja) 溶接システム及びそれを用いたワークの溶接方法
JP2000167666A (ja) 自動溶接及び欠陥補修方法並びに自動溶接装置
US20230274407A1 (en) Systems and methods for analyzing weld quality
JP7422337B2 (ja) リペア溶接制御装置およびリペア溶接制御方法
WO2020262050A1 (ja) リペア溶接検査装置およびリペア溶接検査方法
JP2005014027A (ja) 溶接部のイメージ処理方法、溶接管理システム、溶接機のためのフィードバックシステム、突合わせ線検出システム
JP7555043B2 (ja) ビード外観検査装置、ビード外観検査方法、プログラムおよびビード外観検査システム
US12005532B2 (en) Systems, methods, and apparatuses, of an arc welding (AW) process and quality monitoring
US20230236212A1 (en) Method and device for quality assessment of a processing operation
WO2021177365A1 (ja) ビード外観検査装置、ビード外観検査方法、プログラムおよびビード外観検査システム
WO2004109268A1 (en) Weld quality evaluation
WO2023120111A1 (ja) 外見検査装置、溶接システム及び溶接箇所の外観検査方法
WO2024117262A1 (ja) 外観検査装置、溶接システム及び溶接箇所の外観検査方法
JP2021139771A (ja) 制御装置、表示装置の制御方法およびプログラム
JP7496540B2 (ja) ロボット制御装置およびオフライン教示システム
JP7555042B2 (ja) ビード外観検査装置、ビード外観検査方法、プログラムおよびビード外観検査システム
WO2023120110A1 (ja) 外観検査装置、溶接システム、形状データの補正方法及び溶接箇所の外観検査方法
US20240123537A1 (en) Offline teaching device and offline teaching method
JP2023143763A (ja) 学習データ生成装置、学習データ生成方法、学習データ生成用プログラム及び溶接箇所の形状評価システム
CN112362305A (zh) 一种检测气门杆正反面的方法及系统
SK10120Y1 (sk) Spôsob kontroly stavu hrotu zváracej elektródy a systém na jeho realizáciu
JP2024104666A (ja) 自動溶接装置、測定異常検出方法およびプログラム
CN115210034A (zh) 焊道外观检查装置和焊道外观检查系统
TW202117303A (zh) 自動缺陷檢測系統及檢測方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant