CN118414541A - 外观检查装置、焊接系统以及焊接部位的外观检查方法 - Google Patents

外观检查装置、焊接系统以及焊接部位的外观检查方法 Download PDF

Info

Publication number
CN118414541A
CN118414541A CN202280083994.0A CN202280083994A CN118414541A CN 118414541 A CN118414541 A CN 118414541A CN 202280083994 A CN202280083994 A CN 202280083994A CN 118414541 A CN118414541 A CN 118414541A
Authority
CN
China
Prior art keywords
shape
data
learning data
welding
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280083994.0A
Other languages
English (en)
Inventor
酒井彻
樱井通雄
东大智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN118414541A publication Critical patent/CN118414541A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/20—Metals
    • G01N33/207—Welded or soldered joints; Solderability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/10—Scanning
    • G01N2201/101—Scanning measuring head
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

外观检查装置(20)包括：计测焊接部位(201)的三维形状的形状计测部(21)；和对由形状计测部(21)取得的样本形状数据及形状数据进行处理的数据处理部(23)。数据处理部(23)包括：基于样本形状数据生成多个第一学习数据集的第一学习数据集生成部(26A)；基于多个第一学习数据集生成多个第二学习数据集的第二学习数据集生成部(26B)；使用多个第二学习数据集生成多个判定模型的判定模型生成部(27)；以及基于形状数据和一个判定模型判定焊接部位(201)的形状的良好与否的第一判定部(28)。

Description

外观检查装置、焊接系统以及焊接部位的外观检查方法
技术领域
本公开涉及一种外观检查装置、焊接系统以及焊接部位的外观检查方法。
背景技术
近年来，使用通过机械学习而被强化的判定模型进行焊接部位等的外观检查，以判定形状的良好与否的方法己得到广泛应用。
例如，在专利文献1中提出了一种焊接部位的外观检查装置，其包括形状计测部、图像处理部、学习数据集生成部、判定模型生成部以及第一判定部。
形状计测部计测焊接部位的形状，图像处理部基于计测出的形状数据生成焊接部位的图像数据。学习数据集生成部按照工件的每种材质及形状对多个图像数据进行分类，并且进行数据增强而生成多个学习数据集。判定模型生成部使用多个学习数据集，按照工件的每种材质及形状而生成焊接部位的形状的判定模型。第一判定部基于从图像处理部读出的图像数据和判定模型来判定焊接部位的形状的良好与否。
专利文献1：国际公开第2020/129617号
发明内容
-发明要解决的技术问题-
但是，在实际的工件的生产加工现场，外观检查装置的检查条件会适当改变。例如，沿着焊接线检查焊接部位时的检查速度、传感器的计测频率、以及传感器的计测分辨率等会相继改变，以成为最适合加工设备的使用者的目的的条件。
之所以这样改变检查条件，是因为工件的生产节拍时间、检查精度会根据检查条件而较大地变化。例如，在重视生产节拍时间的情况下，通过提高检查速度，能够以较短的生产节拍时间进行检查。另一方面，由于传感器的计测分辨率变粗糙，因此由传感器取得的焊接部位的三维形状也变粗糙。因此，无法检测出细微的焊接不良，检查精度降低。
另外，在重视检查精度的情况下，通过减慢检查速度来使计测分辨率变得精细。另一方面，由于检查速度变慢，因此生产节拍时间变长。
另外，检查条件也根据检查的工件、焊接部位的状况而发生改变。例如，有时会根据工件的形状是弯曲的还是呈直线状，使检查速度变化。另外，对于不允许有细微缺陷的加工品，要求高精度的检查。在该情况下，即使牺牲生产节拍时间也要提高计测分辨率。
另外，作为检查对象的工件的材质、焊接部位的形状种类繁多，要对检查条件进行调整以适合于各个焊接部位的形状等。
但是，例如在传感器的计测分辨率发生了变化的情况下，即使计测同一焊接部位的三维形状，计测结果也会不同。因此，输入在判定模型中的焊接部位的形状数据的特征与事先进行机器学习后的形状数据的特征不一致，不能进行高精度的外观检查。
此外，用于检测形状特征的机器学习需要在每个分辨率下具有以数千～数万为单位的大量的形状数据。在实际应用中，难以与多种分辨率对应地取得用于机器学习的形状数据。
本公开正是为解决上述技术问题而完成的，其目的在于：提供一种即使在检查条件发生了改变的情况下，也能够精度良好地评价焊接部位的三维形状的外观检查装置、焊接系统以及焊接部位的外观检查方法。
-用于解决技术问题的技术方案一
为了达到上述目的，本公开所涉及的外观检查装置是检查工件的焊接部位的外观的外观检查装置，其特征在于：所述外观检查装置至少包括形状计测部和数据处理部，所述形状计测部安装于机器人，沿着焊接线计测所述焊接部位的三维形状，所述数据处理部处理由所述形状计测部取得的形状数据，所述数据处理部至少包括形状数据处理部、第一学习数据集生成部、第二学习数据集生成部、判定模型生成部以及第一判定部，所述形状数据处理部至少进行由所述形状计测部预先取得的样本形状数据的噪声去除处理，所述第一学习数据集生成部基于所述样本形状数据生成多个第一学习数据集，所述第二学习数据集生成部基于多个所述第一学习数据集中的各个所述第一学习数据集，生成多个第二学习数据集，所述判定模型生成部使用多个所述第二学习数据集，生成多种用于进行所述焊接部位的形状的良好与否判定的判定模型，所述第一判定部基于由所述形状数据处理部处理过的所述形状数据和由所述判定模型生成部生成的所述判定模型，判定所述焊接部位的形状的良好与否。
本公开所涉及的焊接系统的特征在于：所述焊接系统包括焊接所述工件的焊接装置和所述外观检查装置，所述焊接装置至少包括焊机头和输出控制部，所述焊机头用于向所述工件输入热量，所述输出控制部控制所述焊机头的焊接输出。
本公开所涉及的焊接部位的外观检查方法是使用了所述外观检查装置的焊接部位的外观检查方法，其特征在于：所述焊接部位的外观检查方法至少包括：所述形状计测部在与所述机器人一起移动的同时计测所述焊接部位的三维形状，取得所述样本形状数据的步骤；所述第一学习数据集生成部基于所述样本形状数据生成多个所述第一学习数据集的步骤；所述第二学习数据集生成部基于多个所述第一学习数据集生成多个所述第二学习数据集的步骤；所述判定模型生成部使用多个所述第二学习数据集，生成多种用于进行所述焊接部位的形状的良好与否判定的所述判定模型的步骤；所述形状计测部在与所述机器人一起移动的同时计测所述焊接部位的三维形状，取得所述形状数据的步骤；以及所述第一判定部基于由所述形状数据处理部处理过的所述形状数据和由所述判定模型生成部生成的所述判定模型，判定所述焊接部位的形状的良好与否的步骤，基于具有与由所述形状数据处理部处理过的所述形状数据的数据密度最接近的数据密度的所述第二学习数据集而生成所述第一判定部中使用的所述判定模型，或者基于具有与由所述形状数据处理部修正过的所述形状数据的分辨率最接近的分辨率的所述第二学习数据集而生成所述第一判定部中使用的所述判定模型。
-发明的效果-
根据本公开，即使在检查条件发生了改变的情况下，也能够精度良好地评价焊接部位的三维形状。
附图说明
图1是示出实施方式所涉及的焊接系统的结构的示意图；
图2是示出机器人处理部的硬件结构的示意图；
图3是外观检查装置的功能框图；
图4是示出由形状计测部进行的焊缝的形状计测的情形的示意图；
图5A是示出传感器控制部的硬件结构的示意图；
图5B是示出数据处理部的硬件结构的示意图；
图6A是示出焊接部位的不良模式的一例的俯视示意图；
图6B是沿图6A的VIB-VIB线剖切的剖面示意图；
图6C是沿图6A的VIC-VIC线剖切的剖面示意图；
图6D是沿图6A的VID-VID线剖切的剖面示意图；
图6E是沿图6A的VIE-VIE线剖切的剖面示意图；
图7A是示出第一学习数据集的制作步骤的第一例的示意图；
图7B是示出第一学习数据集的制作步骤的第二例的示意图；
图7C是示出第一学习数据集的制作步骤的第三例的示意图；
图8A是示出第二学习数据集的制作步骤的第一例的示意图；
图8B是示出第二学习数据集的制作步骤的第二例的示意图；
图8C是示出第二学习数据集的制作步骤的第三例的示意图；
图8D是示出第二学习数据集的制作步骤的第四例的示意图；
图9是判定模型的生成步骤的流程图；
图10A是焊接部位的外观检查步骤的流程图；
图10B是焊缝的形状的良好与否判定步骤的流程图；
图11是示出分辨率转换修正中的形状数据的坐标点的导出步骤的概念图；
图12是示出加减速区间中的分辨率转换修正前后的形状数据的坐标点位置的变化的概念图；
图13是示出加减速区间中的机器人的速度控制函数的一例的示意图。
具体实施方式
以下，根据附图对本公开的实施方式进行说明。需要说明的是，下面的优选实施方式的说明本质上只不过是示例，并没有对本公开、其应用对象或其用途加以限制的意图。
(实施方式)
[焊接系统的结构]
图1是示出本实施方式所涉及的焊接系统的结构的示意图，焊接系统100具有焊接装置10和外观检查装置20。
焊接装置10具有焊炬11、焊丝进给装置13、电源14、输出控制部15、机器人16、以及机器人控制部17。通过从电源14向保持于焊炬11的焊丝12供电，在焊丝12的前端与工件200之间产生电弧，工件200被输入热量而进行电弧焊接。需要说明的是，焊接装置10具有用于向焊炬11供给保护气体的管道、储气瓶等其他构成部件、设备，但为了方便说明，省略它们的图示及说明。需要说明的是，电源14也称为焊接电源。
输出控制部15与电源14及焊丝进给装置13连接，输出控制部15按照规定的焊接条件，控制焊炬11的焊接输出，换言之，控制向焊丝12供给的电力及电力供给时间。另外，输出控制部15控制从焊丝进给装置13向焊炬11进给的焊丝12的进给速度及进给量。需要说明的是，关于焊接条件，可以经由未图示的输入部直接输入到输出控制部15，也可以选自从另外的记录介质等读出的焊接程序。
机器人16是公知的多关节轴机器人，其在前端保持焊炬11，并且与机器人控制部17连接。机器人控制部17控制机器人16的动作，使得焊炬11的前端、换言之保持于焊炬11的焊丝12的前端描绘规定的焊接轨迹向所希望的位置移动。
图2示出机器人处理部的硬件结构的示意图，机器人控制部17至少包括CPU(Central Processing Unit，中央处理器)17a、驱动IC(Driver Integrated Circui t，驱动集成电路)17b、RAM(Random Access Memory，随机存储器)17c以及IC(IntegratedCircuit，集成电路)17d。
在通常的动作中，IC 17d接收分别设于多个关节轴上的旋转检测器(未图示)的输出信号，其中，上述的多个关节轴设置于机器人16。该输出信号由IC 17d进行信号处理后，输入到CPU 17a。CPU 17a基于从IC17d输入的信号和由保存于RAM 17c的规定程序中设定的关节轴的转速，向驱动IC17b发送控制信号。驱动IC 17b基于来自CPU 17a的控制信号，控制与关节轴连接的伺服电动机(未图标)的旋转。
另外，如后所述，在外观检查装置20中，在由数据处理部23的第一判定部28判定出焊接部位201的形状为不良的情况下，接收到该判定结果的机器人控制部17的CPU 17a使机器人16的动作停止，或者以焊炬11来到规定的初始位置的方式使机器人16工作。
另外，输出控制部15也具有与机器人控制部17同样的结构。即，输出控制部15至少包括CPU 15a、驱动IC 15b、RAM 15c以及IC 15d。
在通常的动作中，IC15d接收与电源14的输出对应的信号。该信号由IC 15d进行信号处理后，输入到CPU 15a。CPU 15a基于从IC 15d输入的信号和由保存于RAM 15c的规定程序中设定的电源14的输出，向驱动IC 15b发送控制信号。驱动IC 15b基于来自CPU 15a的控制信号，控制电源14的输出，进而控制焊炬11的焊接输出。
另外，如后所述，在外观检查装置20中，在由第一判定部28判定出焊接部位201的形状为不良的情况下，接收到该判定结果的输出控制部15的CPU 15a使电源14的输出停止。由此，停止焊炬11的焊接输出。
需要说明的是，输出控制部15及机器人控制部17均可以包括图2所示以外的构成部件。例如，作为存储设备，也可以包括ROM(Read Only Memory，只读存储器)、HDD(HardDisk Drive，硬盘驱动器)。
外观检查装置20具有形状计测部21、传感器控制部22以及数据处理部23，形状计测部21安装在机器人16或焊炬11上，计测工件200的焊接部位201的形状。之后详述外观检查装置20的结构。
需要说明的是，在图1中，作为焊接装置10示例了进行电弧焊接的电弧焊接装置，但并非特别限定于此。例如，焊接装置10也可以是进行激光焊接的激光焊接装置。在该情况下，代替焊炬11，将经由光纤(未图示)与激光振荡器(未图示)连接的激光头(未图示)安装并保持在机器人16上。另外，在以后的说明中，有时将焊炬11和激光头统称为焊机头11。
[外观检查装置的结构]
图3是外观检查装置的功能框图，图4是示出由形状计测部进行的焊缝的形状计测的情形的示意图。图5A示出传感器控制部的硬件结构的示意图，图5B示出数据处理部的硬件结构的示意图。
形状计测部21例如是由激光光源21a(参照图4)、和相机(未图示)或受光传感器矩阵21b(参照图4)构成的三维形状计测传感器，该激光光源21a构成为能够扫描工件200的表面，该相机或受光传感器矩阵21b拍摄投影在工件200的表面上的激光光束的反射轨迹(以下有时称为形状线。)。
如图4所示，由形状计测部21利用激光(出射光)对包含焊接部位201及其周围的规定区域进行扫描，利用受光传感器矩阵21b拍摄出射光在工件200的表面反射后的反射光，由此计测焊接部位201的三维形状。需要说明的是，焊接部位201是沿着下述方向形成的所谓的焊缝，该方向是沿着通过焊接程序等预先设定好的焊接线延伸的方向。需要说明的是，在以后的说明中，有时将沿着该焊接线延伸的方向称为Y方向(参照图6A)。另一方面，有时将形成有焊接部位201的工件200的表面上与Y方向正交的方向称为X方向。另外，有时将以工件200的表面为基准时的焊接部位201的高度方向称为Z方向。Z方向分别与X方向及Y方向正交。
需要说明的是，在本申请说明书中，“正交”或“平行”或者“相同”是指包含构成焊接系统100的各部件的制造公差、组装公差、工件200的加工公差、以及机器人16的移动速度的偏差等在内的“正交”或“平行”或者“相同”的意思。并不意味着比较对象彼此在严格意义上正交或平行或者相同。
以图4所示的例子来说，从激光光源21a射出的出射光沿着焊接部位201的宽度方向、在该情况下为沿着X方向照射到多个点上。照射到多个点上的激光分别被反射，由受光传感器矩阵21b拍摄反射光。另外，保持于机器人16的形状计测部21沿着Y方向以规定的速度移动，在移动中以规定的时间间隔向焊接部位201及其周围照射出射光，每次都由受光传感器矩阵21b拍摄反射光。
需要说明的是，如上所述，形状计测部21构成为：不仅对焊接部位201进行形状计测，还对其周围也在规定范围内进行形状计测。这是为了评价有无后述的飞溅物204、污物206(参照图6A)。
这里，“计测分辨率”是指在由形状计测部21计测出的形状数据中，彼此相邻的计测点之间的距离。例如，X方向的计测分辨率是彼此相邻的计测点之间的沿着X方向的距离。X方向的计测分辨率是根据形状计测部21的性能、主要是受光传感器矩阵21b的性能、具体而言是受光传感器矩阵21b所包含的各个传感器的X方向的尺寸和传感器之间的距离而设定的。
在X方向、Y方向以及Z方向上分别设定计测分辨率。如后所述，Y方向的计测分辨率根据机器人16的移动速度或者根据受光传感器矩阵21b的取样频率而变化。
另外，在仅称为“分辨率”的情况下，该分辨率是指由形状计测部21取得的焊接部位201的多个点云数据中彼此相邻的坐标点之间的间隔。如后所述，根据焊接部位201的形状，重构形状数据。重构前的形状数据的分辨率与上述的计测分辨率相等。另一方面，重构后的形状数据的分辨率有时与计测分辨率不同。在本申请说明书所示的例子中，形状数据的X方向分辨率与X方向的计测分辨率相等。另一方面，形状数据的Y方向分辨率有时与Y方向的计测分辨率不同。在X方向、Y方向及Z方向上分别设定分辨率。
如图5A所示，传感器控制部22至少包括CPU 22a和RAM 22b。在传感器控制部22中，CPU 22a向形状计测部21发送控制命令，控制形状计测部21的动作。从CPU 22a向形状计测部21发送的控制命令中，例如有形状计测部21的检查条件、计测开始命令、计测停止命令等。在RAM 22b中保存有预先设定好的检查条件。需要说明的是，也可以保存有其他数据。另外，传感器控制部22也可以包括图5A所示以外的构成部件。例如，作为存储设备，也可以包括ROM、HDD。
数据处理部23将由形状计测部21取得的形状线的点云数据作为形状数据接收，并对其进行处理。
另外，如图3所示，数据处理部23由多个功能块构成。具体而言，数据处理部23具有形状数据处理部24、第一存储部25、第一学习数据集生成部26A、第二学习数据集生成部26B、判定模型生成部27、第一判定部28以及通知部29。
如图5B所示，数据处理部23至少包括CPU 23a、GPU(Graphics Processing Unit，图形处理器)23b、RAM/ROM 23c、IC 23d、输入端口23e、输出端口23f以及数据总线23h作为硬件。数据处理部23还包括显示器23g。
图5B所示的数据处理部23的硬件结构与公知的个人计算机(PC)的结构相同。另外，图3所示的数据处理部23内的多个功能块是通过在图5B所示的各种设备、尤其是CPU23a、GPU 23b中执行规定的软件来实现的。需要说明的是，尽管图5B示出了各种设备连接在一根数据总线23h上的例子，但也可以与通常的PC同样地，根据用途而设置多根数据总线。
在数据处理部23中，形状数据处理部24具有对由形状计测部21取得的形状数据的噪声去除功能。由于从形状计测部21射出的激光光束的反射率根据工件200的材质而不同，因此，当反射率过高时，引起光晕等而形成噪声，有时会对形状数据造成影响。因此，在形状数据处理部24中构成为通过软件进行噪声的滤波处理。需要说明的是，通过对形状计测部21本身设置光学滤波器(未图示)，同样也能够去除噪声。通过并用光学滤波器和软件上的滤波处理，能够得到高品质的形状数据。另外，由此，能够提高后述的学习数据集的判定模型的品质，能够高精度地判定焊接部位201的形状良好与否。
形状数据处理部24的噪声去除功能主要由数据处理部23的IC 23d来实现。但是，并非特别限定于此，例如也可以由数据处理部23的GPU 23b对形状数据进行噪声去除。
形状数据处理部24通过对点云数据进行统计处理，来修正焊接部位201的基底部分相对于规定的基准面、例如工件200的设置面的倾斜、变形等。除此以外，例如，为了强调焊接部位201的形状、位置，有时也进行强调焊接部位201的周缘的边缘强调修正。
另外，形状数据处理部24根据工件200的形状，并且根据焊接部位201的形状的检查项目，来提取形状数据的特征量。在该情况下，针对一个形状数据，提取与一个或多个检查项目对应的一个或多个特征量。另外，所提取的特征量与形状数据相关联，用于以后的数据处理。这里，特征量是指从形状数据提取的特定的各种因素，作为代表性的特征量，有焊接部位201的长度、宽度、距基准面的高度、以及焊接部位201内的多个点之间的长度、宽度、高度之差等。但是，并不特别限定于此，根据在各检查项目中判定的内容，适当地设定特征量。
另外，形状数据处理部24构成为能够对所取得的形状数据进行分辨率的转换修正。之后详述形状数据的分辨率转换修正。
形状数据处理部24的边缘强调修正处理功能、特征量提取功能、分辨率转换修正功能主要由数据处理部23的CPU 23a来实现。但是，并非特别限定于此，例如，也可以由IC23d或GPU 23b进行边缘强调修正处理的一部分或全部。
在第一存储部25中保存有：焊接成为评价对象的工件200之前已被处理的其他工件200中的焊接部位201的形状数据。另外，在第一存储部25中保存有：在焊接实际的工件200之前通过实验预先取得的形状数据。在以后的说明中，有时将这些预先取得的形状数据称为样本形状数据。
样本形状数据包含成为评价对象的焊接部位201的形状为良好的合格品数据和形状存在某些不良情况的不合格品数据。不合格品数据在改变了形状不良的个数、位置的状态下被加工成被标记上多种形状不良的状态，加工结果被用作多个学习数据。将己被标记的不合格品数据和合格品数据进行汇总，作为数据增强处理前的学习数据集。需要说明的是，其他工件200中的焊接部位201的形状数据及成为评价对象的工件200中的焊接部位201的形状数据当然是针对具有同样的形状及材质的工件200内的同样的焊接部位201而取得的。
另外，在取得样本形状数据时，形状计测部21的检查条件是固定的。但是，也可以按照工件200的每种材质或工件200的每种形状来改变检查条件。另外，在第一存储部25中还保存有后述的第一学习数据集、第二学习数据集、判定模型。
第一学习数据集生成部26A读出由形状数据处理部24生成并保存于第一存储部25的样本形状数据，并按照工件200的每种材质、形状对该样本形状数据进行分类。另外，也可以按照焊接部位201的每个检查项目进行分类。在该情况下，相同的学习数据也可以分别包含在不同的检查项目中。另外，第一学习数据集生成部26A基于分类后的样本形状数据，生成第一学习数据集。具体而言，第一学习数据集生成部26A基于与样本形状数据相关联的特征量，生成第一学习数据集。第一学习数据集是按照工件200的每种材质、形状而生成的。例如，以矩阵的形式对工件200的材质和形状进行整理来决定分类的类别，与该类别对应地对第一学习数据集进行分类。需要说明的是，作为工件200的形状的例子，举出板材的对接或重合、T字接头或十字接头等。
另外，第一学习数据集生成部26A对样本形状数据进行数据增强处理而生成第一学习数据集。具体而言，使与样本形状数据相关联的一个或多个特征量发生变化，或者改变样本形状数据中的形状不良部位的位置。或者，通过执行上述两个处理，来执行数据增强处理。即，根据一个样本形状数据生成多种第一学习数据集。
第二学习数据集生成部26B读出由第一学习数据集生成部26A生成并保存于第一存储部25的第一学习数据集，生成第二学习数据集。第二学习数据集是被输入到后述的判定模型并用于提高判定模型的判定精度的学习数据的组。
通过以若干个不同的比率使第一学习数据集的数据密度发生变化而生成第二学习数据集。或者，通过以若干个不同的比率使第一学习数据集的分辨率发生变化而生成第二学习数据集。即，由第二学习数据集生成部26B生成与保存于第一存储部25的第一学习数据集的种类、个数对应的多组第二学习数据集。需要说明的是，“数据密度”是指由形状计测部21取得的焊接部位201、第一学习数据集、第二学习数据集中的多个点云数据的密度。在本申请说明书中，主要处理XY平面内的点云数据的密度，该XY平面是在平面内包含X方向和Y方向的平面。在图3所示的例子中，生成使第一学习数据集的X方向、Y方向以及Z方向的分辨率分别发生变化而得到的第二学习数据集，这些第二学习数据集分别被赋予编号并被保存于第一存储部25。需要说明的是，之后详述第一学习数据集及第二学习数据集的生成步骤。
第一学习数据集生成部26A及第二学习数据集生成部26B的功能主要由数据处理部23的CPU 23a来实现。然而，并非特别限定于此，例如，也可以由GPU 23b实现该功能的一部分。
判定模型生成部27针对按照工件200的每种材质、形状而设定的焊接部位201的检查项目，基于在各个项目中设定的判定基准，生成判定模型。所生成的判定模型是通过分别进行了加权的多个识别器的组合等表现的。判定模型例如是通过CNN(ConvolutionalNeural Network，卷积神经网络)等表现的公知的物体检测用的算法。
另外，判定模型生成部27按照工件200的每种材质、形状向按照工件200的每种材质、形状生成的各判定模型输入第二学习数据集，该第二学习数据集来自具有相等数据密度或者具有相等分辨率的多个第二学习数据集。此外，通过重复学习，提高各判定模型的判定精度。在该情况下，例如根据图3所示的分类的类别来生成判定模型。需要说明的是，反复进行学习，直至判定模型的准确率(accuracy rate)、再现率、精度满足预先设定好的值。在图3所示的例子中，准备多组按照工件200的每种材质及形状使分辨率发生变化而得到的第二学习数据集。与这些第二学习数据集分别对应地生成判定模型，判定模型分别被赋予编号并被保存于第一存储部25。
另外，在生成判定模型时，根据工件200的材质、形状，适当地选择并使用样本形状数据中的合格品数据及不合格品数据，由此，能够缩短判定模型的生成时间，实现判定模型的高精度化。同样，在按照焊接部位201的每个检查项目而生成判定模型的情况下，根据检查项目，适当地选择并使用样本形状数据中的合格品数据及不合格品数据，由此，能够缩短判定模型的生成时间，实现判定模型的高精度化。
第一判定部28基于由形状数据处理部24进行了噪声去除、边缘强调等处理的焊接部位201的形状数据、和由判定模型生成部27生成的判定模型中的与选择出的检查项目对应的判定模型，判定焊接部位201的形状是否良好，换言之，判定是否满足规定的判定基准。另外，用于生成该判定模型的第二学习数据集的数据密度与由形状数据处理部24取得的焊接部位201的形状数据的数据密度相等，或者用于生成该判定模型的第二学习数据集的分辨率与由形状数据处理部24取得的焊接部位201的形状数据的分辨率相等。换言之，以使该第二学习数据集的数据密度与由形状数据处理部24取得的焊接部位201的形状数据的数据密度成为相等的值的方式选择用于生成该第二学习数据集的第一学习数据集。或者，以使该第二学习数据集的分辨率与由形状数据处理部24取得的焊接部位201的形状数据的分辨率成为相等的值的方式选择用于生成该第二学习数据集的第一学习数据集。
需要说明的是，在进行焊接部位201的形状的良好与否判定之前，使用了第二学习数据集通过学习对判定模型进行强化。具体而言，针对所选择的检查项目，将由第二学习数据集生成部26B生成的第二学习数据集输入到由判定模型生成部27生成的判定模型中。
由焊接作业人员等人工确认判定结果，在焊接不良的种类与学习数据不一致的情况下，执行注释，需要说明的是，注释是指将用肉眼观察实际的焊接部位201而确定出的有无形状不良及形状不良的种类标注于形状数据的对应部位的工序。该注释基本上是通过人的手进行的。
通过执行注释，在学习数据中，再次重新评估有无形状不良、形状不良的种类。基于该执行结果，进行第二学习数据集的重新制作或新制作，进而，使用注释完毕的第二学习数据集执行判定模型的重新学习。通过执行一次或多次重复执行这些作业，由此利用学习而强化判定模型。
但是，如后所述，由于形状不良的模式分为多种，因此，实际上通过概率来计算形状数据所包含的形状不良是怎样的不良模式，如果为规定以上的概率，则判定为存在形状不良，并且确定其种类。之后详述这方面。
例如，通过概率来判定学习数据中己被注释的形状不良的种类与焊接部位201的形状数据所包含的形状不良的种类的一致度，在该概率超过了规定的阈值的情况下，确定焊接部位201的形状数据所包含的形状不良的种类。
从第一判定部28输出以下的信息。即，输出有无形状不良、以及在存在形状不良的情况下，输出形状不良的种类、个数、尺寸、以及形状不良在焊接部位201的位置。进而，在形状不良超过基于预先设定好的判定基准的阈值而存在的情况下，输出焊接部位201的形状是良好的还是不良的结果。需要说明的是，该阈值根据形状不良的种类、尺寸而不同。例如，针对后述的飞溅物(参照图6A)，在存在五个以上直径为5μ m以上的飞溅物的情况下，判定为焊接部位201的形状是不良的。针对穿孔(参照图6A、6C)，在存在一个以上的情况下，判定为焊接部位201的形状是不良的。需要说明的是，这些只是一个例子，可以根据上述的判定基准和阈值适当改变。
需要说明的是，能够任意地设定形状不良的判定的阈值和显示形式。例如也可以是：如果是飞溅物204，则显示为红色，如果是穿孔202(参照图6A)，则显示为黄色。另外，在将有无飞溅物204及飞溅物204的上限个数设定为检查项目的情况下，被识别为飞溅物204的部分可以用与背景不同的颜色显示，并且，也可以用颜色区分显示是飞溅物204的概率。由此，焊接作业人员或系统管理人员能够一眼就容易地识别有无该形状不良部位或形状不良部位的分布程度。例如，如果上述的一致度为30％以下的概率，则可以显示为绿色，如果为70％以上的概率，则可以显示为红色。需要说明的是，当然也能够任意地设定该情况下的概率范围的划分和对应的颜色设定等。另外，在飞溅物204的尺寸也包含在形状良好与否的判定基准内的情况下，当然对基于形状数据计算出的飞溅物204的尺寸与判定基准进行比较，进行形状良好与否的判定。需要说明的是，由于焊接部位201的形状的检查项目分为多种，因此，按照每个检查项目进行形状的良好与否判定，仅在需要判定的全部检查项目都己得到满足的情况下，进行最终的合格品判定。
通知部29构成为：将第一判定部28中的判定结果通知给输出控制部15、机器人控制部17、焊接作业人员或者系统管理人员。例如，数据处理部23的显示器23g相当于通知部29。判定结果可以显示于显示器23g或焊接系统100的未图示的显示部，或者从未图示的打印机输出，或者也可以通过这两者进行通知。如果仅仅通知最终的判定结果，则也可以将其作为声音从未图示的声音输出部输出。需要说明的是，从通知部29通知的判定结果优选不仅通知最终的判定结果，还通知每个检查项目的判定结果。通过这种方式，焊接作业人员或系统管理人员能够具体地知晓在焊接部位201发生了怎样的不良情况。
需要说明的是，构成为：在第一判定部28中的判定结果为肯定、即判定出焊接部位201的形状为良好的情况下，焊接系统100连续地对同一工件200内的下一个焊接部位201进行焊接，或者对下一个工件200中的同样的焊接部位201进行焊接。
另一方面，在第一判定部28中的判定结果为否定、即判定出焊接部位201的形状为不良的情况下，输出控制部15停止焊炬11的焊接输出，机器人控制部17使机器人16的动作停止，或者以焊炬11来到规定的初始位置的方式使机器人16工作。
[判定模型的生成步骤]
图6A～图6E示出在焊接部位产生的形状不良部位的一例，图7A～图7C是示出第一学习数据集的生成步骤的第一例～第三例的示意图，图8A～图8D是示出第二学习数据集的制作步骤的第一例～第四例的示意图。
需要说明的是，图6A～图6E示出对接焊接时的焊接部位201的形状，图6A示出俯视形状，图6B～图6E示出沿图6A的VIB一VIB线至VIE一VIE线剖切的剖视图。另外，在图8A～图8D中，为了便于说明，仅在焊接部位201、飞溅物204的周缘部用白圈标注坐标点。
图9示出判定模型的生成步骤的流程图，以下，按照该流程图说明判定模型的生成步骤。
首先，通过形状计测部21计测焊接部位201的形状(步骤S1)，取得样本形状数据。
接着，数据处理部23从机器人控制部17取得机器人16的移动速度、即形状计测部21对焊接部位201的Y方向的扫描速度。数据处理部23还基于机器人16的移动速度，将形状计测部21的Y方向的扫描区间分割为规定长度的等速区间。或者，将形状计测部21的Y方向的扫描区间分割为等速区间和加减速区间(图7的步骤S2)。这里，“等速区间”是指安装于机器人16的形状计测部21沿着Y方向等速移动的区间。“加减速区间”是指安装于机器人16的形状计测部21沿着Y方向加速移动和/或减速移动的区间。
形状数据处理部24对在步骤S2中分割出的区间中的等速区间的样本形状数据进行上述的边缘强调修正、噪声去除等处理(步骤S3)。进而，执行了步骤S3的处理后的样本形状数据被保存于第一存储部25(步骤S4)。
接着，形状数据处理部24判断在形成于工件200的焊接部位201中是否残留有未计测部位(步骤S5)。如果步骤S5的判断结果为否定，则返回步骤S1，进行未计测部位的形状计测。如果步骤S5的判断结果为肯定，则进入步骤S6。通过对所有必要的部位进行计测并将其数据化，从而收集必要数量的用于生成第一学习数据集、第二学习数据集的样本形状数据。另外，计测、噪声去除等处理结束后的样本形状数据被保存于第一存储部25。
第一学习数据集生成部26A读出保存于第一存储部25的样本形状数据，并按照工件200的每种材质、形状对样本形状数据进行分类。另外，对分类后的样本形状数据中的各个样本形状数据进行数据增强处理，生成第一学习数据集(步骤S6)。进一步说明第一学习数据集的生成步骤。
如图6A～图6E所示，在对工件200进行了电弧焊接或激光焊接的情况下，由于焊接条件的设定的不良情况或使用低品质的工件200等，因此在该焊接部位201可能产生各种形状不良。例如，有时焊接部位201的一部分烧穿(以下，有时将焊接部位201的一部分从工件200烧穿而形成于工件200的通孔称为穿孔202)或产生咬边203。需要说明的是，咬边203是指焊缝的边缘的部分处于比工件200的表面凹陷的状态下的不良情况部分。另外，就焊接部位201的长度、宽度、距基准面的高度的变动幅度而言，与各自的设计值L、W、H相比有时超过容许范围ΔL、ΔW、ΔH。另外，有时在形成于焊丝12的前端的熔滴(未图示)向工件200转移时熔滴的一部分或工件200的熔融金属的微粒飞散而产生飞溅物204，或者在工件200为镀锌钢板的情况下，一部分从焊接部位201蒸发而产生凹坑205，或者，在工件200或焊丝12为铝系材料的情况下，在焊接部位201的附近产生污物206。
需要说明的是，凹坑205是在焊缝的表面开口的部分，污物206是在焊缝的附近产生的黑色碳黑状的附着物，包含上述的穿孔202、咬边203、飞溅物204等在内，分别是形状不良的模式(种类)之一。
这样，焊接部位201的形状不良存在各种模式，需要对它们分别设置判定基准来进行检查。例如，针对穿孔202和咬边203，不仅需要根据它们的有无来进行良好与否判定，还需要设定用于识别为穿孔202等的、例如与焊接部位201的周围的对比度或高度之差等来进行良好与否判定。另外，例如，就飞溅物204而言，需要设定其平均直径，利用每单位面积存在的平均直径为规定值以上的飞溅物204的个数来进行良好与否判定。而且，根据工件200的材质、焊接部位、以及顾客的要求规格等，改变或追加焊接部位201的检查项目数量或形状的良好与否判定基准。
此外，基于形状数据判定有无形状不良的判定基准根据工件200的材质、形状而不同。如上所述，激光光束的反射率根据工件200的材质而不同，因此，例如，形状数据的亮度等级、对比度也会改变。另外，根据工件200的形状的不同，即便在对相同长度的直线部进行焊接的情况下，有时在重力等的影响下，焊接部位201的焊缝形状也会发生变化。
因此，判定模型生成部27需要按照工件200的每种材质、形状，分别使用大量的学习数据来生成判定模型。即，需要按照工件200的每种材质、形状，大量地取得适合作为学习数据的焊接部位201的形状数据。但是，按照工件200的每种材质、形状预先取得所需的样本形状数据，就需要庞大的工时，从而效率低。
因此，在本实施方式中，首先，在第一学习数据集生成部26A中，按照工件200的每种材质、形状对从第一存储部25读出的样本形状数据进行分类，对分类后的样本形状数据分别进行数据增强处理，生成多个第一学习数据集。
例如，如图6A所示，作为第一学习数据集，生成在原始的样本形状数据中使作为特征量之一的焊接部位201的长度、位置变化而得到的多个数据。需要说明的是，在图6A中，示出生成了与焊接部位201的长度的基准值L相比缩短的幅度超出容许范围ΔL的多个第一学习数据集的例子，但并非特别限定于此，另外也生成与长度的基准值L相比变长的幅度超出容许范围ΔL的第一学习数据集。
或者，如图6B所示，作为第一学习数据集，生成在原始的样本形状数据中使穿孔202的尺寸、位置变化而得到的多个数据。在该情况下，作为特征量，提取距基准面的高度及焊接部位201内的多个点之间的该高度之差，使它们变动。另外，如图6C所示，作为第一学习数据集，生成在原始的样本形状数据中使飞溅物204的个数、位置变化而得到的多个数据。在焊接部位201的周围提取同样的特征量，基于该特征量生成第一学习数据集，由此，能够使用以后生成的判定模型，来判定飞溅物204、污物206是否超过规定的容许范围而存在。
接着，第二学习数据集生成部26B针对由第一学习数据集生成部26A生成的第一学习数据集，使分辨率以若干个不同的比率发生变化。通过这种方式，从一组第一学习数据集生成多组第二学习数据集(步骤S7)。进一步说明第二学习数据集的生成步骤。
如上所述，根据焊接部位201的形状，有时希望加快检查速度、即加快形状计测部21的扫描速度，并增大沿着焊接线延伸的方向的分辨率来取得形状数据，降低生产节拍时间。或者，有时也希望将形状计测部21的扫描速度抑制得较低，并减小沿着焊接线延伸的方向的分辨率来取得形状数据，精度良好地检测细微的形状不良。
另一方面，在取得样本形状数据时，检查条件被固定为预先决定好的条件。即，形状计测部21的计测分辨率、计测频率、X方向及Y方向的扫描速度被固定为预先决定好的值。在这样的情况下，基于样本形状数据生成的第一学习数据集的数据密度、分辨率反映样本形状数据的各个值。即，基本上，样本形状数据的数据密度、分辨率与第一学习数据集的数据密度、分辨率为相等的值。另外，在对第一学习数据集进行数据增强处理而得到的第二学习数据集中，数据密度、分辨率的值也成为与样本形状数据的数据密度、分辨率的值相等的值。
如前所述，在该情况下，如果向基于第二学习数据集生成的判定模型输入数据密度、分辨率大不相同的形状数据，则有可能无法正确地评价焊接部位201的形状。
因此，在本实施方式中，将使第一学习数据集的数据密度或分辨率发生多种变化而得到的数据作为第二学习数据集生成，该第二学习数据集是生成新的判定模型所需的学习数据的群。通过这种方式，即使不进行改变检查条件而取得大量的样本形状数据的处理，也能够生成所希望的判定模型。
例如，通过使Y方向的分辨率发生变化来生成第二学习数据集。如图8A所示，在第一学习数据集的形状反映了一部分弯曲且沿Y方向延伸的焊缝的情况下，使分辨率变化后得到的第二学习数据集的外形相比第一学习数据集的外形没有大的变化。另一方面，如图8B所示，在第一学习数据集的形状反映大致椭圆形的飞溅物204的情况下，使分辨率变化后得到的第二学习数据集的外形相比第一学习数据集的外形大幅变化。需要说明的是，在实际使第一学习数据集的分辨率发生变化时，使用与后述的分辨率转换修正同样的方法。
另外，也可以通过使数据密度发生变化来生成第二学习数据集。许多情况下，在第一学习数据集中，以规定的间隔对数据进行抽稀而使数据密度降低，生成第二学习数据集。
通常情况下，在取得样本形状数据时，需要可靠地取得其形状、特征量。因此，提高计测频率或降低扫描速度来进行形状计测的情况较多。另一方面，在这样的情况下，由于花费检查时间，因此在实际的加工现场，大多情况下提高扫描速度来缩短检查时间，降低生产节拍时间。
在这样的情况下，当如上所述那样使分辨率发生变化时，用于转换坐标点的计算量增加，CPU 23a等的处理负荷增加。另外，也会存在花费运算时间，不适于大量生成第二学习数据集的情况。因此，代替使分辨率发生变化这样的方案，也会进行使数据密度降低来生成第二学习数据集这样的方案。
在图8C、图8D所示的例子中，以沿着Y方向每隔三个数据提取一次数据的方式提取数据，将剩余的数据进行抽稀而生成第二学习数据集。但是，用于对数据进行抽稀的间隔不特别限于此。需要说明的是，图8C所示的分辨率变化前的第一学习数据集的形状与图8A所示的第一学习数据集的形状对应。另外，图8D所示的分辨率变化前的第一学习数据集的形状与图8B所示的第一学习数据集的形状对应。
在图8C中，与图8A所示的情况同样，使数据密度发生变化后得到的第二学习数据集的外形相比第一学习数据集的外形没有大的变化。另外，在图8D中，与图8B所示的情况同样，使数据密度发生变化后得到的第二学习数据集的外形相比第一学习数据集的外形大幅变化。尤其是，在图8D所示的示例中，通过使数据密度发生变化，飞溅物204的外形从大致椭圆形变化为菱形。这样，通过使分辨率发生变化、或使数据密度发生变化，第二学习数据集的形状有时会与原始的样本形状数据或第一学习数据集的形状不同。这对应于在取得样本形状数据时和实际的外观检查时扫描速度等发生变化的情况。换言之，通过使第一学习数据集的分辨率、数据密度发生变化，由此，对第二学习数据集的形状进行修正，使其与实际检查时取得的焊接部位201的形状一致。
[焊接部位的外观检查步骤]
图10A示出焊接部位的外观检查步骤的流程图，图10B示出焊缝形状的良好与否判定步骤的流程图。
步骤S11～步骤S13是与图9的步骤S1～步骤S3同样的步骤，因此省略说明，需要说明的是，在步骤S13中，形状数据处理部24对在步骤S12中分割出的区间中选择出的区间(以下称为选择区间)中的形状数据进行上述的边缘强调修正、噪声去除等处理。
接着，数据处理部23判断执行了步骤S3的选择区间是否为等速区间。该判断是通过选择区间中的机器人16的速度控制函数是否为等速、即是否为相对于时间来说时为恒定的速度来判断的(步骤S14)。机器人16的速度控制函数根据数据处理部23的要求，从机器人控制部17被发送到数据处理部23。在步骤S14的判断结果为否定的情况下，进入步骤S20。
另一方面，在步骤S14的判断结果为肯定、即选择区间为等速区间的情况下，形状数据处理部24判断基于分辨率或数据密度与选择区间的形状数据的分辨率或数据密度相等的第二学习数据集生成的判定模型是否被保存于第一存储部25(步骤S15)。需要说明的是，步骤S15也可以由数据处理部23中的形状数据处理部24以外的功能块执行。
如果步骤S15的判断结果为肯定，则进入步骤S18。另一方面，在步骤S15的判断结果是否定的情况下，即，不存在基于分辨率或数据密度与选择区间的形状数据的分辨率或数据密度相等的第二学习数据集生成的判定模型的情况下，进入步骤S16。
<选择区间为等速区间的情况>
在步骤S16中，形状数据处理部24计算在步骤S1中取得的形状数据的X方向的分辨率(以下称为X方向分辨率)和Y方向的分辨率(以下称为Y方向分辨率)，并将它们保存在第一存储部25中。
如上所述，X方向分辨率相当于彼此相邻的计测点之间的沿X方向的距离。需要说明的是，通常，形状计测部21的激光光束的扫描宽度是恒定的。另外，等速区间中的Y方向分辨率是通过以下所示的式(1)表现的。
Ry＝1000V/60F＝50V/3F……(1)
这里，Ry(mm)是选择区间中的形状数据的Y方向分辨率，V(m/min)是机器人16的移动速度，F(Hz)是形状计测部21的计测频率。
即，在Y方向上，按照1/F的周期计测形状。另一方面，在X方向上，在激光光束的扫描宽度范围内，按照1/F的周期对多个计测点一起进行计测。需要说明的是，通常，根据形状计测部21中的未图示的相机或受光传感器矩阵21b的像素尺寸、间隔来决定形状数据的X方向分辨率。这在选择区间为等速区间或加减速区间的情况下也是同样的。
根据数据处理部23的要求，从传感器控制部22向数据处理部23发送形状计测部21的X方向的计测分辨率和计测频率F。
在执行步骤S16之后，形状数据处理部24对选择区间中的形状数据进行分辨率转换修正或数据密度转换修正(步骤S17)。如上所述，数据密度修正的大部分是在样本形状数据或第一学习数据集中以规定的比率对数据进行抽稀的修正。因此，在以后的说明中，对分辨率转换修正进行说明。
图10示出分辨率转换修正中的形状数据的坐标点的导出步骤的概念图，分辨率转换修正是：对于规定的坐标点(x，y)的Z方向的高度，使用与其相邻的其他坐标点(x+Rx，y)、(x，y+Ry)、(x+Rx，y+Ry)各自的Z方向的高度来进行的。这里，Rx(mm)是选择区间中的形状数据的X方向分辨率。
需要说明的是，在以后的说明中，将坐标点(x，y)的Z方向的高度(Z坐标)设为Z(x，y)。需要说明的是，坐标点(x，y)所在的坐标系的原点例如被设定在焊接部位201的始端部。在该情况下，以该始端部附近的工件200的表面为基准，设定Z坐标Z(x，y)的原点。
分辨率转换修正是通过以下步骤来执行的。首先，如式(2)、(3)所示，分别计算X方向分辨率系数Cx和Y方向分辨率系数Cy。
Cx＝Rx/Rx0……(2)
Cy＝Ry/Ry0……(3)
这里，Rx0是样本形状数据的X方向分辨率，Ry0是样本形状数据的Y方向分辨率。X方向分辨率Rx0及Y方向分辨率Ry0预先保存于第一存储部25。
接着，对于以取得样本形状数据时的分辨率重构后的XY坐标的各点，以分别满足式(4)的方式计算Z(Xn/Cx，Ym/Cy)来作为Z坐标。
Z(Xn/Cx，Ym/Cy)＝(1-dx)×(1一dy)×Z(x，y)
+dx×(1-dy)×Z(x+Rx，y)
+(1-dx)×dy×Z(x，y+Ry)
+dx×dy×Z(x+Rx，y+Ry)……(4)
这里，n是X方向上的点云数据的各点所对应的变量。n为整数，满足1≤n≤N(N为X方向上的点云的个数)的关系。m是Y方向上的点云数据的各点所对应的变量。m为整数，满足1≤m≤M(M是Y方向上的点云的个数)。
这里，dx是坐标点(x，y)与坐标点(Xn/Cx，Ym/Cy)之间的X方向的距离除以坐标点(x，y)与坐标点(x+Rx，y)之间的X方向的距离而得到的值。另外，dy是坐标点(x，y)与坐标点(Xn/Cx，Ym/Cy)之间的Y方向的距离除以坐标点(x，y)与坐标点(x，y+Ry)之间的Y方向的距离而得到的值。
即，图11所示的dx与(1-dx)之比是：坐标点(x，y)和坐标点(Xn/Cx，Ym/Cy)之间的X方向的距离、与坐标点(x+Rx，y)和坐标点(Xn/Cx，Ym/Cy)之间的X方向的距离之比。同样，dy与(1-dy)之比是：坐标点(x，y)和坐标点(Xn/Cx，Ym/Cy)之间的Y方向的距离、与坐标点(x，y+Ry)和坐标点(Xn/Cx，Ym/Cy)之间的Y方向的距离之比。
坐标点(Xn/Cx，Ym/Cy)的Z方向的高度是基于坐标点(Xn/Cx，Ym/Cy)的周围的4个点、即重构前的坐标点(x，y)、(x+Rx，y)、(x，y+Ry)、(x+Rx，y+Ry)的各自的Z方向的高度而导出的。
对于选择区间所包含的全部点云，分别计算式(4)所示的作为修正处理后的坐标的Z(Xn/Cx，Ym/Cy)，形状数据的分辨率转换修正即完成。
通过执行步骤S17，形状数据的分辨率成为与保存于第一存储部25中的样本形状数据相等的值。即，在第一存储部25中保存有基于与修正后的形状数据的分辨率相等的值的样本形状数据而生成的判定模型。
在执行步骤S17之后，进入步骤S18，使用进行了分辨率转换修正后的形状数据，通过第一判定部28进行选择区间中的焊接部位201的形状的良好与否判定。之后说明步骤S18的详细情况。
在执行步骤S18之后，数据处理部23判断在形状数据的分割区间中是否存在未执行步骤S13的处理的区间(图8A的步骤S19)。
在步骤S19的判断结果为否定的情况下，返回步骤S13，选择未执行步骤S13的处理的区间，并且执行步骤S13的处理，反复执行一系列的步骤直到步骤S19的判断结果为肯定。
如果步骤S19的判断结果为肯定，则没有残留对所计测的焊缝的形状数据未实施噪声去除处理等前处理的区间，不存在未实施形状评价的分割区间，因此结束焊接部位201的外观检查。
<选择区间为加减速区间的情况>
在步骤S14的判断结果为否定的情况下，即，在选择区间为加减速区间的情况下，数据处理部23从传感器控制部22取得在步骤S11中取得的形状数据的X方向分辨率，并将其保存在第一存储部25中(步骤S20)。
接着，形状数据处理部24基于机器人16的速度控制函数，计算在步骤S11中取得的形状数据的Y方向分辨率(步骤S21)。根据数据处理部23的要求，从机器人控制部17向数据处理部23的形状数据处理部24发送机器人16的速度控制函数。需要说明的是，机器人16的速度控制函数也可以暂时被发送到第一存储部25进行保存，然后被发送到形状数据处理部24。
进而，形状数据处理部24对选择区间中的形状数据进行分辨率转换修正(步骤S22)。
这里，参照图12、图13对加减速时的形状数据的分辨率、尤其是Y方向分辨率进行说明。图12是示出加减速区间中的分辨率转换修正前后的形状数据的坐标点位置的变化的概念图。图13是示出加减速区间中的机器人的速度控制函数的一例的示意图。
通常，在对一个焊接部位201进行外观检查的情况下，很少改变激光光束的扫描频率、扫描宽度。如上所述，在将Y方向设为沿着焊接线延伸的方向的情况下，X方向为与沿着焊接线延伸的方向交叉的方向。用于计测形状的形状计测部21的激光光束在沿着Y方向以机器人16的前端的移动速度(以下简称为机器人16的移动速度)进行扫描的同时，以横跨焊接线的方式在X方向上周期性地进行扫描。因此，在等速区间及加减速区间的各个区间中，形状数据的X方向分辨率Rx大多被认为是恒定的。
另一方面，Y方向分辨率Ry根据机器人16的移动速度V而变化。在选择区间为等速区间的情况下，由于计测频率F及移动速度V为常数，因此从式(1)可知，Y方向分辨率Ry也为常数。
另一方面，在选择区间为加减速区间的情况下，例如，在机器人16加速移动的情况下，彼此相邻的计测点之间的Y方向的间隔随着时间的流逝而变宽。另一方面，在机器人16减速移动的情况下，彼此相邻的计测点之间的Y方向的间隔随着时间的流逝而变窄。其结果是，例如，如图12的左侧所示，Y方向分辨率在沿着Y方向的计测点之间变化。在基于这样的点云数据(形状数据)对焊接部位201进行了形状评价的情况下，无法得到正确的结果。
因此，在选择区间为加减速区间的情况下，需要将Y方向分辨率修正为与机器人16的速度控制函数对应的形式。具体而言，Y方向分辨率Ry(t)(mm)表现为如式(5)所示。
Ry(t)＝1000V(t)/60F＝(50/3F)×V(t)……(5)
这里，V(t)(m/min)是机器人16的速度控制函数，F(Hz)是形状计测部21的计测频率。如后所述，用时间t(sec)的k次函数(k为1以上的整数)来描述V(t)。
另外，从原点起沿着Y方向排列的第m个坐标点处的分辨率系数Cym(t)表现为如式(6)所示。
[数学式1]
这里，Tm是从原点到第m个坐标点的移动时间。
接着，对于以取得样本形状数据时的分辨率重构后的XY坐标的各点，以分别满足式(7)的方式计算作为修正处理后的坐标的Z坐标。
Z(Xn/Cx，Ym/Cym(t))＝(1-dx)×(1-dy)×Z(x，y)
+dx×(1-dy)×Z(x+Rx，y)
+(1-dx)×dy×Z(x，y+Ry)
+dx×dy×Z(x+Rx，y+Ry)……(7)
除了将重构后的Y坐标Ym/Cym(t)作为时间t的函数进行描述以外，式(7)与式(4)相同。
对于选择区间所包含的全部点云，分别计算式(7)所示的Z(Xn/Cx，Ym/Cym(t))，形状数据的分辨率转换修正即完成。
通过执行步骤S22，形状数据的分辨率成为与保存于第一存储部25中的样本形状数据相等的值。即，在第一存储部25中保存有基于与修正后的形状数据的分辨率相等的值的样本形状数据而生成的判定模型。
在执行步骤S22之后，进入步骤S23，使用进行了分辨率转换修正后的形状数据，通过第一判定部28进行选择区间中的焊接部位201的形状的良好与否判定。之后说明步骤S23的详细情况。
在执行步骤S23之后，数据处理部23判断在形状数据的分割区间中是否存在未执行步骤S3的处理的区间(图8A的步骤S19)。
在步骤S19的判断结果为否定的情况下，返回步骤S13，选择未执行步骤S13的处理的区间，并且执行步骤S13的处理，反复执行一系列的步骤直到步骤S19的判断结果为肯定。
如果步骤S19的判断结果为肯定，则由于不存在未实施形状评价的分割区间，因此结束焊接部位201的外观检查。
这里，如图13所示，以形状数据被分割为三个区间(区间1～区间3)的情况为例进行考虑。
从图13可知，区间1及区间3是等速区间。因此，分别执行图10A的步骤S11～S18来对焊接部位201进行外观检查。
另一方面，区间2为减速区间。具体而言，在期间T(sec)中，机器人16的移动速度V(m/min)从V1单调地减少到V2(<V1)。因此，区间2中的机器人16的速度控制函数V(t)是以式(8)所示的形式表现的。
V(t)＝A×t+B＝((V2-V1)/T)×t+V1……(8)
即，速度控制函数V(t)是时间t的一次函数，时间t的一次系数A是(V2-V1)/T，常数B是V1。
在该情况下，数据处理部23从机器人控制部17取得表征速度控制函数V(t)的各种信息。例如，在速度控制函数V(t)是时间t的k次函数(k是1以上的整数)的情况下，取得t～tk的各系数值以及常数B的值。另外，在区间2中，分别执行图10A的步骤S1～步骤S4及步骤S20～步骤S23，对焊接部位201进行外观检查。
<焊缝的形状的良好与否判定步骤>
图10B所示的焊缝(焊接部位201)的形状的良好与否判定步骤在图10A的步骤S18及步骤S23中是共通的，因此一并进行说明。
图10A的步骤S18及步骤S23分别进一步分为图10B所示的子步骤SA～子步骤SC。首先，第一判定部28判定在选择区间的形状数据中是否包含形状不良(子步骤SA)。如上所述，在该情况下使用的判定模型是使用第二学习数据集预先通过学习而被强化的判定模型。
另外，第一判定部28确定形状不良的尺寸、个数、焊接部位201中的形状不良的位置(子步骤SB)。进而，第一判定部28确定形状不良的种类(子步骤SC)。
需要说明的是，在子步骤SC中，如上所述，考虑形状不良的形状、尺寸、以及形状不良在焊接部位201的位置等，确定形状不良的种类。在该情况下，例如，计算形状不良为飞溅物204的概率，如果该概率为规定值(例如，70％)以上，则确定形状不良为飞溅物204。
需要说明的是，焊接部位201的形状的良好与否的最终判定结果被发送到通知部29、显示器23g。另外，在判定结果为不良的情况下，将由形状计测部21取得的形状数据、具体而言将焊接部位201的形状作为点云数据显示于显示器23g。
另外，在一个工件200所包含的全部焊接部位201的良好与否判定结果为良好的情况下，判定为工件200是合格品，将其送到后续的加工工序，或者作为合格品出厂。
另一方面，在一个工件200所包含的一个或多个焊接部位201发现不良的情况下，可以采取几个对策。例如，在对工件200所包含的全部焊接部位201进行了外观检查之后，保存检查结果，将该工件200作为不合格品废弃。在该情况下，检查结果的保存场所例如是数据处理部23的第一存储部25。但是，并非特别限定于此。另外，也可以在发现了焊接部位201的不良的时刻，将该工件200作为不合格品废弃。
另外，例如，也可以在对工件200所包含的全部焊接部位201进行了外观检查之后，保存检查结果，使该工件200进入修复工序。在修复工序中，对判定为不良的焊接部位201实施再焊接。
另外，例如，也可以在对工件200所包含的全部焊接部位201进行了外观检查之后，保存检查结果，并且焊接作业人员再次目视确认被判定为不良的焊接部位201。通过目视确认，判断该焊接部位201是否能够修复。如果判断为能够修复，则使该工件200进入修复工序，对被判定为不良的焊接部位201实施再焊接。
[效果等]
如上所述，本实施方式所涉及的外观检查装置20检查工件200的焊接部位201的外观。
外观检查装置20至少包括形状计测部21和数据处理部23，该形状计测部21安装于机器人16，沿着焊接线计测焊接部位201的三维形状，该数据处理部23对由形状计测部21取得的形状数据进行处理。
数据处理部23至少包括形状数据处理部24，该形状数据处理部24至少进行由形状计测部21预先取得的样本形状数据的噪声去除处理。另外，数据处理部23包括第一学习数据集生成部26A和第二学习数据集生成部26B，该第一学习数据集生成部26A基于样本形状数据生成多个第一学习数据集，该第二学习数据集生成部26B基于多个第一学习数据集中的各个第一学习数据集，生成多个第二学习数据集。另外，数据处理部23包括判定模型生成部27，该判定模型生成部27使用多个第二学习数据集，生成多种用于进行焊接部位201的形状的良好与否判定的判定模型。数据处理部23包括第一判定部28，该第一判定部28基于由形状数据处理部24处理过的形状数据和由判定模型生成部27生成的判定模型来判定焊接部位201的形状的良好与否。
第一学习数据集生成部26A对样本形状数据进行数据增强处理而生成多个第一学习数据集。第二学习数据集生成部26B使多个第一学习数据集中的各个第一学习数据集的数据密度或分辨率的转换比率发生变化而生成多个第二学习数据集。
通过这样构成外观检查装置20，即使在根据生产节拍时间或所要求的检查精度等而检查条件发生了改变的情况下，也能够精度良好地评价焊接部位201的三维形状，能够正确地判定焊接部位201的形状的良好与否。
另外，通常，一个工件200上包含多个焊接部位201。在该情况下，大多包含形状互不相同的多种焊接部位201，根据焊接部位201的形状，检查条件也会适当改变。
根据本实施方式，即使在一个工件200上包含检查条件互不相同的多个焊接部位201的情况下，也能够精度良好地评价各个焊接部位201的三维形状，能够正确地判定焊接部位201的形状的良好与否。
尤其是，根据本实施方式，针对一组第一学习数据集，使数据密度或分辨率的转换比率多次发生变化，生成多组第二学习数据集。进而，针对所生成的第二学习数据集中的各个第二学习数据集，生成判定模型。
通过这种方式，即使在实际的焊接部位201的检查条件与取得样本形状数据时的检查条件不同的情况下，也能够选择基于适当的数据密度或分辨率的第二学习数据集生成的判定模型。另外，即使不进行改变检查条件而取得大量的样本形状数据的处理，也能够生成所希望的判定模型。
另外，形成于工件200的焊接部位201不限于一种，而是在工件200上形成有各自具有不同形状的多种焊缝。在这样的情况下，对于多种焊接部位201中的每种焊接部位201，根据各自的形状而设定检查条件。
根据本实施方式，在多个焊接部位201的外观检查中，即使在设定有多个不同的检查条件的情况下，也能够选择基于适当的数据密度或分辨率的第二学习数据集生成的判定模型。另外，即使不进行改变检查条件而取得大量的样本形状数据的处理，也能够生成所希望的判定模型。
基于具有与形状计测部21所取得的形状数据的分辨率最接近的分辨率的第二学习数据集而生成第一判定部28所使用的判定模型。或者，基于具有与形状计测部21所取得的形状数据的数据密度最接近的数据密度的第二学习数据集而生成第一判定部28所使用的判定模型。
通过这种方式，能够精度良好地评价焊接部位201的三维形状，能够正确地判定焊接部位201的形状的良好与否。
外观检查装置20还包括传感器控制部22，该传感器控制部22保存形状计测部21对焊接部位201的检查条件，并且将所保存的检查条件发送到数据处理部23。在将沿着焊接线延伸的方向设为Y方向的情况下，传感器控制部22向数据处理部23发送与Y方向及焊接部位201的高度方向即Z方向分别交叉的X方向的计测分辨率和计测频率。
另外，数据处理部23从控制机器人16的动作的机器人控制部17接收机器人16的移动速度V或机器人16的速度控制函数V(t)。
通过这种方式，在对形状数据的分辨率进行转换修正的情况下，能够简便且精度良好地进行该修正。
数据处理部23还包括第一存储部25，该第一存储部25至少保存样本形状数据、第一学习数据集、第二学习数据集以及判定模型。通过设置第一存储部25，通过这种方式，能够顺利地进行第一学习数据集及第二学习数据集的生成以及之后的判定模型的生成处理。
在由形状计测部21取得的形状数据的分辨率与保存于第一存储部25的多个第二学习数据集中的任一个第二学习数据集的分辨率都不同的情况下，形状数据处理部24对形状数据的分辨率进行修正。需要说明的是，在形状数据包含上述的加减速区间的情况下，认为该加减速区间中的形状数据的分辨率也与保存于第一存储部25的多个第二学习数据集的分辨率不同。
具体而言，形状数据处理部24基于形状计测部21对焊接部位201的检查条件，对由形状计测部21取得的形状数据的分辨率进行修正，使其成为与第二学习数据集中的任一个第二学习数据集的分辨率相等的值。检查条件例如是形状计测部21的计测分辨率、计测频率以及扫描速度。需要说明的是，如上所述，形状计测部21的扫描速度与激光光束的X方向上的扫描速度、机器人16的移动速度V或机器人16的速度控制函数V(t)对应。
如上所述，在分别预先确定了形状计测部21的计测分辨率、计测频率以及扫描速度的条件下取得样本形状数据。另外，基于多个第二学习数据集的各个第二学习数据集，判定模型得以强化学习。基于第一学习数据集、进而基于作为在焊接实际的工件200之前通过实验预先取得的形状数据的样本形状数据，生成多个第二学习数据集。对形状数据的分辨率进行修正，使其成为与第二学习数据集的分辨率相等的值。通过这种方式，能够使第二学习数据集所包含的形状不良部位、进而使样本形状数据所包含的形状不良部位的特征和形状数据所包含的形状不良部位的特征、例如开孔202、飞溅204等的形状的特征相匹配。由此，能够可靠且精度良好地进行使用了学习完毕的判定模型的焊接部位201的形状的良好与否判定。
另外，在由形状计测部21取得的形状数据的分辨率与保存于第一存储部25的多个第二学习数据集中的任一个第二学习数据集的分辨率均不同的情况下，形状数据处理部24基于形状数据的X方向分辨率和Y方向分辨率，对形状数据的Z方向的值进行修正。
在当机器人16沿着焊接线等速移动的同时，形状计测部21计测焊接部位201的三维形状的情况下，基于形状计测部21的计测频率和机器人16的移动速度V来决定Y方向分辨率。
在当机器人16在沿着焊接线延伸的规定区间加速移动和/或减速移动的同时，形状计测部21计测焊接部位201的三维形状的情况下，基于形状计测部21的计测频率F和机器人16的速度控制函数V(t)来决定Y方向分辨率。速度控制函数V(t)是用时间t的k次函数来描述的。但是，不限定于此，例如，速度控制函数V(t)也可以是正弦波函数或余弦波函数。即，速度控制函数V(t)是依赖于时间t的函数。
通过这种方式，即使在使形状计测部21的扫描速度发生各种变化的情况下，也能够简便且精度良好地进行形状数据的分辨率转换修正。
第一学习数据集生成部26A按照工件200的每种材质及形状对由形状计测部21预先取得的多个样本形状数据进行分类，并且对分类后的样本形状数据进行数据增强处理而生成多个第一学习数据集。
判定模型生成部27使用多个第二学习数据集，按照工件200的每种材质及形状生成判定模型。
通过这样构成外观检查装置20，由此，即使在样本形状数据的数量少的情况下，也能够生成所需的量的第一学习数据集及第二学习数据集，使判定模型高精度化。因此，能够精度良好地判定焊接部位201的形状良好与否。另外，无需大量地取得样本形状数据，能够大幅削减用于判定形状良好与否的工时。另外，无需手动设定复杂的判定基准就能够自动检测焊接部位201的形状不良。并且，由于按照工件200的每种材质及形状预先对样本形状数据进行分类之后生成第一学习数据集，因此，能够高效地生成第一学习数据集。进而，能够基于第一学习数据集，高效地生成第二学习数据集。
另外，数据处理部23还包括通知部29，该通知部29通知第一判定部28中的判定结果。
通过这种方式，在焊接工件200的过程中，焊接作业人员或系统管理人员能够实时知晓焊接部位201是否发生了不良情况。另外，能够根据需要，采取是否继续焊接工件200的对策。由此，能够降低焊接工序中的焊接成本。
第一学习数据集生成部26A基于从样本形状数据提取出的一个或多个特征量，生成第一学习数据集。需要说明的是，特征量由形状数据处理部24提取。
通过使用从样本形状数据提取出的特征量来生成第一学习数据集，能够无需降低判定模型的精度而简化第一学习数据集的生成处理。
第一学习数据集生成部26A通过使从样本形状数据提取出的一个或多个特征量变化、或改变样本形状数据中的形状不良部位的位置、或者执行这两者，来进行数据增强处理。
通过基于从样本形状数据提取出的一个或多个特征量生成第一学习数据集，由此，能够提高第一学习数据集的制作效率、进而提高第二学习数据集的制作效率，能够进一步削减工时。另外，通过使特征量、形状不良部位的位置变化这样的简单的处理，能够高效地生成第一学习数据集。
需要说明的是，第一学习数据集生成部26A也可以按照焊接部位201的每个检查项目对多个样本形状数据进行分类，并且对分类后的样本形状数据进行数据增强处理而生成第一多个学习数据集。
另外，判定模型生成部27也可以使用多个第二学习数据集，按照焊接部位201的每个检查项目，生成用于进行焊接部位201的形状的良好与否判定的判定模型。
进而，第一学习数据集生成部26A也可以将多个样本形状数据分成特定部分和除此以外的部分，对各个样本形状数据分别进行数据增强处理，生成多个学习数据集，其中，上述的特定部分是与其他部分相比难以判定焊接部位201的形状不良的部分。
在判定焊接部位201的形状良好与否时，第一判定部28判定所输入的形状数据中是否存在形状不良。在进行该判定时，使用样本形状数据，生成第一学习数据集，进而生成第二学习数据集，其中，上述样本形状数据由不包含形状不良的合格品数据和包含某种形状不良的不合格品数据构成。在第一学习数据集及第二学习数据集中，对不合格品数据进行如下的加工，在该加工中，确定形状不良的种类，并且对形状不良标记所确定的种类。使用该第二学习数据集，预先通过学习对判定模型进行强化。
另外，在形状数据中存在形状不良的情况下，第一判定部28确定形状不良的个数、尺寸，以及形状不良在焊接部位201及其周围的规定区域中的位置。
进而，第一判定部28确定形状不良的种类。在进行该确定时，参照形状不良的个数、尺寸、或者形状不良在焊接部位201的位置。另外，形状不良的种类是通过概率计算的，在该概率为规定的阈值以上的情况下，形状不良的种类即确定。需要说明的是，形状不良的种类不限于图6A～图6E所示的不良。焊接部位201的尺寸不满足规定的合格品基准的情况也包含在形状不良中。可以在X方向、Y方向、Z方向中的任一个方向上设定该尺寸的合格品基准。
如上所述，针对焊接部位201的形状，第一判定部28分别判定或确定多个项目，基于这些结果，最终判定焊接部位201的形状良好与否。通过这种方式，能够正确且可靠地评价焊接部位201的形状良好与否。
另外，判定模型生成部27也可以在使用多个学习数据集并按照工件200的每种材质及形状生成判定模型时，分别生成与焊接部位201的特定部分对应的判定模型和与除此以外的部分对应的判定模型。
通过这种方式，在与其他部分相比难以判定有无形状不良和形状不良的种类的焊接部位201的特定部分，也能够以规定值以上的精度判定有无形状不良和形状不良的种类。其结果是，能够精度良好地判定外观检查中的焊接部位201的形状良好与否。
本实施方式所涉及的焊接系统100包括焊接工件200的焊接装置10和外观检查装置20。
通过这样构成焊接系统100，能够以较少的工时精度良好地检查焊接部位201的形状。由此，能够降低焊接工序的成本。
另外，焊接装置10至少包括焊机头11(焊炬11)、机器人16、输出控制部15以及机器人控制部17，该焊机头11(焊炬11)用于向工件200输入热量，该机器人16保持焊机头11(焊炬11)且使焊机头11(焊炬11)向所希望的位置移动，该输出控制部15对焊机头11(焊炬11)的焊接输出进行控制，该机器人控制部17对机器人16的动作进行控制。
在由外观检查装置20的第一判定部28判定出焊接部位201的形状为不良的情况下，输出控制部15停止焊机头11(焊炬11)的焊接输出，机器人控制部17使机器人16的动作停止，或者以焊机头11(焊炬11)来到规定的初始位置的方式使机器人16工作。
通过这样构成焊接系统100，在焊接部位201的形状为不良的情况下，能够停止接下来的焊接，防止频繁出现不合格品。需要说明的是，通过按照每个检查项目获取第一判定部28中的判定结果，能够推测焊接系统100中的不良情况部位，迅速地消除不良原因，能够缩短焊接系统100的停机时间。
焊接部位201的外观检查方法至少包括：形状计测部21在与机器人16一起移动的同时计测焊接部位201的三维形状，取得样本形状数据的步骤；以及第一学习数据集生成部26A基于样本形状数据生成多个第一学习数据集的步骤。
焊接部位201的外观检查方法还包括：第二学习数据集生成部26B基于多个第一学习数据集生成多个第二学习数据集的步骤；以及判定模型生成部27使用多个第二学习数据集，生成多种用于进行焊接部位201的形状的良好与否判定的判定模型的步骤。
焊接部位201的外观检查方法还包括：形状计测部21在与机器人16一起移动的同时计测焊接部位201的三维形状，取得形状数据的步骤；以及第一判定部28基于由形状数据处理部24处理过的形状数据和由判定模型生成部27生成的判定模型来判定焊接部位的形状的良好与否的步骤。
基于具有与由形状数据处理部24处理过的形状数据的数据密度最接近的数据密度的第二学习数据集而生成第一判定部28所使用的判定模型。或者，基于具有与由形状数据处理部24处理过的形状数据的分辨率最接近的分辨率的第二学习数据集而生成第一判定部28所使用的判定模型。
根据该外观检查方法，即使在根据生产节拍时间、所要求的检查精度等而检查条件发生了改变的情况下，也能够精度良好地评价焊接部位201的三维形状，能够正确地判定焊接部位201的形状的良好与否。
另外，通常，一个工件200上包含多个焊接部位201。在该情况下，大多包含形状互不相同的多种焊接部位201，根据焊接部位201的形状，检查条件也会适当改变。
根据本实施方式，即使在一个工件200上包含检查条件互不相同的多个焊接部位201的情况下，也能够精度良好地评价各个焊接部位201的三维形状，能够正确地判定焊接部位201的形状的良好与否。
尤其是，根据本实施方式，基于具有与由形状计测部21取得并由形状数据处理部24处理过的形状数据的数据密度最接近的数据密度的第二学习数据集而生成判定模型。或者，基于具有与由形状计测部21取得并由形状数据处理部24处理过的形状数据的分辨率最接近的分辨率的第二学习数据集生成判定模型。
通过这种方式，即使在实际的焊接部位201的检查条件与取得样本形状数据时的检查条件不同的情况下，也能够选择基于适当的数据密度或分辨率的第二学习数据集生成的判定模型。通过这种方式，能够精度良好地评价焊接部位201的三维形状，能够正确地判定焊接部位201的形状的良好与否。
另外，第一判定部28判定焊接部位201的形状的良好与否的步骤(图10A的步骤S18、步骤S23)还包含以下的子步骤。
即，基于从形状数据处理部24输入的形状数据和预先通过学习而被强化过的判定模型，判定焊接部位201中有无形状不良的子步骤(图10B的子步骤SA)；确定形状不良的个数、尺寸以及形状不良相对于焊接部位201的位置的子步骤(图10B的子步骤SB)；以及确定形状不良的种类的子步骤(图10B的子步骤SC)。
第一判定部28基于各个子步骤SA～SC的判定结果及确定结果，判定焊接部位201的形状的良好与否。
通过这种方式，能够正确且可靠地评价焊接部位201的形状良好与否。
(其他实施方式)
在图1所示的例子中，示出了在机器人16上安装了焊炬11(焊机头11)和形状计测部21这两者的例子，但也可以在安装有焊炬11(焊机头11)的机器人16以外另外设置安装有形状计测部21的其他机器人(未图标)。在该情况下，从控制另一机器人的动作的另一机器人控制部(未示出)向数据处理部23发送各种数据。
另外，实施方式所示的第一学习数据集生成部26A按照工件200的每种材质以及形状对样本形状数据进行分类，并且对分类后的样本形状数据进行数据增强处理而生成了多个第一学习数据集。
但是，第一学习数据集生成部26A也可以不具有该分类功能。在该情况下，判定模型生成部27也可以不具有按照工件200的每个材质及形状生成判定模型的功能。
另外，第一学习数据集生成部26A的功能和第二学习数据集生成部26B的功能也可以调换。即，第一学习数据集生成部26A也可以基于样本形状数据，生成多种改变了数据密度或分辨率的转换比率而得的第一学习数据集。第二学习数据集生成部26B也可以将第一学习数据集按照工件200的每种材质及形状进行分类，基于分类后的第二学习数据集，生成多个第二学习数据集。
另外，由第一学习数据集生成部26A和第二学习数据集生成部26B执行的处理大致分为以下三种。即，按照工件200的每种材质及形状对数据进行分类，对原始的数据进行数据增强，使原始的数据的数据密度发生变化或者使分辨率发生变化。这三个处理可以分别由不同的功能块实现，也可以由同一功能块实现。不言而喻，在任何情况下，各功能是通过在数据处理部23的硬件上，尤其是在CPU 23a、GPU 23b上执行规定的软件来实现的。
-产业实用性-
本公开的外观检查装置即使在检查条件发生了改变的情况下，也能够精度良好地评价焊接部位的三维形状，因此在应用于包含各种焊接部位的工件的外观检查中特别有用。
-符号说明-
10 焊接装置
11 焊机头(焊炬)
12 焊丝
13 焊丝进给装置
14 电源
15 输出控制部
16 机器人
17 机器人控制部
20 外观检查装置
21 形状计测部
22 传感器控制部
23 数据处理部
24 形状数据处理部
25 第一存储部
26A 第一学习数据集生成部
26B 第二学习数据集生成部
27 判定模型生成部
28 第一判定部
29 通知部
100 焊接系统
200 工件
201 焊接部位

Claims (17)

1.一种外观检查装置，其检查工件的焊接部位的外观，其特征在于：
所述外观检查装置至少包括形状计测部和数据处理部，
所述形状计测部安装于机器人，沿着焊接线计测所述焊接部位的三维形状，
所述数据处理部处理由所述形状计测部取得的形状数据，
所述数据处理部至少包括形状数据处理部、第一学习数据集生成部、第二学习数据集生成部、判定模型生成部以及第一判定部，
所述形状数据处理部至少进行由所述形状计测部预先取得的样本形状数据的噪声去除处理，
所述第一学习数据集生成部基于所述样本形状数据生成多个第一学习数据集，
所述第二学习数据集生成部基于多个所述第一学习数据集中的各个所述第一学习数据集，生成多个第二学习数据集，
所述判定模型生成部使用多个所述第二学习数据集，生成多种用于进行所述焊接部位的形状的良好与否判定的判定模型，
所述第一判定部基于由所述形状数据处理部处理过的所述形状数据和由所述判定模型生成部生成的所述判定模型，判定所述焊接部位的形状的良好与否。
2.根据权利要求1所述的外观检查装置，其特征在于：
所述第一学习数据集生成部对所述样本形状数据进行数据增强处理而生成多个所述第一学习数据集，
所述第二学习数据集生成部使多个所述第一学习数据集中的各个所述第一学习数据集的数据密度或分辨率的转换比率发生变化而生成多个所述第二学习数据集。
3.根据权利要求1或2所述的外观检查装置，其特征在于：
基于具有与由所述形状计测部取得的所述形状数据的数据密度最接近的数据密度的所述第二学习数据集而生成所述第一判定部中使用的所述判定模型，或者基于具有与由所述形状计测部取得的所述形状数据的分辨率最接近的分辨率的所述第二学习数据集而生成所述第一判定部中使用的所述判定模型。
4.根据权利要求1到3中任一项权利要求所述的外观检查装置，其特征在于：
所述数据处理部还包括第一存储部，所述第一存储部至少保存所述样本形状数据、所述第一学习数据集、所述第二学习数据集以及所述判定模型。
5.根据权利要求4所述的外观检查装置，其特征在于：
所述外观检查装置还包括传感器控制部，所述传感器控制部保存所述形状计测部对所述焊接部位的检查条件，并且向所述数据处理部发送所保存的所述检查条件，
所述传感器控制部向所述数据处理部发送所述形状计测部的计测频率和所述形状计测部的计测分辨率，所述计测分辨率是与沿着所述焊接线延伸的方向即Y方向和所述焊接部位的高度方向即Z方向分别交叉的X方向的所述计测分辨率，
所述数据处理部从控制所述机器人的动作的机器人控制部接收所述机器人的移动速度或所述机器人的速度控制函数。
6.根据权利要求5所述的外观检查装置，其特征在于：
在由所述形状计测部取得的所述形状数据的分辨率与保存于所述第一存储部的多个所述第二学习数据集中的任一个所述第二学习数据集的分辨率都不同的情况下，
所述形状数据处理部基于所述形状计测部的所述计测分辨率、所述计测频率以及扫描速度，对所述形状数据的分辨率进行修正，使得所述形状数据的分辨率成为与多个所述第二学习数据集中的一个所述第二学习数据集的分辨率相等的值。
7.根据权利要求6所述的外观检查装置，其特征在于：
所述形状数据处理部基于所述形状数据的X方向分辨率和Y方向分辨率，修正所述形状数据的所述Z方向的值，
在当所述机器人沿着所述焊接线等速移动的同时，所述形状计测部计测所述焊接部位的三维形状的情况下，
基于所述计测频率和所述机器人的移动速度来决定所述Y方向分辨率，
在当所述机器人在沿着所述焊接线延伸的规定的区间加速移动和/或减速移动的同时，所述形状计测部计测所述焊接部位的三维形状的情况下，
基于所述计测频率和所述机器人的速度控制函数来决定所述Y方向分辨率，
所述机器人的速度控制函数是依赖于时间的函数。
8.根据权利要求1到7中任一项权利要求所述的外观检查装置，其特征在于：
所述第一学习数据集生成部按照所述工件的每种材质及形状对由所述形状计测部取得的多个所述样本形状数据进行分类，并且基于分类后的所述样本形状数据生成多个所述第一学习数据集，
所述判定模型生成部使用多个所述第二学习数据集，按照所述工件的每种材质及形状生成所述判定模型。
9.根据权利要求1到8中任一项权利要求所述的外观检查装置，其特征在于：
所述数据处理部还包括通知部，所述通知部通知所述第一判定部中的判定结果。
10.根据权利要求1到9中任一项权利要求所述的外观检查装置，其特征在于：
使用所述第二学习数据集预先通过学习而强化所述判定模型，
所述第一学习数据集和所述第二学习数据集分别包含合格品数据和学习数据，
所述合格品数据是在所述焊接部位不包含形状不良的形状数据，
所述学习数据是针对在所述焊接部位包含所述形状不良的形状数据即不合格品数据，确定所述形状不良的种类，并且对该种类进行了标记的数据，
所述第一判定部向所述判定模型输入从所述形状数据处理部输入的所述形状数据，
所述判定模型判定有无所述形状不良，并且确定所述形状不良的种类、个数、尺寸以及所述形状不良相对于所述焊接部位的位置，基于各个判定结果及确定结果，判定所述焊接部位的形状的良好与否。
11.一种焊接系统，其特征在于：包括：
权利要求1到10中任一项权利要求所述的外观检查装置；以及
焊接所述工件的焊接装置，
所述焊接装置至少包括焊机头和输出控制部，
所述焊机头用于向所述工件输入热量，
所述输出控制部控制所述焊机头的焊接输出。
12.根据权利要求11所述的焊接系统，其特征在于：
所述焊接装置还包括所述机器人和机器人控制部，
所述机器人保持所述焊机头并使所述焊机头向所希望的位置移动，
所述机器人控制部控制所述机器人的动作，
在由所述第一判定部判定出所述焊接部位的形状为不良的情况下，所述输出控制部停止所述焊机头的焊接输出，所述机器人控制部使所述机器人的动作停止，或者以所述焊机头来到规定的初始位置的方式使所述机器人工作。
13.一种焊接部位的外观检查方法，其使用了权利要求1到10中任一项权利要求所述的外观检查装置，其特征在于：
所述焊接部位的外观检查方法至少包括：
所述形状计测部在与所述机器人一起移动的同时计测所述焊接部位的三维形状，取得所述样本形状数据的步骤；
所述第一学习数据集生成部基于所述样本形状数据生成多个所述第一学习数据集的步骤；
所述第二学习数据集生成部基于多个所述第一学习数据集生成多个所述第二学习数据集的步骤；
所述判定模型生成部使用多个所述第二学习数据集，生成多种用于进行所述焊接部位的形状的良好与否判定的所述判定模型的步骤；
所述形状计测部在与所述机器人一起移动的同时计测所述焊接部位的三维形状，取得所述形状数据的步骤；以及
所述第一判定部基于由所述形状数据处理部处理过的所述形状数据和由所述判定模型生成部生成的所述判定模型，判定所述焊接部位的形状的良好与否的步骤，
基于具有与由所述形状数据处理部处理过的所述形状数据的数据密度最接近的数据密度的所述第二学习数据集而生成所述第一判定部中使用的所述判定模型，或者基于具有与由所述形状数据处理部修正过的所述形状数据的分辨率最接近的分辨率的所述第二学习数据集而生成所述第一判定部中使用的所述判定模型。
14.根据权利要求13所述的焊接部位的外观检查方法，其特征在于：
所述第一学习数据集生成部对所述样本形状数据进行数据增强处理而生成多个所述第一学习数据集，
所述第二学习数据集生成部使多个所述第一学习数据集中的各个所述第一学习数据集的数据密度或分辨率的转换比率发生变化而生成多个所述第二学习数据集。
15.根据权利要求13或14所述的焊接部位的外观检查方法，其特征在于：
所述焊接部位的外观检查方法还包括：
在由所述形状计测部取得的所述形状数据的分辨率与多个所述第二学习数据集中的任一个所述第二学习数据集的分辨率都不同的情况下，
所述形状数据处理部对由所述形状计测部取得的所述形状数据的分辨率进行修正，使得由所述形状计测部取得的所述形状数据的分辨率成为与多个所述第二学习数据集中的一个所述第二学习数据集的分辨率相等的值的步骤。
16.根据权利要求15所述的焊接部位的外观检查方法，其特征在于：
所述形状数据处理部基于所述形状数据的X方向分辨率及Y方向分辨率，对所述形状数据中所述焊接部位的高度方向即Z方向的值进行修正，
在当所述机器人沿着所述焊接线等速移动的同时，所述形状计测部计测所述焊接部位的三维形状的情况下，
基于所述机器人的移动速度和所述形状计测部的计测频率来决定所述Y方向分辨率，
在当所述机器人在沿着所述焊接线延伸的规定的区间加速移动和/或减速移动的同时，所述形状计测部计测所述焊接部位的三维形状的情况下，
基于所述计测频率和所述机器人的速度控制函数来决定所述Y方向分辨率，
所述机器人的速度控制函数是依赖于时间的函数。
17.根据权利要求13到16中任一项权利要求所述的焊接部位的外观检查方法，其特征在于：
使用所述第二学习数据集预先通过学习而强化所述判定模型，
所述第一学习数据集和所述第二学习数据集分别包含合格品数据和学习数据，
所述合格品数据是在所述焊接部位不包含形状不良的形状数据，
所述学习数据是针对在所述焊接部位包含所述形状不良的形状数据即不合格品数据，确定所述形状不良的种类，并且对该种类进行了标记的数据，
所述第一判定部判定所述焊接部位的形状的良好与否的步骤包含：
基于从所述形状数据处理部输入的所述形状数据和所述判定模型，判定有无所述形状不良的子步骤；
确定所述形状不良的个数、尺寸以及所述形状不良相对于所述焊接部位的位置的子步骤；以及
确定所述形状不良的种类的子步骤，
所述第一判定部基于各个子步骤的判定结果及确定结果，判定所述焊接部位的形状的良好与否。
CN202280083994.0A 2021-12-24 2022-12-02 外观检查装置、焊接系统以及焊接部位的外观检查方法 Pending CN118414541A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021-210114 2021-12-24
JP2021210114 2021-12-24
PCT/JP2022/044533 WO2023120111A1 (ja) 2021-12-24 2022-12-02 外見検査装置、溶接システム及び溶接箇所の外観検査方法

Publications (1)

Publication Number Publication Date
CN118414541A true CN118414541A (zh) 2024-07-30

Family

ID=86902130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280083994.0A Pending CN118414541A (zh) 2021-12-24 2022-12-02 外观检查装置、焊接系统以及焊接部位的外观检查方法

Country Status (4)

Country Link
US (1) US20240337608A1 (zh)
JP (1) JPWO2023120111A1 (zh)
CN (1) CN118414541A (zh)
WO (1) WO2023120111A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2768344B2 (ja) * 1995-03-30 1998-06-25 日本電気株式会社 パターン検査装置およびその検査方法
JP6221661B2 (ja) * 2013-11-12 2017-11-01 株式会社リコー 検査装置、検査システムおよび検査方法、ならびに、印刷システム
JP2018205024A (ja) * 2017-05-31 2018-12-27 株式会社キーエンス 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP7008078B2 (ja) * 2017-09-29 2022-01-25 富士フイルム株式会社 画像解析装置、印刷装置、印刷方法及びプログラム
CN113207286B (zh) * 2018-12-19 2023-04-25 松下知识产权经营株式会社 外观检查装置及使用该外观检查装置判定焊接部位有无形状不良及形状不良的种类的判定精度的提高方法、焊接系统及工件的焊接方法

Also Published As

Publication number Publication date
JPWO2023120111A1 (zh) 2023-06-29
WO2023120111A1 (ja) 2023-06-29
US20240337608A1 (en) 2024-10-10

Similar Documents

Publication Publication Date Title
CN113207286B (zh) 外观检查装置及使用该外观检查装置判定焊接部位有无形状不良及形状不良的种类的判定精度的提高方法、焊接系统及工件的焊接方法
US11872657B2 (en) Welding system, and method for welding workpiece in which same is used
WO2020205998A1 (en) Non-destructive evaluation and weld-to-weld adaptive control of metal resistance spot welds via topographical data collection and analysis
JPH0571932A (ja) 溶接ビードの品質検査装置
US20230274407A1 (en) Systems and methods for analyzing weld quality
KR20200136686A (ko) 포터블형 용접 결함 검사장치 및 검사방법
US20230166354A1 (en) Skid state determination device, skid state determination method, and laser processing system
JP2005014027A (ja) 溶接部のイメージ処理方法、溶接管理システム、溶接機のためのフィードバックシステム、突合わせ線検出システム
JP7220383B2 (ja) リペア溶接制御装置およびリペア溶接制御方法
JP2005014026A (ja) 溶接部の検査方法及び溶接支援システム
CN118414541A (zh) 外观检查装置、焊接系统以及焊接部位的外观检查方法
CN118435046A (zh) 外观检查装置、焊接系统、形状数据的修正方法以及焊接部位的外观检查方法
JP7555041B2 (ja) ビード外観検査装置、ビード外観検査方法、プログラムおよびビード外観検査システム
CN115707549A (zh) 电弧焊过程和质量监测的系统、方法和装置
JP7555043B2 (ja) ビード外観検査装置、ビード外観検査方法、プログラムおよびビード外観検査システム
EP4455645A1 (en) Appearance inspecting device, welding system, shape data correcting method, and welding location appearance inspecting method
Brzeskot et al. Development of the automatic method of detection and grouping of external welding imperfections
WO2024117262A1 (ja) 外観検査装置、溶接システム及び溶接箇所の外観検査方法
JP2012002605A (ja) 溶接表面の欠陥検査方法
WO2023074183A1 (ja) 学習支援システム、外観検査装置、外観検査用ソフトの更新装置及び外観検査用モデルの更新方法
JP2023143763A (ja) 学習データ生成装置、学習データ生成方法、学習データ生成用プログラム及び溶接箇所の形状評価システム
JP7555042B2 (ja) ビード外観検査装置、ビード外観検査方法、プログラムおよびビード外観検査システム
US20240123537A1 (en) Offline teaching device and offline teaching method
CN118330034B (zh) 基于数据分析的电焊机性能测评方法及系统
US20240068959A1 (en) Method for assessing the result of a surface treatment performed on a workpiece by particle blasting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination