CN118159832A - 学习辅助系统、外观检查装置、外观检查用软件的更新装置及外观检查用模型的更新方法 - Google Patents

Abstract

学习辅助系统(100)至少具备：数据取得部(101)，其取得焊接部位(201)的图像数据；以及第二存储部(106)，其至少保存基于已被赋予了注释的图像数据而生成的多个学习数据。学习辅助系统(100)具备：数据分割部(105)，其将多个学习数据分别分割为规定的大小；学习部(107)，其基于分割后的多个学习数据及图像数据，对外观检查用模型进行机器学习，生成多个学习完毕模型；以及评价部(108)，其按照规定的评价基准来评价多个学习完毕模型，选择成绩最好的学习完毕模型。

Description

学习辅助系统、外观检查装置、外观检查用软件的更新装置及 外观检查用模型的更新方法

技术领域

本公开涉及焊接部位的外观检查用模型的学习辅助系统、外观检查装置、外观检查用软件的更新装置及外观检查用模型的更新方法。

以往，公开了如下的外观检查装置：在进行物品或物品的加工部位的外观检查时，基于通过使用学习用图像进行机器学习而得到的特征量或外观检查用模型，用已拍摄到的检查对象的检查图像进行该检查对象的外观检查(例如参照专利文献1～4)。

另外，在专利文献5、6中，公开了如下的例子：在得到前述的特征量或外观检查用模型时，使用学习用图像以及对该学习用图像进行数据扩展而得到的学习数据进行机器学习。

背景技术

专利文献1：日本公开专利公报特开2020-030695号公报

专利文献2：日本公开专利公报特开2020-042669号公报

专利文献3：日本公开专利公报特开2020-042755号公报

专利文献4：日本公开专利公报特开2020-115311号公报

专利文献5：国际公开第2020/129617号

专利文献6：国际公开第2020/129618号

发明内容

-发明要解决的技术问题一

以往，编入了通过机器学习而强化的外观检查用模型的外观检查用软件(以下仅称为外观检查用软件)大多通常被公开。例如，即便是针对人工智能(ArtificialIntelligence；以下仅称为AI)或机器学习不具有特殊知识的作业者，也能够利用该软件。

另一方面，在焊接作业中，焊接不良大多具有凹凸，另外，焊接部位或焊接不良的大小也大多小到十几mm以下。因此，在焊接部位的外观检查中，需要收集与微小部分相关的三维图像数据，对其进行解析，判定有无焊接不良等。

但是，前述的以往的外观检查用软件难以处理三维数据，在大多情况下，需要进行某些修改。另外，在机器学习用的数据的预处理功能、机器学习功能以及好坏判定功能分别由单独的软件实现的情况下，为了处理三维数据，需要对各个软件进行修改。另外，各软件间的数据的交接有时成为手动作业，修改作业需要较多的时间。

另外，使用外观检查装置进行了外观检查的结果是，在产生了焊接不良的误检测例如检测遗漏的情况下，需要输入成为检测遗漏的焊接部位的图像数据，使外观检查用模型进行重新学习。另外，需要将重新学习完毕的外观检查用模型编入到外观检查用软件中来进行是否消除了检测遗漏的验证。

但是，缺乏AI或机器学习的知识的作业者单独地进行这些作业，是没有效率的，不仅需要较多的时间，还难以可靠地消除检测遗漏。

本公开是鉴于上述方面而完成的，其目的在于，提供一种缺乏AI或机器学习的知识的作业者能够简便地进行处理并且能够缩短焊接部位的外观检查用模型的生成时间和更新时间的学习辅助系统、外观检查装置、外观检查用软件的更新装置及外观检查用模型的更新方法。

-用以解决技术问题的技术方案-

为了实现上述目的，本公开的学习辅助系统是焊接部位的外观检查用模型的学习辅助系统，其特征在于，所述学习辅助系统至少具备：数据取得部，其取得所述焊接部位的图像数据；存储部，其至少保存基于已被赋予了注释的所述图像数据而生成的多个学习数据及所述外观检查用模型；数据分割部，其将所述多个学习数据分别分割为规定的大小；学习部，其基于由所述数据分割部分别分割后的所述多个学习数据和从所述数据取得部取得且由所述数据分割部分割为所述规定的大小的所述图像数据，对从所述存储部读出的所述外观检查用模型进行机器学习，生成多个学习完毕模型；以及评价部，其按照规定的评价基准来评价所述多个学习完毕模型，选择成绩最好的学习完毕模型。在对所述图像数据的注释的赋予中，确定所述图像数据中的焊接不良部位，并且对所述焊接不良部位标记焊接不良的种类。

本公开的外观检查装置的特征在于，所述外观检查装置至少具备：形状计测装置，其计测作为被焊接物的工件的焊接部位的形状；以及形状评价装置，其判定所述焊接部位处的焊接不良的有无及种类。所述形状评价装置至少具有：预处理部，其将所述形状计测装置的计测结果转换为图像数据，并且将所述图像数据转换为规定的形式；第一存储部，其至少保存用于评价所述焊接部位的形状的外观检查用模型；判定部，其利用所述外观检查用模型来评价由所述预处理部进行了转换处理的所述图像数据，判定所述焊接部位处的焊接不良的有无及种类；以及输出部，其输出所述判定部中的判定结果。所述外观检查用模型是使用所述学习辅助系统而生成或更新后的模型。

本公开的外观检查用软件的更新装置是具有一台以上的第一计算机和第二计算机的外观检查用软件的更新装置，其特征在于，至少在所述第二计算机中安装有所述学习辅助系统，在一台以上的所述第一计算机中的任意一台第一计算机或者所述第二计算机中，基于所述图像数据制作示教数据，在从一台以上的所述第一计算机中的任意一台第一计算机向所述第二计算机输入了所述外观检查用模型的更新命令的情况下，所述第二计算机在能够利用编入了更新后的所述外观检查用模型的外观检查用软件时，通知一台以上的所述第一计算机中的任意一台第一计算机，收取到该通知的所述第一计算机构成为从所述第二计算机获取所述外观检查用软件。

本公开的外观检查用模型的更新方法是焊接部位的外观检查用模型的更新方法，其特征在于，所述外观检查用模型的更新方法至少具备：第一步骤，取得所述焊接部位的图像数据；第二步骤，通过确定所述图像数据中的焊接不良部位并标记焊接不良的种类，对所述图像数据赋予注释；第三步骤，对已被赋予了注释的所述图像数据进行数据扩展处理，生成多个学习数据；第四步骤，将所述多个学习数据分别分割为规定的大小；第五步骤，将在所述第四步骤中分割后的所述多个学习数据与在所述第一步骤中取得且分割为所述规定的大小的所述图像数据混合而生成综合数据组；第六步骤，基于所述综合数据组，进行所述外观检查用模型的机器学习，生成多个学习完毕模型；第七步骤，按照规定的评价基准来评价所述多个学习完毕模型，选择成绩最好的学习完毕模型；以及第八步骤，将所述外观检查用模型更新为在所述第五步骤中选择出的学习完毕模型。

-发明的效果-

根据本公开，能够缩短焊接部位的外观检查用模型的生成时间和更新时间。另外，缺乏AI或机器学习的知识的作业者能够简便地进行外观检查用模型的生成和更新。

附图说明

图1是第一实施方式的外观检查装置的概要结构图。

图2是外观检查用模型的学习辅助系统的概要结构图。

图3是外观检查用模型的学习辅助系统的另一概要结构图。

图4是示出序列数据组的一例的图。

图5是示出外观检查用模型的更新过程的流程图。

图6A是示出焊接不良的一例的剖视示意图。

图6B是示出焊接不良的另一例的剖视示意图。

图6C是示出焊接不良的又一例的剖视示意图。

图6D是示出焊接不良的再一例的俯视示意图。

图7A是示出数据扩展过程的一例的示意图。

图7B是示出数据扩展过程的另一例的示意图。

图8A是示出图像数据的分割过程的一例的示意图。

图8B是示出图像数据的分割过程的另一例的示意图。

图9是示出图像数据的插值过程的一例的示意图。

图10是对外观检查用模型的更新时的所需时间及执行主体进行了比较的图。

图11是示出序列数据组的另一例的图。

图12A是示出第二实施方式的数据的交接路径的示意图。

图12B是示出第二实施方式的数据的另一交接路径的示意图。

具体实施方式

以下，基于附图对本公开的实施方式详细进行说明。以下优选的实施方式的说明本质上只不过是示例而已，完全没有对本发明、本发明的应用对象或本发明的用途加以限制的意图。

(第一实施方式)

[外观检查装置的结构]

图1示出本实施方式的外观检查装置的概要结构图，外观检查装置10具有形状计测装置20和形状评价装置30。需要说明的是，形状评价装置30具有多个功能框，具体而言，具有预处理部31、第一存储部32、判定部33以及输出部34。通常，形状评价装置30由公知的计算机构成，通过执行安装在CPU(Central Processing Unit)或GPU(GraphicsProcessing Unit)上的软件而构成形状评价装置30内的多个功能框，并且，各功能框动作。

形状计测装置20是由激光光源(未图示)和相机(未图示)构成的公知的三维形状计测传感器，该激光光源构成为能够对作为被焊接物的工件200(参照图6A～6D)的表面进行扫描，该相机拍摄投影到工件200的表面的激光的反射轨迹(以下有时称为形状线。)。由形状计测装置20利用作为发光部的激光光线对工件200的焊接部位201(参照图6A～6D)整体进行扫描，利用作为受光部的相机来拍摄由焊接部位201反射的激光光线，由此来计测焊接部位201的形状。需要说明的是，形状计测装置20构成为不仅对焊接部位201进行形状计测，还对焊接部位201的周围在规定范围内进行形状计测。这用于评价后述的飞溅物204和污点206(参照图6D)的有无。需要说明的是，相机具有CCD或CMOS图像传感器作为摄像元件。另外，形状计测装置20的结构不特别限定于上述，可以采用其他结构。例如，也可以代替相机而使用光干涉计。

形状评价装置30判定焊接部位201处的焊接不良的有无及其种类。预处理部31收取由形状计测装置20取得的形状数据，将该形状数据转换为图像数据，即形状线的点云数据。该点云数据是三维空间上的数据。

另外，预处理部31通过对点云数据进行统计处理来修正焊接部位201的基部相对于规定的基准面例如工件200的设置面的倾斜或形变等，生成与焊接部位201的形状相关的图像数据。除此以外，例如，为了强调焊接部位201的形状和位置，有时也进行强调焊接部位201的周缘的周缘强调修正。

另外，预处理部31具有对由形状计测装置20取得的数据的噪声去除功能。从形状计测装置20射出的激光的反射率根据工件200的材质而不同，因此当反射率过高时，产生光晕等而成为噪声，有时无法顺利地生成点云数据等图像数据。因此，预处理部31构成为在软件上进行噪声的滤波处理。需要说明的是，通过对形状计测装置20本身设置光学滤波器(未图示)，也能够同样地去除噪声。通过同时使用光学滤波器和软件上的滤波处理，能够得到高品质的图像数据。

另外，预处理部31将图像数据分割为规定的大小。规定的大小是在判定部33进行判定处理时预先决定的数据大小。另外，在图像数据的格式与能够由判定部33处理的数据格式不同的情况下，预处理部31将图像数据的格式转换成能够由判定部33处理的形式。

第一存储部32由RAM或SSD等半导体存储器或硬盘等构成。第一存储部32也可以构筑在构成为能够经由无线或有线通信而与外观检查装置10进行通信的服务器上。

第一存储部32至少保存用于在判定部33进行判定处理的外观检查用模型。外观检查用模型是分别进行了加权的多个识别器的组合，是公知的物体检测算法。例如，由CNN(Convolutional Neural Network；卷积神经网络)、YOLO(You Only Look Once)、FasterR-CNN(Regions with Convolutional Neural Networks)等表现。

具体而言，外观检查用模型是记述了判定焊接不良的有无和种类所需的数值组的文件，也称为权重文件。外观检查用模型(权重文件)是由学习辅助系统100基于预先确定了焊接不良的位置、大小以及种类的焊接部位201的图像数据(以下称为示教数据)而生成的。另外，在判定部33中的判定结果存在错误等的情况下，通过由学习辅助系统100再次进行机器学习，由此而更新外观检查用模型。需要说明的是，也可以在第一存储部32中保存判定部33中的判定结果。在该情况下，也可以在将判定结果与批次编号、焊接处理日期时间、检查日期时间等数据分别建立了关联的状态下进行保存。另外，也可以在将由形状计测装置20取得的数据、对该数据进行了转换的图像数据在与批次编号、焊接处理日期时间、检查日期时间等数据分别建立了关联的状态下保存在第一存储部32中。

判定部33由一个或多个GPU构成，利用外观检查用模型对由预处理部31进行了转换处理的图像数据进行评价，判定焊接部位201处的焊接不良的有无及种类。具体而言，作为判定部33，安装有公知的推理引擎，例如作为物体检测算法的YOLO。通过将从第一存储部32调用的外观检查用模型(权重文件)设置于判定部33，并且将图像数据输入到判定部33，利用推理引擎执行推理处理，从而判定焊接部位201处的焊接不良的有无及种类。需要说明的是，也可以将其他的物体检测用的推理引擎安装于判定部33。

输出部34将判定部33中的判定结果作为数据保存于第一存储部32。另外，输出部34也具有将判定结果作为图像或声音、声而通知给焊接作业者的通知部的功能。需要说明的是，在本申请说明书中，“焊接作业者”不仅包括实际上进行焊接作业的人，也包括焊接作业的管理者、外观检查装置10的管理者以及焊接装置的管理者。

[外观检查用模型的学习辅助系统]

图2示出外观检查用模型的学习辅助系统的概要结构图，图3示出另一学习辅助系统的概要结构图。图4示出序列数据组的一例。

学习辅助系统100具有多个功能框，包括公知的计算机作为构成要素。通过执行安装在计算机所包含的CPU(Central Processing Unit)或GPU(Graphics Processing Unit)上的软件而构成学习辅助系统100内的多个功能框，并且各功能框动作。

学习辅助系统100具有数据取得部101、数据格式转换部102、注释赋予部103、数据扩展部104以及数据分割部105作为功能框。另外，学习辅助系统100具有学习部107、评价部108以及更新部109作为功能框。另外，学习辅助系统100具有第二存储部(存储部)106和显示/输入部110作为功能框。数据取得部101从外部例如外观检查装置10取得焊接部位201的图像数据。数据格式转换部102将由数据取得部101取得的图像数据转换成能够由学习部107处理的形式。需要说明的是，如果由数据取得部101取得的图像数据已经是能够由学习部107处理的形式，则可以省略数据格式转换部102。

注释赋予部103对图像数据赋予注释。本申请说明书中的“注释的赋予”是指，对图像数据赋予焊接不良部位210(参照图6A～6D)的有无信息，并且在图像数据上确定焊接不良部位210的位置和大小、以及对焊接不良部位210标记焊接不良的种类。

具体而言，使图像数据显示于显示/输入部110的显示器画面，通过用框线包围来从图像数据中确定焊接不良部位210。在该情况下，在二维平面上进行利用框线的包围作业。进而，向该焊接不良部位210赋予预先确定的焊接不良的种类名(例如，凹坑、污点、开孔、底切、飞溅物等)。例如，根据焊接不良的种类改变框线及其内部的颜色并显示于显示器画面。

对图像数据的注释赋予通常由精通焊接作业的焊接作业者进行。另一方面，本实施方式的注释赋予部103经由显示/输入部110进行执行处理。另外，图像数据能够在显示/输入部110上以所希望的倍率放大或缩小地显示。另外，能够在规定的方向上旋转地显示。另外，在显示/输入部110上，能够选择使图像数据保持点云数据不变地进行三维空间显示，或者对图像数据进行平滑化处理后进行三维空间显示。

通过这种方式，对焊接作业者来说容易通过视觉确认焊接部位201的图像，能够直观且简便地进行注释赋予，能够提高作业效率。另外，能够降低注释赋予时的人为错误。此外，通过用框线二维地对三维空间的点云数据即图像数据进行包围，便能够确定出焊接不良部位210，因此，能够减少数据处理量，能够缩短注释赋予所需的处理时间。需要说明的是，在图像数据的放大、缩小及旋转时以及对图像数据的注释赋予时，通过以规定的比率对数据进行抽稀来操作图像数据，便能够进一步减少数据处理量，能够进一步缩短注释赋予所需的处理时间。

需要说明的是，如图3所示，注释赋予部103也可以构成为与学习辅助系统100不同的系统即注释辅助系统300。在该情况下，学习辅助系统100和注释辅助系统300也可以是分别安装在相同或互不相同的硬件上的单独的软件。另外，也可以在注释辅助系统300另外设置显示/输入部110。

数据扩展部104基于已被赋予了注释的图像数据进行数据扩展处理，生成多个学习数据。需要说明的是，数据扩展处理也可以在学习辅助系统100的外部执行。在该情况下，数据扩展部104被安装在位于学习辅助系统100的外部的其他软件上，在数据扩展处理后生成的多个学习数据经由有线或无线通信而保存于第二存储部106。

数据分割部105将从第二存储部106读出的多个学习数据分别分割为在进行学习部107中的机器学习时预先决定的数据大小。另外，数据分割部105将由数据取得部101取得且由注释赋予部103赋予了注释的图像数据分割为在进行学习部107中的机器学习时预先决定的数据大小。

第二存储部(存储部)106与图1所示的第一存储部32同样地由RAM或SSD等半导体存储器或硬盘等构成。第二存储部106也可以构筑在构成为能够经由无线或有线通信而与外观检查装置10进行通信的服务器上。

第二存储部106至少保存预先制作的一个或多个外观检查用模型及由数据扩展部104生成的学习数据。需要说明的是，虽然未图示，但由数据分割部105分割后的学习数据也被保存于第二存储部106。另外，在第二存储部106也保存有过去生成的学习数据。

学习部107与图1所示的判定部33同样地由一个或多个GPU构成。学习部107基于由数据分割部105分别分割后的多个学习数据和图像数据，对外观检查用模型进行机器学习，生成多个学习完毕模型。具体而言，在学习部107安装有公知的推理引擎，例如作为物体检测算法的YOLO。将从第二存储部106调用的外观检查用模型(权重文件)设置于学习部107。将分别分割后的多个学习数据和图像数据输入到学习部107，对推理引擎进行机器学习。例如，在每次重复学习的重复次数达到规定的次数时，学习部107便生成学习完毕模型(权重文件)，所生成的学习完毕模型每次都保存于第二存储部106。重复执行一系列处理，直至重复次数达到固定值。需要说明的是，也可以将其他的推理引擎安装于学习部107。

评价部108根据规定的评价基准对由学习部107生成的多个学习完毕模型进行评价，选择成绩最好的学习完毕模型。在本实施方式中，按照以下所示的考虑方法来设定评价基准。

[表1]

模式	学习完毕模型中的检测结果	实际的评价结果	学习完毕模型的评价结果
				1	合格品	合格品	良好
2	不良	合格品	误检测
				3	合格品	不良	误检测
4	不良	不良	良好

表1示出学习完毕模型的评价结果的模式，例如，根据将示教数据输入到学习完毕模型的检测结果与示教数据中的实际的评价结果的相关结果，来判断学习完毕模型的好坏，该实际的评价结果换言之是焊接作业者对图像数据赋予了注释的结果。如模式1、4所示，在学习完毕模型中的检测结果与示教数据中的实际的评价结果一致的情况下，评价为该学习完毕模型是良好的。另一方面，如模式2、3所示，在学习完毕模型中的检测结果与示教数据中的实际的评价结果不一致的情况下，评价为该学习完毕模型是产生误检测的模型，即是不良的。

在焊接部位201的检查中，作为评价值而采用检测率，使得尽可能降低表1所示的模式3(学习完毕模型中的检测结果：合格品，实际的评价结果：不良)的发生频度，不产生焊接不良的检测遗漏。这里，“检测率”是指，示教数据中的实际的评价结果与将示教数据输入到学习完毕模型而得到的检测结果重叠的程度。换言之，作为评价值的检测率是指，实际的评价结果相对于输入到学习完毕模型而得到的检测结果的一致程度。检测率越高，则可以说所评价的学习完毕模型越是良好的。

也就是说，评价部108从由学习部107生成的多个学习完毕模型(权重文件)中选择检测率最高的学习完毕模型(权重文件)作为外观检查用模型。

更新部109将外观检查用模型更新为由评价部108选择出的学习完毕模型，并且将更新后的外观检查用模型保存于第二存储部106。需要说明的是，更新后的外观检查用模型在赋予了与原始的外观检查用模型不同的文件名之后，被保存于第二存储部106。另外，更新部109也可以具有输出部的功能，该输出部将由评价部108选择出的学习完毕模型作为外观检查用模型向学习辅助系统100的外部输出。另外，也可以具有以下输出部的功能：不仅仅向学习辅助系统100的外部输出外观检查用模型，还将该外观检查用模型编入用于实现形状评价装置30的功能的软件即前述的外观检查用软件中并进行更新，向学习辅助系统100的外部输出。在该情况下，更新前的外观检查用软件被预先保存于第二存储部106。需要说明的是，更新部109的功能也可以编入到评价部108。

需要说明的是，如图4所示，一个学习完毕模型及其生成所使用的数据组分别被建立起关联，并作为一个序列数据组保存于第二存储部106。在数据组中，包括用于学习的学习数据、记述了数据分割过程的数据文件、记述了评价方法的数据文件。

另外，在序列数据组中，包括外观检查用模型的生成或更新时的日志数据。例如，也包括生成、更新处理时的全部条件、在各处理时输入的命令等。另外，记述了学习结果或评价结果的数据文件也包含在序列数据组中。

一个序列数据组被作为一个序列文件夹保存和管理。通过这种方式，在起动学习辅助系统100进行外观检查用模型的更新等的情况下，也能够在显示/输入部110上选择所希望的序列文件夹，在显示于画面之后直接利用或变更后加以利用。需要说明的是，在数据管理上，对各个序列文件夹中赋予了名称或编号(参照图4)。

另外，由于序列文件夹内的数据被保存为文本数据，因此，使用学习辅助系统100的焊接作业者也能够根据需要直接确认序列文件夹内的数据，例如前述的全部条件。

显示/输入部110例如由彩色画面的触摸面板显示器构成。作为输入设备，还可以附加触摸笔。需要说明的是，显示/输入部110也可以由公知的液晶显示器或有机EL显示器、向学习辅助系统100输入的输入设备例如鼠标和键盘构成。

显示/输入部110构成为显示用于评价外观检查用模型的数据及外观检查用模型的更新处理的状况，并且能够在画面上选择包括该数据的序列数据组。

进一步说，显示/输入部110具有用于至少在执行前述的数据分割、学习及评价时输入执行命令的输入部的功能。另外，显示/输入部110也可以是用于在执行外观检查用模型的更新处理时输入执行命令的输入部。

另外，显示/输入部110具有用于显示至少在执行前述的数据分割、学习及评价时使用的数据文件组的文件名的显示部的功能。另外，显示/输入部110也可以是用于显示在执行外观检查用模型的更新处理时使用的数据文件组的文件名的显示部。

需要说明的是，在图1所示的形状评价装置30和图2所示的学习辅助系统100中，在分别具有的功能框中存在一部分或全部的功能相同或类似的框。例如，图2所示的数据取得部101、数据格式转换部102以及数据分割部105所具有的功能与图1所示的预处理部31所具有的功能具有相同的部分。图1所示的第一存储部32和图2所示的第二存储部106的功能也相同。图1所示的输出部34和图2所示的更新部109的数据输出功能也相同。图1所示的判定部33和图2所示的学习部107的机器学习功能也相同。

因此，形状评价装置30和学习辅助系统100可以在相同的计算机上实现。另外，在形状评价装置30和学习辅助系统100中，具有相同或类似的功能的功能框也可以在相同的计算机上实现。另外，在这些情况下，构成计算机的硬件的一部分例如第一存储部32或第二存储部106也可以构筑在服务器上。

另外，从更新部109更新后的外观检查用模型或者编入了该外观检查用模型的外观检查用软件也可以被输出到构成形状评价装置30的计算机。在该情况下，外观检查用模型或外观检查用软件被保存于第一存储部32。

[外观检查用模型的更新过程]

图5示出外观检查用模型的更新过程的流程图。在本实施方式中，考虑如下情况：在图1所示的外观检查装置10中，发生了存在于实际的工件200的焊接部位201的焊接不良的检测遗漏。在该情况下，需要进行所使用的外观检查用模型的重新学习，因此用图2或图3所示的学习辅助系统100进行外观检查用模型的重新学习、更新。

首先，从数据取得部101取得发生了检测遗漏的焊接部位201的图像数据(步骤S1)。在数据格式转换部102中，将图像数据转换为能够进行后述的学习处理的形式(步骤S2)。需要说明的是，如果在步骤S1中取得的图像数据是已经能够进行该学习处理的形式，则省略步骤S2。

接着，对图像数据赋予注释(步骤S3)。即确定图像数据所包含的焊接不良部位210并在数据上进行划分，并且，对划分出的焊接不良部位210标记焊接不良的种类。在步骤S3中，也如前述那样，由焊接作业者进行注释赋予。

但是，也可以利用注释赋予部103或者前述的注释辅助系统300半自动地进行注释赋予。在该情况下，在注释赋予部103、注释辅助系统300中设置有未图示的学习/推理部，对于学习/推理部，将注释赋予用的多个识别器的组合即检查用模型设置于学习部107。本申请说明书中的“检查用模型”是在注释的半自动赋予时使用的模型，与前述的外观检查用模型的称呼区分开。但是，与外观检查用模型同样地，检查用模型也是公知的物体检测算法，是分别进行了加权的多个识别器的组合。例如由CNN、YOLO、Faster R-CNN等表现。

作为检查用模型，能够利用前述的YOLO。另外，检查用模型是通过输入已经取得的示教数据、基于该示教数据生成的学习数据并执行了机器学习得到的学习完毕的模型。通过向检查用模型输入图像数据来确定焊接部位201处的焊接不良的有无及焊接不良部位210，另外，对焊接不良部位210标记其种类。

数据扩展部104基于已被赋予了注释的图像数据进行数据扩展处理(步骤S4)。通过执行步骤S4，生成多个学习数据，学习数据被保存于第二存储部106。需要说明的是，已被赋予了注释的原始的图像数据根据其数据大小，如以下所示那样被送至学习辅助系统100的各个部。如果该原始的图像数据的数据大小落在规定的范围，则原始的图像数据被送至学习部107或第二存储部106。在该原始的图像数据的数据大小超过规定的范围而较大的情况下，被送至数据分割部105。需要说明的是，在该原始的图像数据已经与学习数据混合或者该原始的图像数据无需在以后的处理中使用的情况下，针对该原始的图像数据不特别进行操作。

需要说明的是，在第二存储部106中，不仅保存有数据扩展部104的输出结果，还保存有数据分割部105的输出结果。在使用由数据扩展部104生成的多个学习数据时，也能够使各种模式的焊接部位(焊道)201可视化。例如也能够通过显示/输入部110确认可视化的结果，由焊接作业者等进行取舍选择，在以后的处理中重新利用。另外，也能够输入到学习部107进行重新学习。

这里，对焊接不良的种类进行说明。

图6A示出焊接不良的一例，图6B示出焊接不良的另一例，图6C示出焊接不良的又一例。另外，图6A～6C是剖视示意图。另外，图6D是示出焊接不良的再一例的俯视示意图。

在对工件200进行了电弧焊接或激光焊接的情况下，在作为焊接部的该焊接部位201处，由于焊接条件的设定的不良情况或使用低品质的工件200等，可能产生各种形状不良。需要说明的是，在本实施方式中，焊接部位201是沿着焊接方向的长条形状的焊道(例如参照图6D)，但不特别限定于此，焊接部位201也可以是点状的焊道。另外，焊接部位201也可以是具有曲线形状或弯折形状的焊道。

例如，有时如图6A所示那样焊接部位201的一部分烧穿(以下，有时将焊接部位201的一部分从工件200烧穿而形成于工件200的贯通孔称为开孔202)、或者如图6B所示那样产生底切(undercut)203。需要说明的是，底切203是指，焊道时的部分处于比工件200的表面凹陷的状态的不良部分。另外，在工件200是镀锌钢板的情况下，如图6C所示，有时一部分从焊接部位201蒸发而产生凹坑205。另外，如图6D所示那样，有时在形成于焊丝(未图示)的顶端的熔滴(未图示)向工件200转移时熔滴的一部分或工件200的熔融金属的微粒飞溅而产生飞溅物204，或者在工件200为铝系材料的情况下，在焊接部位201的附近产生污点206。

需要说明的是，凹坑205是在焊道的表面开着口的坑，污点206是产生在焊道附近的黑色烟灰状的附着物，包含上述的开孔202、底切203、飞溅物204等在内分别是焊接不良部位210的种类之一。焊接不良部位210处的形状不良即焊接不良存在各种种类。

包含这样的焊接不良的图像的图像数据的数据扩展处理如以下那样进行。

图7A示意性示出数据扩展过程的一例，图7B示意性示出数据扩展过程的另一例。

例如，如图7A所示，在原始的图像数据中，生成使开孔202的大小、位置变化的多个学习数据。在该情况下，作为特征量，提取距基准面的高度及焊接部位201内的多个点之间的该高度的差分，使它们变动。另外，虽然未图示，但针对凹坑205也能够进行同样的处理而生成多个学习数据。另外，能够在焊接部位201的周围进行同样的处理，生成使飞溅物204、污点206的大小、位置变化的多个学习数据(参照图7B)。

数据分割部105将由数据取得部101取得并已被赋予了注释的图像数据分割为能够进行学习处理的大小。另外，数据分割部105将在步骤S4中生成的多个学习数据分别分割为能够进行学习处理的大小。(步骤S5)。

图8A示意性示出图像数据的分割过程的一例，图8B示意性示出图像数据的分割过程的另一例。另外，图9示意性示出图像数据的插值过程的一例。

如图8A、8B所示，可以从多个选择项选择分割方法。如图8A所示，可以沿着焊接方向从前方分割图像数据或学习数据，也可以沿着焊接方向从后方分割图像数据或学习数据。或者，也可以从前方及后方双方进行分割。另外，如图8B所示，也可以以分割为多个即分割数据重叠一部分的方式对图像数据或学习数据进行分割。

通过改变分割方向或分割宽度，来变更分割数据内的焊接不良部位210的位置。因此，即便是包含相同的焊接不良部位210的图像数据，作为用于机器学习的学习数据，也作为不同的数据来处理。即通过改变分割方向或分割宽度来进行一种数据扩展处理。

另外，在图像数据或学习数据中的与焊接方向交叉的大小较大的情况下，如图9所示，也可以进行数据分割。需要说明的是，在该情况下，有时针对分割后的数据标注箭头所示的顺序，将各个数据建立关联。

需要说明的是，在后述的第二存储部106中保存有AI设定文件，该AI设定文件记述了对设置于学习部107的推理引擎的动作进行控制的各种参数。在该AI设定文件中，记述有能够通过推理引擎进行学习的最大数据的大小。数据分割部105也可以参照AI设定文件中的最大数据的大小来决定数据分割时的数据的大小。需要说明的是，在前述的推理引擎即YOLO中，输入数据的大小被固定。但是，在使用YOLO以外的推理引擎的情况下，如果输入数据的大小可以是可变的，则只要将图像数据或学习数据分割为能够进行学习处理的最大大小以下的大小即可。

需要说明的是，在图像数据中，可以包含不存在数据值的区域(以下，有时称为无数据区域)。该情况下的数据值例如是距预先设定的基准面的高度、或者亮度相对于基准面的亮度的差分等。换言之，无数据区域是在图像数据中包含缺失值的区域。在数据值例如原始的图像数据中，在不包含焊接部位201的区域有时不存在数据值。在后述的步骤S7中进行机器学习的情况下，当分割后的图像数据或学习数据包含无数据区域时，不能准确地进行设置于学习部107的推理引擎中的推理处理。因此，在数据分割后进行针对无数据区域的数据插值处理。

在如图9所示那样分割图像数据的情况下，例如，在与工件200对应的数据存在区域存在数据值，相对于此，在不包含工件200的无数据区域不存在数据值。在对该无数据区域进行数据插值的情况下，选择以下两个方法中的任意一种方法。

一个方法是代入分割数据内的最小值作为无数据区域的数据值的最小值插值方法。另一个方法是代入与无数据区域相接的像素的数据值作为无数据区域的数据值的最附近值插值方法。如前所述，图像数据是来自多个图像的像素信号的集合。因此，在使用最附近值插值方法的情况下，在数据存在区域与无数据区域的边界，以像素单位分别进行最附近值插值。

另外，在步骤S5中分割、生成的学习数据成为在步骤S7中使用的学习数据的一部分。因此，无需将分割后的多个学习数据分别建立关联。

另一方面，在对用于由图1所示的形状评价装置30评价焊接部位201的图像数据进行分割的情况下，分割后的多个图像数据在分别建立了关联的状态下被送至判定部33。即分割后的图像数据分别在是相同的焊接部位201的数据以及分别赋予了原始的图像数据中的位置信息的状态下被送至判定部33。该关联的建立由预处理部31进行。

接着，将还包含过去制作的数据在内保存于第二存储部106的多个分割完毕的学习数据与在步骤S5中分割后的多个学习数据及图像数据混合并加以综合，生成综合数据组(步骤S6)。

将成为重新学习对象的外观检查用模型从第二存储部106读出到学习部107。在将在步骤S6中生成的综合数据组输入到学习部107之后，对外观检查用模型进行机器学习(步骤S7)。换言之，基于由数据分割部105分别分割后的多个学习数据和从数据取得部101取得且由数据分割部105分割为规定的大小的图像数据，对从第二存储部106读出的外观检查用模型进行机器学习。另外，在进行机器学习的过程中，如前述那样生成多个学习完毕模型。这些学习完毕模型暂时保存于第二存储部106。

需要说明的是，通常，机器学习被重复执行规定的次数，在每一次学习时生成学习完毕模型。学习辅助系统100在此基础上还生成关联的序列数据组。各个序列数据组被保存于第二存储部106。在将YOLO用作推理引擎的情况下，重复次数为10000次左右。另外，在学习部107由多个GPU构成且将YOLO用作推理引擎的情况下，在第一个GPU中进行了规定次数例如1000次左右的学习之后，使用下一个GPU重复进行机器学习。在本实施方式中，也在学习辅助系统100内自动地执行该GPU的切换。

评价部108按照前述的评价基准来评价从第二存储部106读出的多个学习完毕模型，选择成绩最好的学习完毕模型(步骤S8)。具体而言，将检测率最高的模型选择为最优模型。

需要说明的是，能够通过从显示/输入部110的操作一次性执行步骤S5～S8的一系列处理。例如，通过显示/输入部110选择并读出包含成为对象的外观检查用模型的序列数据组，进而选择学习数据及图像数据的分割方法。另外，学习准备方法，例如，选择从头开始生成模型，或者修正、更新选择出的外观检查用模型(权重文件)。

在该状态下，通过向显示/输入部110输入执行命令，执行步骤S5～S8的一系列处理。执行命令的输入方法例如是点击在显示/输入部110的显示器画面上显示的执行按钮等。

需要说明的是，也可以是，能够分别单独地执行步骤S5、步骤S7及步骤S8。

接着，更新部109将外观检查用模型更新为在步骤S7中选择出的学习完毕模型。另外，对更新后的外观检查用模型赋予与原始的外观检查用模型不同的文件名并保存于第二存储部106。(步骤S9)。

需要说明的是，在将更新部109的功能编入到评价部108的情况下，也可以将步骤S9的处理编入到步骤S8而连续地进行处理。

另外，如前述那样，更新部109也可以将更新后的外观检查用模型输出到学习辅助系统100的外部，例如形状评价装置30，还可以向外观检查用软件编入并更新该外观检查用模型，再输出到学习辅助系统100的外部。另外，也可以通过显示/输入部110的操作，与步骤S5～S8的一系列处理同时地执行步骤S3及步骤S9的各个处理。

[效果等]

如以上说明的那样，本实施方式的学习辅助系统100是辅助用于焊接部位201的外观检查的外观检查用模型的学习的系统。

学习辅助系统100至少具备取得焊接部位201的图像数据的数据取得部101、以及至少保存基于已被赋予了注释的图像数据而生成的多个学习数据及外观检查用模型的第二存储部(存储部)106。对图像数据的注释的赋予是指，确定图像数据中的焊接不良部位210，并且对焊接不良部位210标记焊接不良的种类。

另外，学习辅助系统100具备将多个学习数据分别分割为规定的大小的数据分割部105。学习辅助系统100具备学习部107，该学习部107基于由数据分割部105分别分割后的多个学习数据、以及从数据取得部101取得且由数据分割部105分割为规定的大小的图像数据，对外观检查用模型进行机器学习，生成多个学习完毕模型。此外，学习辅助系统100具备评价部108，该评价部108按照规定的评价基准来评价多个学习完毕模型，选择成绩最好的学习完毕模型。

另外，学习辅助系统100具备更新部109，该更新部109将外观检查用模型更新为由评价部108选择出的学习完毕模型。需要说明的是，更新部109的功能也可以编入到评价部108中。在该情况下，评价部108按照规定的评价基准来评价多个学习完毕模型，选择成绩最好的学习完毕模型，进而，将外观检查用模型更新为自身选择的学习完毕模型。

根据本实施方式，缺乏AI或机器学习的知识的焊接作业者能够简便地处理用于焊接部位201的外观检查的外观检查用模型及外观检查用软件。另外，与以往相比，该焊接作业者能够大幅缩短外观检查用模型的生成或更新所需的时间。对此进一步详细叙述。

图10示出对外观检查用模型的更新时的所需时间及执行主体进行了比较的图。需要说明的是，在图10所示的以往的方法中，在生成或更新外观检查用模型时，单独地准备多个专用软件。

如图10所示，在以往的方法中，如以下那样进行注释赋予作业。首先，焊接作业者通过目视来确认焊接部位201的图像数据，判断焊接不良部位210的有无。另外，通过用框线包围来确定焊接不良部位210，并且标记焊接不良的种类。与注释赋予部103具有的功能相同，此时使用的专用软件1具有容易通过视觉确认焊接部位201的图像的功能。即能够以所希望的倍率放大或缩小图像数据并加以显示。另外，能够在规定的方向上旋转地显示。

但是，即便使用了专用软件1，在以往的方法中，焊接作业者也要观察整个焊接部位201而对焊接不良分别赋予注释，因此，每一个样本需要一日左右的作业时间。

另一方面，根据本实施方式，如前述那样，通过半自动地赋予注释，能够将每一个样本的注释赋予所需的时间缩短到5分钟～1小时左右。但是，与以往的方法同样，焊接作业者需要单独地赋予注释，直至示教数据达到自动的注释赋予所需的数量以上。

另外，在以往的方法中，需要由焊接作业者自身进行数据扩展预处理，例如所需的数据文件的准备、根据需要的数据形式的转换。另外，作为实现它的辅助工具，另外需要专用软件2。另外，需要由焊接作业者向专用软件2输入专用软件1的输出结果。因此，在数据扩展预处理中，每一个样本需要几小时左右的作业时间。另外，仍残留有输入时的人为错误的风险。

另一方面，根据本实施方式，还在学习辅助系统100内自动地提取已被赋予了注释的图像数据，然后进行数据扩展预处理。另外，所需的数据文件的准备、数据形式的转换也在学习辅助系统100内自动地执行。因此，每一个样本的数据扩展预处理所需的时间缩短到几秒左右。另外，也没有输入时的人为错误的风险。需要说明的是，数据扩展处理本身需要与以往的方法相同程度的时间，即每一个样本需要几小时左右的作业时间。

另外，在以往的方法中，作为学习预处理及学习用的辅助工具，另外需要专用软件3。在学习预处理中，需要由焊接作业者自身准备进行数据分割后的学习数据及图像数据的综合所需的文件等。另外，需要由焊接作业者向专用软件3输入专用软件2的输出结果。因此，在除数据分割处理以外的学习预处理中，每一个样本需要几小时左右的作业时间。另外，也残留有输入时的人为错误的风险。

另一方面，根据本实施方式，还在学习辅助系统100内自动地提取数据扩展后的学习数据，然后进行学习预处理。另外，也在学习辅助系统100内自动地执行所需的文件的准备。因此，每一个样本的除数据分割处理以外的学习预处理所需的时间缩短到几秒左右。另外，也没有输入时的人为错误的风险。需要说明的是，数据分割处理本身需要与以往的方法相同程度的时间，即每一个样本需要几小时左右的作业时间。

需要说明的是，在以往的方法中所使用的专用软件3中，编入有机器学习用的推理引擎，例如前述的YOLO，因此，学习处理本身无论在以往的方法中还是在本实施方式的方法中都成为相同程度的作业时间(每一个样本1日～3日左右)。但是，在以往的方法中，焊接作业者需要通过目视确认学习处理的完成。因此，如果学习处理是在焊接作业者的作业时间以外完成的，则在进入下一个步骤之前会产生时间滞后。

另一方面，根据本实施方式，在学习辅助系统100内连续地执行从学习预处理到评价的一系列处理。因此，在没有产生前述的时间滞后的情况下，便能够缩短外观检查用模型的生成或更新所需的整体的作业时间。

此外，在以往的方法中，在评价学习后生成的多个外观检查用模型时，需要随机地选择构成外观检查用模型的权重文件的各参数，逐一地通过目视确认评价结果。另外，需要根据所确认的结果来选择最优的参数。在进行这些作业时，通常，另外需要专用软件4作为辅助工具。但是，也可以将专用软件4的功能编入到专用软件3中。

另外，即便在存在专用软件4的辅助的情况下，也是由焊接作业者通过目视来确认评价结果选择参数，因此，每一个样本需要3日～4日左右的作业时间。

另一方面，根据本实施方式，按照规定的评价基准，在学习辅助系统100内自动地计算作为外观检查用模型的学习完毕模型(权重文件)的各参数，在该情况下，为构成检测率最高的学习完毕模型(权重文件)的各参数。因此，每一个样本的评价所需的时间缩短到半日左右。另外，也没有输入时的人为错误的风险。

如以上说明的那样，根据本实施方式，与以往相比，焊接作业者能够大幅缩短外观检查用模型的生成或更新所需的时间。

学习辅助系统100优选还具备数据扩展部104，该数据扩展部104基于已被赋予了注释的图像数据进行数据扩展处理，生成多个学习数据。

通过这种方式，能够大幅缩短用于外观检查用模型的生成或更新的学习数据的制作时间，进而，能够缩短外观检查用模型的生成或更新所需的整体的作业时间。另外，在学习辅助系统100内，能够执行从学习数据的生成到外观检查用模型的学习及评价为止的一系列处理，焊接作业者能够简便地处理用于焊接部位201的外观检查的外观检查用模型及外观检查用软件。

另外，也可以是，学习辅助系统100还具备对图像数据赋予注释的注释赋予部103。尤其是在注释赋予部103编入了机器学习用的推理引擎的情况下，能够半自动地对取得的图像数据赋予注释，能够缩短外观检查用模型的生成或更新所需的整体的作业时间。

优选的是，在分别分割后的图像数据及学习数据中不包含工件200的图像的情况下，如以下所示那样对不存在工件200的无数据区域插值数据。

即优选的是，数据分割部105对不存在工件200的区域代入分割完毕的图像数据及学习数据中的最小值，或者对不存在工件200的区域代入离该不存在工件200的区域最近的区域的数据值。

通过这种方式，在将分别分割后的图像数据及学习数据输入到设置于学习部107的公知的推理引擎的情况下，能够不产生错误地执行学习处理。

另外，优选的是，一个学习完毕模型及其生成所使用的数据组分别被建立起关联，并作为一个序列数据组保存于第二存储部106。

另外，学习辅助系统100优选还具备显示/输入部110，该显示/输入部110构成为显示用于评价外观检查用模型的数据及外观检查用模型的更新处理的状况，并且能够在画面上选择包含该数据的序列数据组。

通过这种方式，能够由显示/输入部110选择所希望的序列数据组，进行复原并读出到学习辅助系统100上，之后，通过保持不变或加以变更而简便地进行外观检查用模型的更新。

学习辅助系统100优选还具备数据格式转换部102，该数据格式转换部102将由数据取得部101取得的图像数据的形式转换成能够由学习部107处理的形式。

由形状计测装置20取得的图像数据有时根据相机的种类或制造商等而成为不同的数据形式。另一方面，设置于学习部107的推理引擎大多只对应于一种数据形式。因此，如本实施方式所示，通过在学习辅助系统100设置数据格式转换部102，能够在学习辅助系统100内执行从学习数据的生成到外观检查用模型的学习及评价为止的一系列处理。焊接作业者由此而能够简便地处理用于焊接部位201的外观检查的外观检查用模型及外观检查用软件。

另外，如前述那样，焊接部位201的图像数据是三维空间上的点云数据，因此，数据处理量原本就多，外观检查用模型的生成或更新需要很多的时间。另一方面，根据本实施方式的学习辅助系统100，焊接作业者能够简便且短时间地进行外观检查用模型的生成或更新。

需要说明的是，在本实施方式中，作为评价部108中的评价基准，采用前述的检测率，选择检测率最高的学习完毕模型作为最优模型。但是，评价基准的选择方法没有特别限定。例如，除了检测率之外，也可以采用公知的mAP(平均精度均值：mean AveragePrecision)、IoU(交并比：Intersection over Union)、Recall等多个评价基准。也可以针对一个学习完毕模型，按照这些评价基准中的每一个评价基准计算评价值，根据各个评价值综合地进行判断来选择最优模型。另外，在该情况下，也可以根据各个评价值的移动平均、最小值或最大值等来选择最优模型。

本实施方式的外观检查用模型的更新方法至少具备：第一步骤(图5的步骤S1)，取得焊接部位201的图像数据；以及第二步骤(图5的步骤S3)，通过确定图像数据中的焊接不良部位210并标记焊接不良的种类，从而对图像数据赋予注释。

另外，外观检查用模型的更新方法具备：第三步骤(图5的步骤S4)，对已被赋予了注释的图像数据进行数据扩展处理，生成多个学习数据；第四步骤(图5的步骤S5)，将多个学习数据分别分割为规定的大小；以及第五步骤(图5的步骤S6)，将在第四步骤中分割后的多个学习数据和在第一步骤(图5的步骤S1)中取得且分割为规定的大小的图像数据混合，生成综合数据组。

另外，外观检查用模型的更新方法至少具备：第六步骤(图5的步骤S7)，基于综合数据组，进行外观检查用模型的机器学习，生成多个学习完毕模型；第七步骤(图5的步骤S8)，按照规定的评价基准来评价多个学习完毕模型，选择成绩最好的学习完毕模型；以及第八步骤(图5的步骤S9)，将外观检查用模型更新为在第五步骤中选择出的学习完毕模型。

根据本实施方式，缺乏AI或机器学习的知识的焊接作业者能够简便地处理用于焊接部位201的外观检查的外观检查用模型及外观检查用软件。另外，与以往相比，该焊接作业者能够大幅缩短外观检查用模型的生成或更新所需的时间。

本实施方式的外观检查装置10至少具备：形状计测装置20，其计测作为被焊接物的工件200的焊接部位201的形状；以及形状评价装置30，其判定焊接部位201处的焊接不良的有无及种类。

形状评价装置30至少具有：预处理部31，其将形状计测装置20的计测结果转换成图像数据，并且将图像数据转换成规定的形式；以及第一存储部32，其至少保存用于评价焊接部位201的形状的外观检查用模型。另外，形状评价装置30具有：判定部33，其利用外观检查用模型来评价由预处理部31进行了转换处理的图像数据，判定焊接部位201处的焊接不良的有无及种类；以及输出部34，其输出判定部33中的判定结果。外观检查用模型是用学习辅助系统100生成或更新后的模型。

根据本实施方式的外观检查装置10，焊接作业者能够简便地处理用于焊接部位201的外观检查的外观检查用模型及外观检查用软件。即便在发生了焊接不良的误检测的情况下，与以往相比，焊接作业者也能够大幅缩短外观检查用模型的生成或更新所需的时间。由此而能够降低外观检查装置10的停机时间。另外，由于能够适当地更新外观检查用模型，因此能够降低外观检查中的误检测率。

需要说明的是，如图11所示，更优选在序列数据组中包含工件200的材质及焊接方式作为数据。

如前述那样，图像数据是由相机取得由焊接部位201反射的激光光线而得到的数据。当工件200的材质不同时，激光光线的反射率不同。因此，工件200的表面的凹凸状态有时根据工件200的材质的不同而以不同的趋势反映到图像数据中。另外，根据电弧焊接或激光焊接、或者在电弧焊接中如MAG焊接那样使用作为消耗电极的焊丝或如使用非消耗电极的TIG焊接那样不使用作为消耗电极的焊丝、或者使用或不使用填充材料(填料材料)，焊接部位201的形状有时不同。另外，即便是原本被分类为相同种类的焊接不良，其形状或大小也有时相差较大。因此，优选根据工件200的材质及焊接方式预先准备外观检查用模型，并且与各个外观检查用模型对应地预先准备序列数据组。通过这种方式，缺乏AI或机器学习的知识的焊接作业者能够根据种类众多的工件200或焊接方式，简便且短时间地进行外观检查用模型的生成或更新。需要说明的是，工件200的材质带来的所看到的图像数据的不同主要是起因于激光光线的反射率。因此，如果能够修正这一点，则也能够与工件200的材质无关地使用相同的外观检查用模型。

(第二实施方式)

图12A示意性示出本实施方式的数据的交接路径，图12B示意性示出本实施方式的数据的另一交接路径。需要说明的是，为了方便说明，在图12A、12B中，针对与第一实施方式同样的部位标注相同的标号并省略详细的说明。

在第一实施方式所示的例子中，焊接作业者自身进行了从图像数据的取得到外观检查用模型及外观检查用软件的更新为止的一系列的处理。

另一方面，在实际的现场中，如图12A所示，焊接作业者取得焊接部位201的图像数据，经由焊接作业者操作的计算机1000将该图像数据发送给系统管理者。有时将接收到的图像数据输入到系统管理者操作的计算机1100上的学习辅助系统100，更新外观检查用模型。在该情况下，焊接作业者自身不会接触到学习辅助系统100。收取编入了更新后的外观检查用模型的外观检查用软件并安装到自身具有的外观检查装置10即可。通过这种方式，即便焊接作业者缺乏AI或机器学习的知识，也能够利用适当的外观检查用软件，能够降低焊接部位201的在外观检查中的误检测。需要说明的是，对于本申请说明书中的“系统管理者”，不仅包括学习辅助系统100的开发者、设计者，也包括进行学习辅助系统100的修改等的维护负责人。

另一方面，焊接不良的有无或种类的判定基准有时根据用户而不同。在这样的情况下，优选按照每个用户来实施还包含示教数据的制作在内的注释赋予。

在这样的情况下，只要示教数据的制作即直到对图像数据的注释赋予为止，由焊接作业者自身进行，在学习辅助系统100内执行以后的处理即可。在该情况下，例如，如图12B所示，在云计算机1200上构筑学习辅助系统100

在由形状计测装置20计测了焊接部位201的形状之后，焊接作业者对计算机1000进行操作，将形状计测结果转换成图像数据。进而，使用转换后的图像数据，制作示教数据。需要说明的是，图像数据的转换和示教数据的制作由计算机1000执行。但是，也可以是，将形状计测结果送至云计算机1200，由云计算机1200转换为图像数据。

另外，也可以是，焊接作业者从计算机1000访问云计算机1200的学习辅助系统100，起动学习辅助系统100，将图像数据输入到学习辅助系统100。此外，也可以使用注释赋予部103来制作示教数据。

系统管理者对计算机1100进行操作，访问云计算机1200上的学习辅助系统100。另外，将已制作出的示教数据输入到学习辅助系统100。此外，系统管理者输入用于更新外观检查用模型的执行命令(以下称为外观检查用模型的更新命令)。

在学习辅助系统100内，更新后的外观检查用模型被编入到外观检查用软件中。向焊接作业者通知能够利用外观检查用软件从云计算机1200下载这一意思，焊接作业者访问云计算机1200，获取外观检查用软件。在该外观检查用软件中，编入了作为外观检查用模型的最优化的权重文件。需要说明的是，该权重文件不限于一个，也可以为多个。

系统管理者确认在云计算机1200上生成了包含更新后的外观检查用模型的序列数据组(序列文件夹)，并且进行该序列数据组的维护等。

需要说明的是，也可以是，焊接作业者对计算机1000进行操作，访问云计算机1200上的学习辅助系统100，将示教数据输入到学习辅助系统100。此外，也可以是，焊接作业者将外观检查用模型的更新用的执行命令输入到云计算机1200上的学习辅助系统100。

另外，也可以是，向系统管理者通知能够利用外观检查用软件从云计算机1200下载这一意思，系统管理者访问云计算机1200，获取外观检查用软件。

另外，在焊接作业者或系统管理者对云计算机1200上的学习辅助系统100进行操作的情况下，例如使用以下的方法。即，使用网络浏览器操作或基于远程桌面连接的桌面操作等方法，从计算机1000或计算机1100对学习辅助系统100进行操作。

需要说明的是，也可以是，系统管理者制作示教数据。在该情况下，系统管理者对计算机1100进行操作，将形状计测结果转换为图像数据。需要说明的是，形状计测结果有时从计算机1000送出。另外，制作后的示教数据通过系统管理者对计算机1100进行操作而上传到云计算机1200。通过这种方式，容易确保各种数据交接的安全性。另外，在系统管理者这一方容易进行学习辅助系统100或各种数据的维护、管理。

另外，图12A所示的计算机1000和计算机1100具有外观检查用软件的更新装置的功能。同样，图12B所示的计算机1000、1100和云计算机1200具有外观检查用软件的更新装置的功能。

在图12A所示的例子中，将计算机1000称为第一计算机1000，将计算机1100称为第二计算机1100。在第二计算机1100安装有学习辅助系统100。从第一计算机1000向第二计算机1100上的学习辅助系统100输入基于图像数据制作出的示教数据。此外，输入外观检查用模型的更新命令。

在学习辅助系统100内，更新后的外观检查用模型被编入到外观检查用软件。之后，如果能够从第二计算机1100利用编入了更新后的外观检查用模型的外观检查用软件，则经由第一计算机1000通知给焊接作业者。收取到该通知的焊接作业者从第一计算机1000访问第二计算机1100，从第二计算机1100获取外观检查用软件。

另外，在图12B所示的例子中，将计算机1000、1100分别称为第一计算机1000、1100，将云计算机1200称为第二计算机1200。

在图12B所示的例子中，至少在第二计算机1200安装有学习辅助系统100。从第一计算机1000或第一计算机1100向第二计算机1200上的学习辅助系统100输入基于图像数据制作出的示教数据。此外，输入外观检查用模型的更新命令。

在学习辅助系统100内，更新后的外观检查用模型被编入到外观检查用软件。之后，如果能够从第二计算机1200利用编入了更新后的外观检查用模型的外观检查用软件，则经由第一计算机1000或第一计算机1100通知给焊接作业者或系统管理者。收取到该通知的焊接作业者或系统管理者从第一计算机1000或第一计算机1100访问第二计算机1200，从第二计算机1200获取外观检查用软件。

需要说明的是，如图12B的虚线所示，也可以是，焊接作业者从自身操作的第一计算机1000向系统管理者发送示教数据，系统管理者在位于自身操作的第一计算机1100上的学习辅助系统100内更新外观检查用模型。在该情况下，将编入了更新后的外观检查用模型的外观检查用软件从系统管理者发送给焊接作业者。

需要说明的是，关于与外观检查用模型的生成或更新相关的数据的交接路径，不特别限定于第一实施方式、第二实施方式所示的例子。例如，也可以是，在云计算机1200上构筑学习辅助系统100，焊接作业者自身能够执行从图像数据的取得到外观检查用模型或外观检查用软件的更新为止的一系列的处理。在该情况下，通过事先对每个用户预先赋予第二存储部106的区域分配和访问权限，便能够降低用户之间的数据泄漏的风险。

即，在本实施方式的外观检查用模型的更新方法中，也可以是，至少从第二步骤(图5的步骤S3)到第八步骤(图5的步骤S9)为止的一系列的处理由焊接作业者或系统管理者执行。

或者也可以是，第一步骤(图5的步骤S1)及第二步骤(图5的步骤S3)由焊接作业者执行，从第三步骤(图5的步骤S4)到第八步骤(图5的步骤S9)为止的一系列的处理由系统管理者执行。

另外，焊接作业者操作的计算机1000或系统管理者操作的计算机1100分别不限于一台，也可以为多台。

-产业实用性-

本公开的学习辅助系统能够使缺乏AI或机器学习的知识的焊接作业者简便地进行外观检查用模型的生成或更新，因此是有用的。

-符号说明-

10 外观检查装置

20 形状计测装置

30 形状评价装置

31 预处理部

32 第一存储部

33 判定部

34 输出部

100 学习辅助系统

101 数据取得部

102 数据格式转换部

103 注释赋予部

104 数据扩展部

105 数据分割部

106 第二存储部(存储部)

107 学习部

108 评价部

109 更新部

110 显示/输入部

200 工件

201 焊接部位

202 开孔

203 底切

204 飞溅物

205 凹坑

206 污点

210 焊接不良部位

300 注释辅助系统

1000、1100 计算机

1200 云计算机。

Claims (17)

1.一种学习辅助系统，是焊接部位的外观检查用模型的学习辅助系统，其特征在于，

所述学习辅助系统至少具备：

数据取得部，其取得所述焊接部位的图像数据；

存储部，其至少保存基于已被赋予了注释的所述图像数据而生成的多个学习数据及所述外观检查用模型；

数据分割部，其将所述多个学习数据分别分割为规定的大小；

学习部，其基于由所述数据分割部分别分割后的所述多个学习数据和从所述数据取得部取得且由所述数据分割部分割为所述规定的大小的所述图像数据，对从所述存储部读出的所述外观检查用模型进行机器学习，生成多个学习完毕模型；以及

评价部，其按照规定的评价基准来评价所述多个学习完毕模型，选择成绩最好的学习完毕模型，

在对所述图像数据的注释的赋予中，确定所述图像数据中的焊接不良部位，并且对所述焊接不良部位标记焊接不良的种类。

2.根据权利要求1所述的学习辅助系统，其特征在于，

所述评价部将所述外观检查用模型更新为选择出的学习完毕模型，或者，

所述学习辅助系统具备将所述外观检查用模型更新为由所述评价部选择出的学习完毕模型的更新部。

3.根据权利要求1或2所述的学习辅助系统，其特征在于，

所述学习辅助系统还具备数据扩展部，该数据扩展部基于已被赋予了注释的所述图像数据进行数据扩展处理，生成所述多个学习数据。

4.根据权利要求1至3中任一项权利要求所述的学习辅助系统，其特征在于，

所述学习辅助系统还具备对所述图像数据赋予注释的注释赋予部。

5.根据权利要求1至4中任一项权利要求所述的学习辅助系统，其特征在于，

在分别被分割后的所述图像数据及所述学习数据中包含无数据区域的情况下，

所述数据分割部对所述无数据区域代入分割完毕的所述图像数据及所述学习数据中的最小值，或者对所述无数据区域代入离所述无数据区域最近的区域的数据值。

6.根据权利要求1至5中任一项权利要求所述的学习辅助系统，其特征在于，

所述学习辅助系统还具备显示/输入部，该显示/输入部构成为显示用于评价所述外观检查用模型的数据及所述外观检查用模型的更新处理的状况，并且能够在画面上选择包含该数据的序列数据组。

7.根据权利要求6所述的学习辅助系统，其特征在于，

一个所述学习完毕模型及其生成所使用的数据组分别被建立起关联，并作为一个序列数据组保存于所述存储部。

8.根据权利要求7所述的学习辅助系统，其特征在于，

在所述序列数据组中，包含作为被焊接物的工件的材质及焊接方式作为数据。

9.根据权利要求1至8中任一项权利要求所述的学习辅助系统，其特征在于，

在所述评价基准中至少包含检测率。

10.根据权利要求9所述的学习辅助系统，其特征在于，

所述评价部选择所述检测率最高的学习完毕模型。

11.根据权利要求9或10所述的学习辅助系统，其特征在于，

所述评价部基于包含所述检测率的多个评价基准，来选择成绩最好的学习完毕模型。

12.根据权利要求1至11中任一项权利要求所述的学习辅助系统，其特征在于，

所述图像数据是三维空间上的点云数据。

13.一种外观检查装置，其特征在于，所述外观检查装置至少具备：

形状计测装置，其计测作为被焊接物的工件的焊接部位的形状；以及

形状评价装置，其判定所述焊接部位处的焊接不良的有无及种类，

所述形状评价装置至少具有：

预处理部，其将所述形状计测装置的计测结果转换为图像数据，并且将所述图像数据转换为规定的形式；

第一存储部，其至少保存用于评价所述焊接部位的形状的外观检查用模型；

判定部，其利用所述外观检查用模型来评价由所述预处理部进行了转换处理的所述图像数据，判定所述焊接部位处的焊接不良的有无及种类；以及

输出部，其输出所述判定部中的判定结果，

所述外观检查用模型是使用权利要求1至12中任一项权利要求所述的学习辅助系统而生成或更新后的模型。

14.一种外观检查用软件的更新装置，是具有一台以上的第一计算机和第二计算机的外观检查用软件的更新装置，其特征在于，

至少在所述第二计算机中安装有权利要求1至12中任一项权利要求所述的学习辅助系统，

在一台以上的所述第一计算机中的任意一台第一计算机或者所述第二计算机中，基于所述图像数据制作示教数据，

在从一台以上的所述第一计算机中的任意一台第一计算机向所述第二计算机输入了所述外观检查用模型的更新命令的情况下，

所述第二计算机在能够利用编入了更新后的所述外观检查用模型的外观检查用软件时，通知一台以上的所述第一计算机中的任意一台第一计算机，

收取到该通知的所述第一计算机构成为从所述第二计算机获取所述外观检查用软件。

15.一种外观检查用模型的更新方法，是焊接部位的外观检查用模型的更新方法，其特征在于，

所述外观检查用模型的更新方法至少具备：

第一步骤，取得所述焊接部位的图像数据；

第二步骤，通过确定所述图像数据中的焊接不良部位并标记焊接不良的种类，对所述图像数据赋予注释；

第三步骤，对已被赋予了注释的所述图像数据进行数据扩展处理，生成多个学习数据；

第四步骤，将所述多个学习数据分别分割为规定的大小；

第五步骤，将在所述第四步骤中分割后的所述多个学习数据与在所述第一步骤中取得且分割为所述规定的大小的所述图像数据混合而生成综合数据组；

第六步骤，基于所述综合数据组，进行所述外观检查用模型的机器学习，生成多个学习完毕模型；

第七步骤，按照规定的评价基准来评价所述多个学习完毕模型，选择成绩最好的学习完毕模型；以及

第八步骤，将所述外观检查用模型更新为在所述第五步骤中选择出的学习完毕模型。

16.根据权利要求15所述的外观检查用模型的更新方法，其特征在于，

至少从所述第二步骤到所述第八步骤为止的一系列的处理由焊接作业者执行，或者由用于所述外观检查用模型的生成或更新的学习辅助系统的系统管理者执行。

17.根据权利要求15所述的外观检查用模型的更新方法，其特征在于，

所述第一步骤及所述第二步骤由焊接作业者执行，

从所述第三步骤到所述第八步骤为止的一系列的处理由用于所述外观检查用模型的生成或更新的学习辅助系统的系统管理者执行。