CN117545583A - 焊接现象的行为的计测方法、计测装置、焊接系统以及程序 - Google Patents

Abstract

一种焊接现象的行为的计测方法，包括：图像处理工序，对由视觉传感器拍摄到的焊接图像进行与着眼的焊接现象的行为相应的图像处理；图像分割工序，使用所述图像处理工序中生成的处理图像，生成针对每个与所述焊接现象对应的构成要素的多个分割图像；以及导出工序，使用所述多个分割图像中的至少两个分割图像，导出所述焊接现象的行为。

Description

焊接现象的行为的计测方法、计测装置、焊接系统以及程序

技术领域

本发明涉及焊接现象的行为的计测方法、计测装置、焊接系统以及程序。

背景技术

气体保护电弧焊(以后，也称为GMAW)产生在焊接中引起的各种焊接现象的行为(以后，称为焊接行为)。在焊接行为中，例如存在如溅射、烟气那样对焊接品质造成损害的焊接行为，以往，谋求以实时的焊接优劣判定、追踪等为目的而计测这些焊接行为的方法。

作为以往的计测方法，在专利文献1中，公开了以使用图像处理的机构准确地测定溅射的产生量以及其行为为课题的溅射的识别方法以及溅射识别装置。具体而言，在电弧焊接中将电弧产生位置以及其周围拍摄于多个帧图像，对各帧图像实施二值化或多值化处理而提取一个或多个高亮度的独立区域，并检测提取出的各独立区域的位置信息。并且，基于检测出的各独立区域的位置信息判断连续的帧图像间的独立区域的连续性的有无，将判断为有连续性的一系列的独立区域组识别为伴随着电弧焊接产生的一个溅射。

另外，在专利文献2中，公开了以抑制成本并且以简便的方法对溅射数进行计数为课题、且由具备拍摄装置的可移动的终端装置进行的溅射计数方法。具体而言，公开了如下溅射计数方法：在焊接时对能够拍摄溅射的区域以动态图像方式进行拍摄，针对每个构成拍摄到的动态图像的静止图像，对拍摄于静止图像的溅射的数量进行计数。

现有技术文献

专利文献

专利文献1：日本国特开2008-126274号公报

专利文献2：日本国特开2019-188421号公报

发明内容

发明要解决的课题

然而，在焊接时需要计测的行为不仅是溅射，例如还可以举出烟气、熔池的形状等。在专利文献1以及专利文献2中作为焊接现象的行为能够进行溅射的计测，但未考虑同时计测多个其他焊接行为。换言之，专利文献1、专利文献2是特殊化为溅射计测的方法。

在本申请发明中，目的在于提供能够基于由视觉传感器拍摄到的拍摄图像来计测焊接现象的多个行为的计测方法及其装置、系统、程序、以及使用它们的焊接方法、增材制造方法。

用于解决课题的方案

为了解决上述课题，本申请发明具有以下的结构。即，一种焊接现象的行为的计测方法，其中，

所述焊接现象的行为的计测方法包括：

图像处理工序，对由视觉传感器拍摄到的焊接图像进行与着眼的焊接现象的行为相应的图像处理；

图像分割工序，使用所述图像处理工序中生成的处理图像，生成针对每个与所述焊接现象对应的构成要素的多个分割图像；以及

导出工序，使用所述多个分割图像中的至少两个分割图像，导出所述焊接现象的行为。

另外，作为本申请发明的其他方式具有以下的结构。即，一种焊接系统，其具有：

焊接装置；

视觉传感器，其拍摄由所述焊接装置进行的焊接动作；以及

计测装置，其使用由所述视觉传感器拍摄到的焊接图像，计测焊接现象的行为，

所述计测装置具有：

图像处理机构，其对所述焊接图像进行与着眼的焊接现象的行为相应的图像处理；

图像分割机构，其使用由所述图像处理机构生成的处理图像，生成针对每个与所述焊接现象对应的构成要素的多个分割图像；以及

导出机构，其使用所述多个分割图像中的至少两个分割图像，导出所述焊接现象的行为。

另外，作为本申请发明的其他方式具有以下的结构。即，一种焊接现象的行为的计测装置，其中，

所述焊接现象的行为的计测装置具有：

图像处理机构，其对由视觉传感器拍摄到的焊接图像进行与着眼的焊接现象的行为相应的图像处理；

图像分割机构，其使用由所述图像处理机构生成的处理图像，生成针对每个与所述焊接现象对应的构成要素的多个分割图像；以及

导出机构，其使用所述多个分割图像中的至少两个分割图像，导出所述焊接现象的行为。

另外，作为本申请发明的其他方式具有以下的结构。即，一种熔敷现象的行为的计测方法，其中，

所述熔敷现象的行为的计测方法包括：

图像处理工序，对由视觉传感器拍摄到的熔敷图像进行与着眼的熔敷现象的行为相应的图像处理；

图像分割工序，使用所述图像处理工序中生成的处理图像，生成针对每个与所述熔敷现象对应的构成要素的多个分割图像；以及

导出工序，使用所述多个分割图像中的至少两个分割图像，导出所述熔敷现象的行为。

另外，作为本申请发明的其他方式具有以下的结构。即，一种程序，其中，

所述程序使计算机执行：

图像处理工序，对由视觉传感器拍摄到的焊接图像进行与着眼的焊接现象的行为相应的图像处理；

图像分割工序，使用所述图像处理工序中生成的处理图像，生成针对每个与所述焊接现象对应的构成要素的多个分割图像；以及

导出工序，使用所述多个分割图像中的至少两个分割图像，导出所述焊接现象的行为。

发明效果

根据本发明，能够基于由视觉传感器拍摄到的拍摄图像，来计测焊接现象的多个行为。

附图说明

图1是示出本申请发明的一实施方式的焊接系统的结构例的概要图。

图2是示出本申请发明的一实施方式的机器人控制装置的结构例的概要图。

图3是示出本申请发明的一实施方式的数据处理装置的机构结构的例子的概要图。

图4是示出本申请发明的一实施方式的处理的流程的流程图。

图5是用于说明本申请发明的一实施方式的各颜色分量图像的生成的说明图。

图6是示出本申请发明的一实施方式的要素分类的处理的流程图。

图7是用于说明在图像内包含障碍物的情况的说明图。

图8是用于说明本申请发明的一实施方式的图像的变迁的说明图。

图9是用于说明本申请发明的一实施方式的图像的变迁的说明图。

具体实施方式

以下，参照附图等对用于实施本申请发明的方式进行说明。需要说明的是，以下说明的实施方式用于说明本申请发明的一实施方式，并不意在限定地解释本申请发明，另外，各实施方式中说明的结构未必全部是为了解决本申请发明的课题所必需的结构。另外，在各附图中，对相同的构成要素标注相同的参照编号从而示出对应关系。

另外，本申请发明的计测焊接行为的方法不仅在焊接中有用，在活用GMAW的增材制造技术、具体而言金属层叠造型技术(WAAM：Wire and Arc Additive Manufacturing)中也是有用的。需要说明的是，增材制造这样的用语有时在广义上以层叠造型或快速原型的用语使用，但在本申请发明中，统一使用增材制造的用语。在将本申请发明的方法活用于增材制造技术的情况下，将“焊接”换言为“熔敷”、“增材制造”或“层叠造型”等。例如，可以是，在处理为焊接的情况下，成为“焊接行为”，但在作为增材制造而活用本申请发明的情况下，换言为“熔敷行为”，或者在处理为焊接的情况下，成为“焊接系统”，但在作为增材制造而活用本申请发明的情况下，换言为“增材制造系统”。

<第一实施方式>

以下，参照附图对本申请发明的一实施方式进行说明。

[焊接系统的结构]

图1示出本实施方式的焊接系统1的结构例。图1所示的焊接系统1构成为包括焊接机器人10、机器人控制装置20、电源装置30、视觉传感器40以及数据处理装置50。需要说明的是，在将本申请发明的方法应用于增材制造而使用的情况下，例如也可以将焊接系统1改称为增材制造系统，将焊接机器人10改称为增材制造用机器人。

图1所示的焊接机器人10由6轴的多关节机器人构成，在其前端部安装有GMAW用的焊炬11。需要说明的是，在GMAW中例如存在MIG(Metal InertGas)焊接、MAG(Metal ActiveGas)焊接，在本实施方式中举出MAG焊接为例进行说明。另外，焊接机器人10并不限于6轴的多关节机器人，例如也可以采用可移动型的小型机器人。

从焊丝进给装置12向焊炬11供给焊丝13。焊丝13从焊炬11的前端朝向焊接部位送出。电源装置30向焊丝13供给电力。通过该电力，对焊丝13与工件W之间施加电弧电压，产生电弧。在电源装置30设置有检测从焊接中的焊丝13向工件W流动的焊接电流的未图示的电流传感器以及检测焊丝13与工件W之间的电弧电压的未图示的电压传感器。

电源装置30具有未图示的处理部以及存储部。处理部例如由CPU(CentralProcessing Unit)构成。另外，存储部例如由HDD(Hard DiskDrive)、ROM(Read OnlyMemory)、RAM(Random Access Memory)等易失性、非易失性的存储器构成。处理部通过执行存储于存储部的电源控制用的计算机程序，从而控制向焊丝13施加的电力。电源装置30也与焊丝进给装置12连接，且处理部控制焊丝13的进给速度、进给量。

焊丝13的组成、种类根据焊接对象而区分使用。需要说明的是，本实施方式的焊接行为除了上述的溅射、烟气以外，还可以举出电弧偏转、电弧压、熔池上的氧化物覆盖量、熔滴过渡形态、熔滴脱离周期、短路次数、凹坑等焊接缺陷的产生等。

视觉传感器40例如由CCD(Charge Coupled Device)相机构成。视觉传感器40的配置位置没有特别限定，可以直接安装于焊接机器人10，另外，也可以作为监视相机而固定于周边的特定的场所。在将视觉传感器40直接安装于焊接机器人10的情况下，视觉传感器40与焊接机器人10的动作一并地，以拍摄焊炬11的前端周边的方式移动。构成视觉传感器40的相机的台数也可以是多个。

另外，由视觉传感器40拍摄的方向也没有特别限制，例如在将焊接进展的方向设为前方的情况下，可以以拍摄前方侧的方式配置，也可以以拍摄侧面侧、后方侧的方式配置。因此，基于视觉传感器40的拍摄范围根据计测对象的焊接行为而适当决定即可。需要说明的是，在以溅射、烟气为对象的情况下，为了抑制焊炬11的干涉，优选为从前方侧拍摄。

在本实施方式中，使用固定于特定的场所的视觉传感器40，以成为至少包含工件W、焊丝13以及电弧的拍摄范围的方式，作为焊接图像而拍摄动态图像。需要说明的是，焊接图像所涉及的各种拍摄设定可以预先规定，也可以根据焊接系统1的动作条件而切换。作为拍摄设定，例如可以举出帧率、图像的像素数、分辨率、快门速度等。

构成焊接系统1的各部位通过有线/无线的各种通信方式而能够通信地连接。此处的通信方式并不限定于一个，也可以将多个通信方式组合而连接。

[机器人控制装置的结构]

图2示出控制焊接机器人10的动作的机器人控制装置20的结构例。机器人控制装置20构成为包括控制装置整体的CPU201、存储数据的存储器202、包括多个开关的操作面板203、在示教作业中使用的示教器204、机器人连接部205以及通信部206。存储器202例如由ROM、RAM、HDD等易失性、非易失性的存储装置构成。在存储器202存储在焊接机器人10的控制中使用的控制程序202A。CPU201通过执行控制程序202A，从而控制由焊接机器人10进行的各种动作。

在对机器人控制装置20的指示的输入中主要使用示教器204。示教器204经由通信部206而与机器人控制装置20主体连接。操作员能够使用示教器204而输入示教程序。机器人控制装置20按照从示教器204输入的示教程序而控制焊接机器人10的焊接动作。需要说明的是，示教程序例如也能够使用未图示的计算机基于CAD(Computer-Aided Design)信息等而自动地制作。由示教程序定义的动作内容并没有特别限定，也可以根据焊接机器人10的规格、焊接方式而不同。

在机器人连接部205连接有焊接机器人10的驱动电路。CPU201将基于控制程序202A的控制信号经由机器人连接部205向焊接机器人10所具备的未图示的驱动电路输出。

通信部206是有线或无线通信用的通信模块。通信部206在与电源装置30、数据处理装置50的数据通信中使用。由通信部206使用的通信的方式、规格并没有特别限定，也可以组合多个方式。从电源装置30经由通信部206向CPU201赋予例如由未图示的电流传感器检测出的焊接电流的电流值、由未图示的电压传感器检测出的电弧电压的电压值。

机器人控制装置20也通过焊接机器人10的各轴的控制，而控制焊炬11的移动速度、突出方向。另外，机器人控制装置20也根据设定的周期、振幅、焊接速度而控制焊接机器人10的横摆动作。横摆动作是指使焊炬11沿相对于焊接的进展方向交叉的方向交替地摆动。机器人控制装置20伴随着横摆动作而执行焊接线仿形控制。焊接线仿形控制是以沿着焊接线形成焊道的方式相对于焊炬11的进展方向控制左右的位置的动作。另外，机器人控制装置20也通过经由电源装置30控制焊丝进给装置12，而控制焊丝13的进给速度等。

[数据处理装置的结构]

图3是用于说明数据处理装置50的功能结构的例子的图。数据处理装置50例如由未图示的CPU、ROM、RAM、硬盘装置、输入输出接口、通信接口、影像输出接口等构成。数据处理装置50通过上述的各构成部位协作，从而实现存储部501、图像处理部502、图像分割部503、算出部504以及显示部505。另外，在视觉传感器40为固定的监视相机的情况下，数据处理装置50还具备视觉传感器控制部506。需要说明的是，由图像处理部502、图像分割部503、算出部504、显示部505进行的一系列的工序也可以由在数据处理装置50上安装的软件来完成。

存储部501对由视觉传感器40拍摄到的图像数据进行记录、管理，并根据来自各处理部的要求而提供图像数据。在此所说的图像数据可以是静止图像数据，也可以是以任意的帧率连续拍摄静止图像数据而得到的动态图像的数据。在此所说的帧率例如表示在一秒等规定时间间隔中由视觉传感器40拍摄的静止图像数据的张数。优选的是，在1～10FPS(Frames Per Second)的范围内决定。需要说明的是，在作为实时的焊接行为的计测、追踪而活用的情况下，优选为作为动态图像而记录。

图像处理部502使用存储于存储部501的图像数据，进行用于本实施方式的计测的前处理。作为前处理，例如可以举出对比度校正、明亮度校正、颜色校正、二值化等黑白图像变换、噪声除去、边缘强调、收缩/膨胀、图像特征提取等。关于本实施方式的图像处理的具体例，见后述。

图像分割部503基于在图像处理部502中应用各种图像处理而得到的处理图像数据，制作针对每个预先设定的构成要素分割为多个图像的分割图像。需要说明的是，预先设定的构成要素可以举出作为焊接行为的溅射、烟气、电弧光、作为焊接系统1的构成物的焊丝13、喷嘴、母材、熔池、障碍物、除此以外的背景等。在此，特别着眼于溅射、烟气、电弧光来进行说明。需要说明的是，由图像处理部502进行的处理并不限定于图像分割部503的用于生成分割图像的前处理。也可以根据需要，使图像处理部502对分割图像进行处理。

算出部504基于分割图像、处理图像数据而算出用于定量地计测作为焊接行为的溅射、烟气、电弧光的各种指标值。此处的算出例如优选为以时间序列顺序进行。在此所说的时间序列例如可以举出经过时间、示教程序顺序、构成动态图像的连续的静止图像数据顺序等。

显示部505显示基于由算出部504算出的算出结果而构成的画面。另外，显示部505使由电流传感器41、电压传感器42检测出的值、从机器人控制装置20取得的各种信息显示于画面上。由算出部504沿着时间序列算出的结果例如优选为使焊接电流、电弧电压等数据与时间序列同步地显示。

视觉传感器控制部506控制视觉传感器40的拍摄动作。例如，在视觉传感器40为向焊接机器人10以外的设置型的情况下，作为视觉传感器40优选为采用至少具有PTZ功能的相机，可以将其左右(Pan)、俯仰(Tilt)、变焦(Zoom)等与焊接机器人10的动作一并地控制。另外，视觉传感器控制部506可以从机器人控制装置20取得与焊接机器人的10的动作相关的信息，并基于该信息控制视觉传感器40的动作。

[计测方法]

图4是用于说明从图像数据计测多个焊接行为时的一系列的流程的图。在图4中，示出计测作为焊接行为的一例的溅射、烟气以及电弧光的一系列处理，但无需对它们全部进行计测，也可以是计测其一部那样的结构。另外，在图4中，例如，针对一个焊接行为算出多个指标值，但无需必须算出全部的指标值，也可以切换为针对一个焊接行为算出一个指标值。需要说明的是，本实施方式是以追踪为目的而处理焊接结束后的动态图像数据的例子，但处理并不限于焊接结束后，也可以与焊接动作并行地实时进行以下所示的处理。

图4的处理流程可以以如下方式实现：使用与焊接动作并行地或在焊接时拍摄到的图像，在测定焊接行为时，数据处理装置50的处理部将存储于存储部的程序读入并执行，从而使图3所示的各部位发挥功能。

在S401中，数据处理装置50取得成为处理对象的动态图像数据。在此，对视觉传感器40设定帧率、快门速度等拍摄条件，利用视觉传感器40将成为拍摄对象的焊接位置的范围拍摄为动态图像数据。拍摄条件可以由作业者设定为任意的值，也可以使用预先规定的固定值。拍摄到的动态图像数据可以直接保存于数据处理装置50的存储部501，在视觉传感器40自身存在存储器的情况下，也可以在暂时保存于视觉传感器40的存储器之后，使动态图像数据向存储部501转移。需要说明的是，以后的处理对动态图像数据所包括的多个静止图像数据分别进行处理。

在S402中，数据处理装置50对取得的动态图像数据进行颜色分量分解处理。本实施方式的动态图像数据例如通过各像素由表示红、绿、蓝的颜色分量的RGB信号构成的颜色图像而构成。RGB信号例如将各颜色分量设为8bit，每一像素由共计24bit表示。在该情况下，与各颜色分量对应的信号值取0～255的值。在此处的颜色分量分解处理中，着眼于各颜色分量，制作以每个RGB的颜色分量分开的动态图像数据。换言之，从一个动态图像数据，分割为仅R的颜色分量的动态图像数据、仅G的颜色分量的动态图像数据以及仅B的颜色分量的动态图像数据而生成。更具体而言，在生成仅R的颜色分量的动态图像数据的情况下，将动态图像数据的G以及B的信号值变换为0，从而进行颜色分量分解处理。

图5是用于说明从动态图像数据生成仅RGB各自的颜色分量的动态图像数据的图。如图5所示那样，从动态图像数据所包含的某一静止图像数据生成的3个仅颜色分量的静止图像数据分别成为不同的表现，即使在产生了相同的焊接行为的情况下也能够捕捉不同的特征。以下，将仅R的颜色分量的静止图像数据、仅G的颜色分量的静止图像数据、仅B的颜色分量的静止图像数据分别称为“红颜色分量图像”、“绿颜色分量图像”、“蓝颜色分量图像”而进行说明。

本申请发明人进行实验、检验等结果是，发现了蓝颜色分量图像对于热能光能够明确地确认。热能光是与电弧光或烟气关联的现象。即，通过使用蓝颜色分量图像，能够提取热能光中的浓淡较淡的光，能够基于该较淡的光，算出此前提取困难的向周围扩散的烟气。

另外，本申请发明人进行实验、检验等的结果是，发现了红颜色分量图像在金属、熔渣等的高温发光中能够明确地确认。即，通过使用红颜色分量图像，能够基于其所包含的高温发光，捕捉溅射、熔池、或者粒子密度较高的烟气。以下，在图像上也将粒子密度较高的烟气记载为“浓烟气”，将粒子密度较低的烟气记载为“薄烟气”。需要说明的是，此处的浓淡是相对的，其浓度值并没有限定。

通过进行分解为各RGB分量的处理，各种焊接行为的特征提取变得容易。需要说明的是，在本实施方式中，对使用红颜色分量图像以及蓝颜色分量图像计测焊接行为的例子进行说明。然而，并不限定于此，也可以还使用绿颜色分量图像，对焊接行为进行计测。例如，也可以在后述的构成要素的区域确定等中使用绿颜色分量图像。

需要说明的是，在本实施方式中，举出RGB的颜色空间为例进行了说明，但并不限定于此。例如，也可以使用能够与R、G、B的各参数对应地进行变换的其他颜色空间。更具体而言，作为能够利用的颜色空间，可以举出RGBA、YCbCr、YUV等。

首先，对使用蓝颜色分量图像的用于测定薄烟气的指标值的算出进行说明。在S403中，数据处理装置50利用图像处理部502对蓝颜色分量图像应用背景减法处理。背景减法处理的方法没有特别限定，但例如也可以通过使用公知的滚球(Rolling Ball)算法除去噪声从而进行背景减法。此外，也可以通过使用规定的过滤器的过滤处理来进行背景减法处理。通过本工序的处理，能够将尖峰状的信号除去，而取得平滑地变动的像素值。在本实施方式中，处理为该平滑地变动的像素值来自于薄烟气。

在S404中，数据处理装置50利用算出部504在S403中进行了背景减法处理的蓝颜色分量图像中，将亮度的合计值作为薄烟气的指标值而算出。在此，可以在由蓝颜色分量图像整体表示的亮度直方图中，基于各亮度值将进行了加权的合计值作为指标值而算出。

接着，对使用红颜色分量图像的用于测定电弧光以及浓烟气的指标值进行说明。在S405中，数据处理装置50利用图像处理部502对红颜色分量图像应用背景减法处理。背景除去处理的方法没有特别限定，但例如也可以与S403的处理相同地，通过使用公知的滚球(Rolling Ball)算法除去噪声从而进行背景减法。此外，也可以通过使用规定的过滤器的过滤处理来进行背景减法处理。通过本工序的处理，能够将尖峰状的信号除去而取得平滑地变动的像素值。

在S406中，数据处理装置50在由算出部504在S405进行了背景减法处理的红颜色分量图像中，将亮度的合计值作为电弧光的指标值而算出。在此，可以在由红颜色分量图像整体表示的亮度直方图中，基于各亮度值将进行了加权的合计值作为指标值而算出。

在S407中，数据处理装置50利用图像处理部502从S402中生成的红颜色分量图像的各像素的亮度值将S405中生成的背景减法处理后的红颜色分量图像的亮度值除外。通过本工序，能够在红颜色分量图像中，将平滑地变动的像素值除外。

在S408中，数据处理装置50利用图像处理部502对S407的处理后的红颜色分量图像进行二值化处理，生成二值化图像。此处的二值化处理的方法没有特别限定，可以使用公知的方法。另外，关于二值化处理时的阈值的设定也没有特别限定，例如也可以将像素值能取的值的中央值设为阈值。

在S409中，数据处理装置50利用图像处理部502，使用S408中生成的二值化图像进行该图像所包含的各区域的标记(labelling)处理。在二值化图像中，包括由一个以上的像素构成的多个区域，进行各区域的提取。在本实施方式中，在二值化图像中，将由像素值为“1”的像素构成的各区域标记为与由焊接行为产生的构成要素中的任一个对应的区域。标记处理的方法没有特别限定，可以使用公知的方法。另外，区域的尺寸的下限也没有特别限定，例如，最小的区域可以设为由一个像素构成的区域。需要说明的是，可以在由像素值为“0”的像素构成的区域与由焊接行为产生的构成要素对应的情况下，将其标记。

在S410中，数据处理装置50利用图像分割部503对S409中被标记了的图像内的各区域进行要素分类处理。关于本工序的详细情况，使用图6进行说明。本工序基于分别使用成为处理对象的多个红颜色分量图像进行的标记处理的结果，每次都进行。

在S601中，图像分割部503着眼于二值化图像所包含的一个或多个被标记了的区域中的未处理的区域。此时，着眼的顺序没有特别限定，但例如也可以基于区域的尺寸降序地排序，并从尺寸较大的区域起依次着眼。

在S602中，图像分割部503判定构成着眼区域的像素数是否为第一阈值以下。此处的第一阈值作为300像素来说明。需要说明的是，第一阈值也可以根据红颜色分量图像的整体尺寸而规定，也可以根据焊接状况而变化。例如，在视觉传感器40为固定位置的监视相机的情况下，由于焊接位置改变、即视觉传感器40的位置与焊接位置的距离或拍摄方向、拍摄角度改变，因此拍摄对象的大小变化。因而，也可以预先设置距离、方向与对象物的大小的关系，并基于该关系，使第一阈值变化。另一方面，也可以以即使视觉传感器40的位置与焊接位置的距离变化也使拍摄对象的大小恒定、即、使第一阈值恒定的方式，改变相机侧的倍率。在着眼区域的像素数为第一阈值以下的情况、即S602中为是的情况下，图像分割部503的处理向S604前进。另一方面，在着眼区域的像素数比第一阈值大的情况、即S602中为否的情况下，图像分割部503的处理向S603前进。

在S603中，图像分割部503判定着眼区域是否位于图像的中央、且为被标记了的区域中的最大的尺寸。即，在拍摄通常的焊接行为而得到的图像中，电弧光位于中央，电弧光的区域在图像内成为最大的区域。另一方面，在拍摄时拍入了障碍物等的结果是，存在电弧光不在中央的情况。在那样的情况下，着眼区域处理为噪声。图7示出在图像上拍入了障碍物的例子。在这样的情况下，成为电弧光不位于图像的中央的图像。需要说明的是，此处的中央可以预先设定范围，也可以根据图像尺寸、焊接行为等而变化。另外，在本工序的判定中使用的最大的尺寸成为图像内的多个区域间的相对的尺寸，因此根据图像而不同。在着眼区域满足上述条件的情况下、即S603中为是的情况下，图像分割部503的处理向S605前进。另一方面，在着眼区域不满足上述条件的情况、即S603中为否的情况下，图像分割部503的处理向S606前进。

在S604中，图像分割部503判定着眼区域的尺寸是否为第二阈值以上。第二阈值对包含着眼区域的最小的矩形区域进行规定，并设定为着眼区域的像素数相对于该矩形区域的像素数的比例。因此，矩形区域的尺寸根据各着眼区域的尺寸而变化。此处的第二阈值作为15％来说明。即，本工序中的判定对是否满足以下的条件进行判定。

第二阈值≤(着眼区域的尺寸)/(包含着眼区域的矩形区域的尺寸)

在着眼区域的尺寸为第二阈值以上的情况、即S604中为是的情况下，图像分割部503的处理向S607前进。另一方面，在着眼区域的尺寸比第二阈值小的情况、即S604中为否的情况下，图像分割部503的处理向S608前进。

在S605中，图像分割部503将着眼区域分类为电弧光的区域。然后，图像分割部503的处理向S609前进。

在S606中，图像分割部503将着眼区域分类为噪声的区域。然后，图像分割部503的处理向S609前进。

在S607中，图像分割部503将着眼区域分类为溅射的区域。然后，图像分割部503的处理向S609前进。

在S608中，图像分割部503将着眼区域分类为浓烟气的区域。然后，图像分割部503的处理向S609前进。

在S609中，图像分割部503判定是否存在未处理的区域。在存在未处理的区域的情况、即S609中为是的情况下，图像分割部503的处理向S601返回，反复进行处理。另一方面，在不存在未处理的区域的情况、即S609中为否的情况下，结束本处理流程，并向图4的S411前进。

返回图4，对算出电弧光的指标值的动作进行说明。在S411中，数据处理装置50生成由通过使用图6说明了的要素分类处理而被分类为电弧光的区域构成的二值化图像。该二值化图像可以从S409中被标记了的二值化图像提取被分类为电弧光的区域从而生成。在此时的二值化图像中包含与眩光对应的构成要素。眩光是在构成视觉传感器40的透镜、相机之中由于反射而产生的光。于是，数据处理装置50利用图像分割部503，为了除去眩光的构成要素，而对生成了的二值化图像进行收缩、扩张处理。收缩、扩张处理可以使用公知的方法。为了将眩光的构成要素恰当地除去，可以进行多次的收缩处理以及膨胀处理，另外，其处理顺序并没有特别限定。

在S412中，数据处理装置50利用算出部504，使用S411中处理了的二值化图像算出电弧光的指标值。算出部504对二值化图像所包含的电弧光的区域的像素数进行计数，并将其值用作指标值。

需要说明的是，在S406的处理中算出基于亮度值的电弧光的指标值，在S412的处理中算出基于像素数的电弧光的指标值。它们可以处理为单独的指标值，也可以从上述的两个指标值导出电弧光整体的一个指标值。另外，作为电弧光的指标值，也可以还基于电弧光的区域中的面积、重心、主轴角度等而算出电弧宽度、电弧长、电弧偏转的方向等。

接着，对算出溅射的指标值的动作进行说明。在S413中，数据处理装置50利用图像处理部502，使用S407的处理后的红颜色分量图像，生成由通过图6的要素分类处理而被分类为溅射的区域构成的红颜色分量图像。

在S414中，数据处理装置50利用算出部504，使用S413中生成的红颜色分量图像算出溅射的指标值。首先，算出部504将红颜色分量图像所包含的各溅射的区域中的、具有规定的阈值以上的面积即规定的阈值以上的像素数的区域除去。关于此，一个一个溅射假定为比规定的尺寸小，将该区域视作背景而除去。此处的阈值没有特别限定，但设为预先规定的阈值。接着，算出部504确定剩余的溅射的区域，将其像素的数量、由确定的像素构成的区域的数量作为溅射的指标值而算出。此时，在计数像素数时，也可以仅计数R的值为规定的阈值以上的像素。

需要说明的是，在此处的评价值的算出时，也可以利用关系式、表等预先定义产生的溅射的实测量与本实施方式的从图像的算出值的对应关系，并使用它们导出指标值。在该情况下，可以使用关系式、表，将从图像的算出值变换为表示每单位时间的重量的溅射量。

接着，对算出浓烟气的指标值的动作进行说明。在S415中，数据处理装置50利用图像处理部502，通过从S407中生成的图像减去S413中生成的溅射的区域的值，从而生成除去了溅射的图像。

在S416中，数据处理装置50利用图像处理部502，对S415中生成的图像进行伽马校正。通过利用伽马校正变换亮度值，从而将图像内的微小的亮度值的区域除外。针对成为除外对象的区域的阈值没有特别限定，在此设为预先规定的阈值。另外，伽马校正可以使用公知的方法，例如，伽马曲线的结构没有特别限定。

在S417中，数据处理装置50利用图像处理部502，对S416中处理了的图像进行过滤处理。通过过滤处理，检测图像中的边缘，并强调亮度值的梯度较急的部分。在此处的过滤处理中，例如能够使用拉普拉斯(Laplacian)过滤器，但也可以使用其他过滤器。

在S418中，数据处理装置50利用图像处理部502，对S417中应用了过滤器处理的图像，进行基于亮度的梯度的区域分割。此处的区域分割处理例如使用分水岭(Watershed)算法来进行。通过分水岭算法，能够将亮度的大小、即浓淡的梯度较急的部分更细地分割并强调。需要说明的是，使用的区域分割方法没有特别限定，也可以是其他方法。

在S419中，数据处理装置50利用算出部504，基于S418中生成的图像算出浓烟气的指标值。在S418的处理中，将图像分割为多个区域。此时，小的分割区域越多，则越多地存在浓淡。在本实施方式中，将存在较多浓淡这样的区域、即预先设定的面积以下的分割区域确立为浓烟气的产生部位，并将面积的合计值设想为表示浓烟气的指标值。在本实施方式中，使用以下的式(1)导出浓烟气的指标值。在以下的式(1)中，T_n表示分割区域n的面积、即像素数(n＝1，…，i)。

[数学式1]

需要说明的是，在此处的评价值的算出时，也可以利用关系式、表等预先定义产生的烟气的实测量与本实施方式的从图像的算出值的对应关系，并使用它们来导出指标值。在该情况下，可以使用关系式、表，将从图像的测定值变换为表示每单位时间的重量的烟气量。

另外，在S404的处理中算出薄烟气的指标值，在S419的处理中算出浓烟气的指标值。这些可以处理为单独的指标值，也可以使用规定的变换式从上述的两个指标值导出烟气整体的一个指标值。

数据处理装置50在将上述的各指标值导出后，利用显示部505，在未图示的画面上显示。此时，由算出的指标值确定的溅射、烟气等多个焊接行为优选以时间序列排列显示，也可以以不仅针对这些焊接行为的指标值的算出结果，使焊接电流、电弧电压值等也以时间序列同步并排列、即容易视觉确认比较对象的方式显示。

图8、图9是用于说明在上述的处理中基于图像处理的图像的变迁的图。图8示出从红颜色分量图像到生成每个构成要素的图像的图像的变迁，且相当于图4的处理序列中的基于S405～S415的处理的图像处理。

图像801示出红颜色分量图像的例子，且示出颜色分量分解处理后的图像。图像802示出对图像801应用二值化处理后的图像。图像803、805示出对图像802应用标记处理以及要素分解处理而针对每个构成要素生成的图像。图像803是由被分类为溅射的区域构成的图像，且相当于S411中生成的图像。图像805是由被分类为电弧光的区域构成的图像，且相当于S415中生成的图像。

图像804是从图像803除去了视为背景的区域的图像，且相当于S414中生成的图像。图像806表示在图像805中未拍入障碍物的情况。如图7所示那样在拍入了障碍物的情况下，在图像的中央不存在被分类为电弧光的区域。另一方面，图像806在图像的中央存在被分类为电弧光的区域。

图9示出从红颜色分量图像到区域分割的图像的变迁，且相当于图4的处理序列中的基于S415～S418的处理的图像处理。

图像901示出除去了溅射区域的红颜色分量图像的例子，且相当于S415中生成的图像。图像902是对图像901应用了伽马校正以及过滤处理的图像，且相当于S417的处理后的图像。图像903是对图像902应用了区域分割的图像，且相当于S418的处理后的图像。

需要说明的是，更优选为如图4的S402、S405、S408的流程所示那样，以颜色处理、背景减法处理(与平滑相关的处理)、二值化处理的顺序进行处理。由此，能够恰当地检测图像所包含的焊接行为的区域。

以上，在本实施方式中能够基于图像而算出与在进行焊接时产生的多个焊接行为对应的指标值。尤其是，在以往检测困难的存在浓淡的烟气、溅射也能够一并检测。由此，能够基于由图像传感器拍摄到的拍摄图像，来计测焊接现象的多个行为。尤其是，在以往的方法中，难以同时计测溅射与烟气，但通过本实施方式的方法，能够进行包括它们的多个行为的计测。

<其他实施方式>

在上述的结构中，也可以是还能够设定计测时间的结构。例如，也可以是在规定时间的长度的动态图像数据中能够指定其中的成为测定对象的时间段那样的结构。并且，也可以在此时间段，对烟气、溅射、电弧光的像素、亮度值进行计数，并算出各指标值。由此，例如，能够基于规定的时间段中的焊接条件，来确认焊接行为。

另外，在上述的结构中，也可以是基于计测结果、即与各焊接行为对应的指标值来控制焊接机器人10、视觉传感器40的动作那样的结构。例如，也可以切换视觉传感器40的拍摄设定，也可以控制焊接机器人10的各种焊接参数。由此，例如，能够根据焊接行为的产生状况，更恰当地使焊接机器人10动作。

另外，在本申请发明中，也能够通过如下处理来实现用于实现上述的一个以上的实施方式的功能的程序、应用程序：使用网络或存储介质等向系统或装置供给，且该系统或装置的计算机中的一个以上的处理器将程序读出并执行。

另外，也可以通过实现一个以上的功能的电路来实现。需要说明的是，作为实现一个以上的功能的电路，例如可以举出ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)。

如以上那样，在本说明书中公开了如下事项。

(1)一种焊接现象的行为的计测方法，其特征在于，

所述焊接现象的行为的计测方法包括：

图像处理工序，对由视觉传感器拍摄到的焊接图像进行与着眼的焊接现象的行为相应的图像处理；

图像分割工序，使用所述图像处理工序中生成的处理图像，生成针对每个与所述焊接现象对应的构成要素的多个分割图像；以及

导出工序，使用所述多个分割图像中的至少两个分割图像，导出所述焊接现象的行为。

根据该结构，能够基于由图像传感器拍摄到的拍摄图像，来计测焊接现象的多个行为。

(2)根据(1)所述的焊接现象的行为的计测方法，其特征在于，

与所述焊接现象对应的构成要素包括溅射、烟气、电弧光、熔池、背景、障碍物中的至少两个。

根据该结构，作为与焊接现象对应的构成要素，能够检测溅射、烟气、电弧光、熔池、背景、障碍物中的至少两个。

(3)根据(1)或(2)所述的焊接现象的行为的计测方法，其特征在于，

所述图像分割工序包括：

标记工序，对所述处理图像所包含的像素进行标记处理；以及

分类工序，将由所述标记工序中被标记了的像素组构成的一个或多个区域分别分类为与所述焊接现象对应的构成要素，

所述分类工序包括将所述一个或多个区域分别基于像素数而分类为与所述焊接现象对应的构成要素的工序、将所述一个或多个区域分别基于位置以及尺寸而分类为与所述焊接现象对应的构成要素的工序、以及将所述一个或多个区域分别基于构成着眼区域的像素组相对于包含该着眼区域的矩形区域所占的比例而分类为与所述焊接现象对应的构成要素的工序中的、至少一个工序。

根据该结构，能够将图像内所包含的与焊接现象对应的各区域恰当地分类。

(4)根据(1)～(3)中任一项记载的焊接现象的行为的计测方法，其特征在于，

在所述图像分割工序中，在与所述焊接现象对应的构成要素中至少生成由溅射的区域构成的分割图像以及由烟气的区域构成的分割图像。

根据该结构，能够将作为焊接行为的一种的溅射与烟气各自分开而检测。

(5)根据(1)～(4)中任一项记载的焊接现象的行为的计测方法，其特征在于，

在所述导出工序中，作为所述焊接现象的行为，导出溅射以及烟气中的至少任一个的指标值。

根据该结构，能够以溅射与烟气为对象而计测其行为。

(6)根据(5)所述的焊接现象的行为的计测方法，其特征在于，

在所述导出工序中，在导出烟气的指标值的情况下，

对除去了溅射的区域的分割图像检测边缘，

基于检测出的边缘，分割为多个区域，

基于所述多个区域的面积，算出所述烟气的指标值。

根据该结构，作为焊接现象能够恰当地计测烟气。

(7)根据(5)所述的焊接现象的行为的计测方法，其特征在于，

所述焊接现象的行为的计测方法还包括设定成为计测对象的期间的设定工序，

使用所述设定工序中设定的期间所包含的焊接图像，进行基于所述图像处理工序、所述图像分割工序以及所述导出工序的处理。

根据该结构，能够计测期望的时间范围内的焊接行为。

(8)根据(1)～(7)中任一项记载的焊接现象的行为的计测方法，其特征在于，

所述图像处理工序包括将所述焊接图像分解为针对每个颜色分量的图像的处理、二值化处理、将平滑地变动的像素值取得或除外的处理中的至少一个处理。

根据该结构，作为计测焊接行为时的图像处理，能够应用颜色分解处理、二值化处理、特定的像素值的除外处理中的任一个。

(9)根据(8)所述的焊接现象的行为的计测方法，其特征在于，

在分解为针对每个所述颜色分量的图像的处理中，从所述焊接图像生成针对每个RGB的颜色分量的颜色分量图像。

根据该结构，为了计测着眼的焊接行为，能够生成并利用RGB各自的颜色分量图像。

(10)根据(9)所述的焊接现象的行为的计测方法，其特征在于，

使用R的颜色分量图像，导出电弧光、溅射、浓烟气中的至少任一个的指标值。

根据该结构，通过使用R的颜色分量图像，能够计测电弧光、溅射、浓烟气中的任一个。

(11)根据(9)或(10)所述的焊接现象的行为的计测方法，其特征在于，

使用B的颜色分量图像，导出薄烟气的指标值。

根据该结构，通过使用B的颜色分量图像，能够计测薄烟气。

(12)一种焊接系统，其特征在于，

所述焊接系统具有：

焊接装置；

视觉传感器，其拍摄由所述焊接装置进行的焊接动作；以及

计测装置，其使用由所述视觉传感器拍摄到的焊接图像，计测焊接现象的行为，

所述焊接系统的特征在于，

所述计测装置具有：

图像处理机构，其对所述焊接图像进行与着眼的焊接现象的行为相应的图像处理；

图像分割机构，其使用由所述图像处理机构生成的处理图像，生成针对每个与所述焊接现象对应的构成要素的多个分割图像；以及

导出机构，其使用所述多个分割图像中的至少两个分割图像，导出所述焊接现象的行为。

根据该结构，能够基于由图像传感器拍摄到的拍摄图像，来计测在焊接系统中产生的焊接现象的多个行为。

(13)一种焊接现象的行为的计测装置，其特征在于，

所述焊接现象的行为的计测装置具有：

图像处理机构，其对由视觉传感器拍摄到的焊接图像进行与着眼的焊接现象的行为相应的图像处理；

图像分割机构，其使用由所述图像处理机构生成的处理图像，生成针对每个与所述焊接现象对应的构成要素的多个分割图像；以及

导出机构，其使用所述多个分割图像中的至少两个分割图像，导出所述焊接现象的行为。

根据该结构，能够基于由图像传感器拍摄到的拍摄图像，来计测焊接现象的多个行为。

(14)一种焊接方法，其特征在于，

所述焊接方法基于由权利要求13所述的计测装置导出的焊接现象的行为而控制焊接动作。

根据该结构，能够基于计测出的焊接现象的多个行为，来控制焊接动作。

(15)一种熔敷现象的行为的计测方法，其特征在于，

所述熔敷现象的行为的计测方法包括：

图像处理工序，对由视觉传感器拍摄到的熔敷图像进行与着眼的熔敷现象的行为相应的图像处理；

图像分割工序，使用所述图像处理工序中生成的处理图像，生成针对每个与所述熔敷现象对应的构成要素的多个分割图像；以及

导出工序，使用所述多个分割图像中的至少两个分割图像，导出所述熔敷现象的行为。

根据该结构，能够基于由图像传感器拍摄到的拍摄图像，来计测增材制造中的熔敷现象的多个行为。

(16)一种程序，其中，

所述用于使计算机执行：

图像处理工序，对由视觉传感器拍摄到的焊接图像进行与着眼的焊接现象的行为相应的图像处理；

图像分割工序，使用所述图像处理工序中生成的处理图像，生成针对每个与所述焊接现象对应的构成要素的多个分割图像；以及

导出工序，使用所述多个分割图像中的至少两个分割图像，导出所述焊接现象的行为。

根据该结构，能够基于由图像传感器拍摄到的拍摄图像，来计测焊接现象的多个行为。

以上，参照附图对各种实施方式进行了说明，但本发明当然不限定于该例。只要是本领域技术人员，则能够在专利技术方案所记载的范畴内想到各种变更例或修正例，这是不言而喻的，关于这些当然也理解为属于本发明的技术范围。另外，也可以在不脱离发明的主旨的范围内，将上述实施方式中的各构成要素任意地组合。

需要说明的是，本申请基于2021年7月19日申请的日本专利申请(特愿2021-118757)，其内容在本申请之中作为参照而被引用。

附图标记说明

1焊接系统

10焊接机器人

11焊炬

12焊丝进给装置

13焊丝

20机器人控制装置

30电源装置

40视觉传感器

41电流传感器

42电压传感器

50数据处理装置

201CPU(Central Processing Unit)

202存储器

202A控制程序

203操作面板

204示教器

205机器人连接部

206通信部

501存储部

502图像处理部

503图像分割部

504算出部

505显示部

506视觉传感器控制部。

Claims (16)

1.一种焊接现象的行为的计测方法，其特征在于，

所述焊接现象的行为的计测方法包括：

图像处理工序，对由视觉传感器拍摄到的焊接图像进行与着眼的焊接现象的行为相应的图像处理；

图像分割工序，使用所述图像处理工序中生成的处理图像，生成针对每个与所述焊接现象对应的构成要素的多个分割图像；以及

导出工序，使用所述多个分割图像中的至少两个分割图像，导出所述焊接现象的行为。

2.根据权利要求1所述的焊接现象的行为的计测方法，其特征在于，

与所述焊接现象对应的构成要素包括溅射、烟气、电弧光、熔池、背景、障碍物中的至少两个。

3.根据权利要求1或2所述的焊接现象的行为的计测方法，其特征在于，

所述图像分割工序包括：

标记工序，对所述处理图像所包含的像素进行标记处理；以及

分类工序，将由所述标记工序中被标记了的像素组构成的一个或多个区域分别分类为与所述焊接现象对应的构成要素，

所述分类工序包括将所述一个或多个区域分别基于像素数而分类为与所述焊接现象对应的构成要素的工序、将所述一个或多个区域分别基于位置以及尺寸而分类为与所述焊接现象对应的构成要素的工序、以及将所述一个或多个区域分别基于构成着眼区域的像素组相对于包含该着眼区域的矩形区域所占的比例而分类为与所述焊接现象对应的构成要素的工序中的、至少一个工序。

4.根据权利要求1或2所述的焊接现象的行为的计测方法，其特征在于，

在所述图像分割工序中，在与所述焊接现象对应的构成要素中至少生成由溅射的区域构成的分割图像以及由烟气的区域构成的分割图像。

5.根据权利要求1或2所述的焊接现象的行为的计测方法，其特征在于，

在所述导出工序中，作为所述焊接现象的行为，导出溅射以及烟气中的至少任一个的指标值。

6.根据权利要求5所述的焊接现象的行为的计测方法，其特征在于，

在所述导出工序中，在导出烟气的指标值的情况下，

对除去了溅射的区域的分割图像检测边缘，

基于检测出的边缘，分割为多个区域，

基于所述多个区域的面积，算出所述烟气的指标值。

7.根据权利要求5所述的焊接现象的行为的计测方法，其特征在于，

所述焊接现象的行为的计测方法还包括设定成为计测对象的期uj的设定工序，

使用所述设定工序中设定的期间所包含的焊接图像，进行基于所述图像处理工序、所述图像分割工序以及所述导出工序的处理。

8.根据权利要求1或2所述的焊接现象的行为的计测方法，其特征在于，

所述图像处理工序包括将所述焊接图像分解为针对每个颜色分量的图像的处理、二值化处理、将平滑地变动的像素值取得或除外的处理中的至少一个处理。

9.根据权利要求8所述的焊接现象的行为的计测方法，其特征在于，

在所述分解为针对每个颜色分量的图像的处理中，从所述焊接图像生成针对每个RGB的颜色分量的颜色分量图像。

10.根据权利要求9所述的焊接现象的行为的计测方法，其特征在于，

使用R的颜色分量图像，导出电弧光、溅射、浓烟气中的至少任一个的指标值。

11.根据权利要求9或10所述的焊接现象的行为的计测方法，其特征在于，

使用B的颜色分量图像，导出薄烟气的指标值。

12.一种焊接系统，其具有：

焊接装置；

视觉传感器，其拍摄由所述焊接装置进行的焊接动作；以及

计测装置，其使用由所述视觉传感器拍摄到的焊接图像，计测焊接现象的行为，

所述焊接系统的特征在于，

所述计测装置具有：

图像处理机构，其对所述焊接图像进行与着眼的焊接现象的行为相应的图像处理；

图像分割机构，其使用由所述图像处理机构生成的处理图像，生成针对每个与所述焊接现象对应的构成要素的多个分割图像；以及

导出机构，其使用所述多个分割图像中的至少两个分割图像，导出所述焊接现象的行为。

13.一种焊接现象的行为的计测装置，其特征在于，

所述焊接现象的行为的计测装置具有：

图像处理机构，其对由视觉传感器拍摄到的焊接图像进行与着眼的焊接现象的行为相应的图像处理；

图像分割机构，其使用由所述图像处理机构生成的处理图像，生成针对每个与所述焊接现象对应的构成要素的多个分割图像；以及

导出机构，其使用所述多个分割图像中的至少两个分割图像，导出所述焊接现象的行为。

14.一种焊接方法，其特征在于，

所述焊接方法基于由权利要求13所述的计测装置导出的焊接现象的行为而控制焊接动作。

15.一种熔敷现象的行为的计测方法，其特征在于，

所述熔敷现象的行为的计测方法包括：

图像处理工序，对由视觉传感器拍摄到的熔敷图像进行与着眼的熔敷现象的行为相应的图像处理；

图像分割工序，使用所述图像处理工序中生成的处理图像，生成针对每个与所述熔敷现象对应的构成要素的多个分割图像；以及

导出工序，使用所述多个分割图像中的至少两个分割图像，导出所述熔敷现象的行为。

16.一种程序，其中，

所述程序用于使计算机执行：

图像处理工序，对由视觉传感器拍摄到的焊接图像进行与着眼的焊接现象的行为相应的图像处理；

图像分割工序，使用所述图像处理工序中生成的处理图像，生成针对每个与所述焊接现象对应的构成要素的多个分割图像；以及

导出工序，使用所述多个分割图像中的至少两个分割图像，导出所述焊接现象的行为。