CN115151367B - 自动焊接系统、自动焊接方法、学习装置、神经网络系统以及推定装置 - Google Patents
自动焊接系统、自动焊接方法、学习装置、神经网络系统以及推定装置 Download PDFInfo
- Publication number
- CN115151367B CN115151367B CN202180014807.9A CN202180014807A CN115151367B CN 115151367 B CN115151367 B CN 115151367B CN 202180014807 A CN202180014807 A CN 202180014807A CN 115151367 B CN115151367 B CN 115151367B
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- probability
- learning
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003466 welding Methods 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims description 33
- 238000013528 artificial neural network Methods 0.000 title claims description 9
- 238000012937 correction Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 29
- 238000013459 approach Methods 0.000 claims description 23
- 238000011176 pooling Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 21
- 238000010801 machine learning Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000011261 inert gas Substances 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 239000007789 gas Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000007665 sagging Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
- 238000009941 weaving Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
- B23K31/006—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to using of neural networks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
- B23K9/127—Means for tracking lines during arc welding or cutting
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/095—Monitoring or automatic control of welding parameters
- B23K9/0953—Monitoring or automatic control of welding parameters using computing means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/095—Monitoring or automatic control of welding parameters
- B23K9/0956—Monitoring or automatic control of welding parameters using sensing means, e.g. optical
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/10—Other electric circuits therefor; Protective circuits; Remote controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/10—Other electric circuits therefor; Protective circuits; Remote controls
- B23K9/1087—Arc welding using remote control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K9/00—Arc welding or cutting
- B23K9/12—Automatic feeding or moving of electrodes or work for spot or seam welding or cutting
- B23K9/127—Means for tracking lines during arc welding or cutting
- B23K9/1272—Geometry oriented, e.g. beam optical trading
- B23K9/1274—Using non-contact, optical means, e.g. laser means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Plasma & Fusion (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Optics & Photonics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
- Arc Welding Control (AREA)
- Feedback Control In General (AREA)
- Numerical Control (AREA)
- Image Processing (AREA)
Abstract
自动焊接系统具备：相机，其对由电弧焊接产生于坡口的电弧以及熔池进行拍摄；推定部，其使用已学习模型，输出基于相机图像的概率分布图像；提取机构，其从概率分布图像提取概率为规定以上的区域；选定机构，其在概率为规定以上的区域中选定与电弧的特征点对应的代表点以及与熔池的特征点对应的代表点；以及修正机构，其基于与电弧的特征点对应的代表点以及与熔池的特征点对应的代表点的位置关系，修正焊接机器人的控制参数。
Description
技术领域
本发明涉及自动焊接系统、自动焊接方法、学习装置、已学习模型的生成方法、已学习模型、推定装置、推定方法以及程序。
背景技术
在专利文献1中公开了：使焊丝的前端一边在坡口的上端部与下端部之间摆动(weaving)一边沿着坡口移动，在使焊丝的前端从坡口的下端部向上端部摆动的过程中使焊炬的行驶停止，在坡口的上端部使焊丝的前端的摆动停止，并且一边使焊炬行驶一边降低对焊丝的电力量，在使焊丝的前端从坡口的上端部向下端部摆动的过程中使焊炬的行驶速度、焊丝的前端的摆动速度以及对焊丝的电力量上升。
现有技术文献
专利文献
专利文献1：日本国特开2017-6968号公报
发明内容
发明要解决的课题
然而，为了利用对由电弧焊接产生的电弧以及熔池进行拍摄而得到的图像控制焊接机器人，优选提高电弧的中心等特征点以及熔池的前端等特征点的识别精度。
本发明是鉴于上述课题而完成的，其主要的目的在于提供能够提高图像中的特征点的识别精度的自动焊接系统、自动焊接方法、学习装置、已学习模型的生成方法、已学习模型、推定装置、推定方法以及程序。
用于解决课题的方案
为了解决上述课题，本发明的一方案的自动焊接系统具备：焊接机器人，其在形成于两个被焊接构件之间的坡口进行电弧焊接；相机，其对由所述电弧焊接产生于所述坡口的电弧以及熔池进行拍摄；推定部，其使用已学习模型，输出基于所述相机图像的概率分布图像，所述已学习模型是将学习用图像设为输入数据，将表示包括所述学习用图像中的特征点、且具有随着接近特征点而概率变高的概率分布的区域的区域数据设为示教数据，以在输入了包括特征点的图像时输出表示各像素的特征点的概率、且包括随着接近与特征点对应的位置而概率变高的特征区域的概率分布图像的方式通过有示教的学习而预先生成的；提取机构，其从所述概率分布图像提取概率为规定以上的区域；选定机构，其在所述概率为规定以上的区域中选定与所述电弧的特征点对应的代表点以及与所述熔池的特征点对应的代表点；以及修正机构，其基于与所述电弧的特征点对应的代表点以及与所述熔池的特征点对应的代表点的位置关系，修正所述焊接机器人的控制参数。
另外，本发明的其他方案的自动焊接方法利用焊接机器人在形成于两个被焊接构件之间的坡口进行电弧焊接，利用相机对由所述电弧焊接产生于所述坡口的电弧以及熔池进行拍摄，使用已学习模型，输出基于所述相机图像的概率分布图像，所述已学习模型是将学习用图像设为输入数据，将表示包括所述学习用图像中的特征点、且具有随着接近特征点而概率变高的概率分布的区域的区域数据设为示教数据，以在输入了包括特征点的图像时输出表示各像素的特征点的概率、且包括随着接近与特征点对应的位置而概率变高的特征区域的概率分布图像的方式通过有示教的学习而预先生成的，从所述概率分布图像提取概率为规定以上的区域，在所述概率为规定以上的区域中选定与所述电弧的特征点对应的代表点以及与所述熔池的特征点对应的代表点，基于与所述电弧的特征点对应的代表点以及与所述熔池的特征点对应的代表点的位置关系，修正所述焊接机器人的控制参数。
另外，本发明的其他方案的学习装置具备：取得部，其取得包括学习用图像以及区域数据的数据集，所述区域数据表示包括所述学习用图像中的特征点、且具有随着接近特征点而概率变高的概率分布的区域；以及学习部，其将所述学习用图像设为输入数据，将所述区域数据设为示教数据，以在输入了包括特征点的图像时输出表示各像素的特征点的概率、且包括随着接近与特征点对应的位置而概率变高的特征区域的概率分布图像的方式通过有示教的学习而生成已学习模型。
另外，本发明的其他方案的已学习模型的生成方法取得包括学习用图像以及区域数据的数据集，所述区域数据表示包括所述学习用图像中的特征点、且具有随着接近特征点而概率变高的概率分布的区域，将所述学习用图像设为输入数据，将所述区域数据设为示教数据，以在输入了包括特征点的图像时输出表示各像素的特征点的概率、且包括随着接近与特征点对应的位置而概率变高的特征区域的概率分布图像的方式通过有示教的学习而生成已学习模型。
另外，本发明的其他方案的程序用于使计算机作为取得部以及学习部发挥功能，其中，所述取得部取得包括学习用图像以及区域数据的数据集，所述区域数据表示包括所述学习用图像中的特征点、且具有随着接近特征点而概率变高的概率分布的区域，所述学习部将所述学习用图像设为输入数据，将所述区域数据设为示教数据，以在输入了包括特征点的图像时输出表示各像素的特征点的概率、且包括随着接近与特征点对应的位置而概率变高的特征区域的概率分布图像的方式通过有示教的学习而生成已学习模型。
另外，本发明的其他方案的已学习模型用于使计算机以基于包括特征点的输入图像，输出表示各像素的特征点的概率、且包括随着接近与特征点对应的位置而概率变高的特征区域的概率分布图像的方式发挥功能，其中，所述已学习模型具备：第一卷积网络，其包括卷积层；第一逆卷积网络，其包括卷积层；第二卷积网络，其包括池化层以及卷积层；以及第二逆卷积网络，其包括卷积层以及上采样层，所述已学习模型构成为：所述第一卷积网络对输入图像进行卷积处理，并输出所生成的第一特征图像，所述第二卷积网络对所述第一特征图像进行池化处理，进而进行卷积处理，并输出所生成的第二特征图像，所述第二逆卷积网络对所述第二特征图像进行逆卷积处理，进而进行上采样处理，并输出所生成的第三特征图像，所述第一逆卷积网络对将所述第一特征图像与所述第三特征图像合成而得到的合成图像进行逆卷积处理，并输出所生成的输出图像，所述第一卷积网络、所述第一逆卷积网络、所述第二卷积网络以及所述第二逆卷积网络是以将包括所述输入图像所包括的特征点、且具有随着接近所述特征点而概率变高的概率分布的区域与所述输出图像所包括的特征区域的差量减少的方式进行学习而得到的，所述已学习模型用于使计算机以对包括特征点的输入图像进行基于已学习的所述第一卷积网络、所述第一逆卷积网络、所述第二卷积网络以及所述第二逆卷积网络的运算，并输出包括随着接近与特征点对应的位置而概率变高的特征区域的概率分布图像的方式发挥功能。
另外，本发明的其他方案的推定装置具备：取得部，其取得由相机生成的相机图像；以及推定部，其使用已学习模型，输出基于所述相机图像的概率分布图像，所述已学习模型是将学习用图像设为输入数据，将表示包括所述学习用图像中的特征点、且具有随着接近特征点而概率变高的概率分布的区域的区域数据设为示教数据，以在输入了包括特征点的图像时输出表示各像素的特征点的概率、且包括随着接近与特征点对应的位置而概率变高的特征区域的概率分布图像的方式通过有示教的学习而预先生成的。
另外，本发明的其他方案的推定方法取得由相机生成的相机图像，使用已学习模型，输出基于所述相机图像的概率分布图像，所述已学习模型是将学习用图像设为输入数据，将表示包括所述学习用图像中的特征点、且具有随着接近特征点而概率变高的概率分布的区域的区域数据设为示教数据，以在输入了包括特征点的图像时输出表示各像素的特征点的概率、且包括随着接近与特征点对应的位置而概率变高的特征区域的概率分布图像的方式通过有示教的学习而预先生成的。
另外，本发明的其他方案的程序用于使计算机作为取得部以及推定部而发挥功能，其中，所述取得部取得由相机生成的相机图像，所述推定部使用已学习模型，输出基于所述相机图像的概率分布图像，所述已学习模型是将学习用图像设为输入数据，将表示包括所述学习用图像中的特征点、且具有随着接近特征点而概率变高的概率分布的区域的区域数据设为示教数据，以在输入了包括特征点的图像时输出表示各像素的特征点的概率、且包括随着接近与特征点对应的位置而概率变高的特征区域的概率分布图像的方式通过有示教的学习而预先生成的。
发明效果
根据本发明，能够提高图像中的特征点的识别精度。
附图说明
图1是示出由自动焊接系统进行的焊接例的图。
图2是示出自动焊接系统的结构例的图。
图3是示出电弧以及熔池的图像例的图。
图4是示意性示出电弧以及熔池的具体例的图。
图5是示出用于学习阶段的数据集例的图。
图6是示出特征区域的例子的图。
图7是示出特征区域的例子的图。
图8是示出特征区域的例子的图。
图9是示出学习阶段的步骤例的图。
图10是示出机器学习处理的步骤例的图。
图11是示出已学习模型的结构例的图。
图12是示出推论阶段的步骤例的图。
图13是示出实施方式的识别精度的图。
具体实施方式
以下，参照附图对本发明的实施方式进行说明。
[系统概要]
图1是示出由自动焊接系统100的焊接机器人3进行的焊接例的图。图2是示出自动焊接系统100的结构例的图。
如图1所示那样，焊接机器人3在形成于两个被焊接构件U、L之间的坡口G处，一边使焊炬31行进一边进行电弧焊接。在焊炬31的前端部的附近形成熔池P。
在本实施方式中，被焊接构件U、L沿铅垂方向(上下方向)排列，坡口G沿水平方向(前后方向)延伸。不限定于此，被焊接构件U、L也可以沿水平方向排列。
被焊接构件U、L间的间隔(即，坡口G的宽度)例如为3～10mm程度。在被焊接构件U、L，可以贴附衬垫件，也可以不贴附。坡口G的形状不限于图示的V型形状，也可以是X型形状等。
电弧焊接例如应用TIG(Tungsten Inert Gas)焊接。不限定于此，也可以应用MIG(Metal Inert Gas)焊接或MAG(Metal Active Gas)焊接等。
焊接机器人3一边使焊炬31摆动一边进行电弧焊接。在被焊接构件U、L沿上下方向排列，焊接行进方向为前方向的情况下，为了抑制熔池P的下垂，使焊炬31沿前下-后上方向摆动。
相机2对从焊炬31的前端部产生的电弧以及熔池P进行拍摄而生成图像。另外，相机2也对朝向电弧送出的未图示的焊丝(填充材料)进行拍摄。
相机2相对于焊炬31配置于前方向，并与焊炬31一起向前方向移动。在相机2的透镜，为了抑制电弧光的入射，而装配仅使950nm附近的近红外光透过的带通滤波器。
相机2是生成包括时间序列的多个静止图像(帧)的动图像的摄像机。不限定于此，相机2也可以是通过定期的拍摄来生成时间序列的多个静止图像的静态相机。
如图2所示那样，自动焊接系统100具备焊接支援装置1、相机2、焊接机器人3、数据库5以及学习装置6。这些设备例如能够经由互联网或LAN等通信网络而相互通信。焊接支援装置1是推定装置的例子。
焊接支援装置1具备控制部10。控制部10是包括CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)、非易失性存储器以及输入输出接口等的计算机。控制部10的CPU按照从ROM或非易失性存储器加载到RAM的程序来执行信息处理。
控制部10具备取得部11、推定部12、提取部13、选定部14以及修正部15。这些功能部通过控制部10的CPU按照从ROM或非易失性存储器加载到RAM的程序执行信息处理而实现。
程序例如也可以经由光盘或存储卡等信息存储介质而供给，例如也可以经由互联网或LAN等通信网络而供给。
学习装置6也与焊接支援装置1同样地具备控制部60。控制部60具备设定部61、取得部62以及学习部63。需要说明的是，学习装置6也可以由一个或多个服务器计算机构成。
焊接支援装置1以及学习装置6能够访问数据库5。在数据库5，以能够由焊接支援装置1读出的方式保存有由学习装置6构建的已学习模型200。
图3是示出电弧以及熔池的图像例的图。图4是示意性示出电弧以及熔池的图。如这些图所示那样，在图像中，存在熔池前端上部、熔池前端下部、电弧中心、焊丝前端、熔池上端以及熔池下端这6个特征点。
然而，若焊炬相对于熔池先行或者迟行，则有可能带来焊接的不良，因此将焊炬相对于熔池维持在适当的位置是重要的。
然而，由于焊接形变、安装误差等各种各样的影响，而存在坡口宽度、焊接线从设计值偏移的情况，由于这些因素而有时熔池的积存状况发生变化，因此将焊炬相对于熔池维持在适当的位置并不容易。
于是，在本实施方式中，通过如以下说明的那样基于由相机2拍摄到的相机图像来修正焊接机器人3的控制参数，从而实现将焊炬相对于熔池维持在适当的位置。
[学习阶段]
图5是示出用于学习阶段的数据集例的图。数据集包括输入数据以及示教数据。输入数据是学习用图像。学习用图像例如可以是由相机2拍摄到的图像，也可以是由其他相机拍摄到的图像。
示教数据包括学习用图像中的设定为各特征点的特征区域的区域数据。特征区域是包括特征点、且具有随着接近特征点而概率变高的概率分布的区域。具体而言，区域数据包括特征区域所包括的各像素的坐标以及概率。概率表示特征点的存在概率。
并且，示教数据也可以包括表示在学习用图像中特征点是否可见的可视标志。熔池前端上部、熔池前端下部以及焊丝前端等一部分特征点存在由于焊炬31摆动而不可见的情况。即，一部分特征点存在被焊炬31隐藏的情况。
图6至图8是示出区域数据所表示的特征区域SA的例子的图。在图6中，与表示像素的坐标的xy轴正交的轴表示概率。在图7以及图8中，像素的色浓度表示概率。
特征区域SA是以特征点为中心具有二维扩展的规定的大小的区域，且具有随着接近特征点而概率变高的概率分布。特征区域SA例如具有按照二维正态分布的概率分布。
概率也可以在特征区域SA的整体上归一化为1，也可以针对每个特征区域SA的像素取0～1的值。
如图7所示那样，在特征点为点的情况下，特征区域SA被设为正方形的区域(例如7×7像素)。另外，如图8所示那样，在特征点为线的情况下，特征区域SA被设为长方形的区域(例如7×35像素)。不限定于此，特征区域SA例如也可以是大致圆形形状等。
例如图3以及图4所示这6个特征点中的熔池前端上部、熔池前端下部、电弧中心以及焊丝前端为“点”的特征点，并设定正方形的特征区域SA。另一方面，熔池上端以及熔池下端为“线”的特征点，并设定长方形的特征区域SA。
需要说明的是，各特征点的位置例如由观察学习用图像的技能者等人来判断，并使用定点设备等向学习装置6输入。学习装置6也可以以所输入的特征点的位置为基准来设定特征区域SA，并作为示教数据保存(作为设定部61的处理)。
图9是示出在学习装置6中实现的、作为已学习模型的生成方法的学习阶段的步骤例的图。学习装置6的控制部60通过按照程序执行该图所示的处理，从而作为取得部62以及学习部63发挥功能。
首先，控制部60取得包括学习用图像、学习用图像中的设定为各特征点的特征区域的区域数据以及各特征点的可视标志的数据集(S11；作为取得部62的处理，参照图5)。
接着，控制部60使用一部分数据集作为训练数据来进行机器学习(S12；作为学习部63的处理)。关于机器学习处理S12的具体的步骤例，见后述。
之后，控制部60使用与训练数据不同的一部分数据集作为测试数据来评价已学习模型200(S13)，并将已学习模型200保存于数据库5(S14)。
图10是示出机器学习处理S12的具体的步骤例的图。图11是示出由机器学习处理S12生成的已学习模型200的结构例的图。
学习装置6的控制部60将学习用图像作为输入数据，将学习图像中的设定为各特征点的特征区域的区域数据以及各特征点的可视标志作为示教数据，以输出概率分布图像的方式通过有示教的学习生成已学习模型200。
概率分布图像是表示各像素中的特征点的概率的图像(映射)。概率分布图像所包括的特征区域与设定于上述学习用图像的特征区域同样地，具有随着接近与特征点对应的位置而概率变高的概率分布。
概率分布图像包括与多个特征点分别对应的特征区域。具体而言，概率分布图像包括与熔池前端上部、熔池前端下部、电弧中心、焊丝前端、熔池上端以及熔池下端分别对应的6个特征区域。
在可视标志表示特征点的不可视的情况下，概率分布图像不包括与该特征点对应的特征区域。即，在全部像素的范围内特征点的概率成为0。例如，在熔池前端上部为不可视的情况下，概率分布图像不包括与熔池前端上部对应的特征区域。
如图10所示那样，在机器学习处理S12中，控制部60将学习用图像输入模型，进行基于模型的计算，并输出概率分布图像(S121～S123)。
接着，控制部60算出从模型输出的概率分布图像所包括的特征区域与作为示教数据的区域数据所表示的特征区域的差量(S124)，以使差量减少的方式进行误差反向传播计算(S125)。
如图11所示那样，已学习模型200具备第一卷积网络71、第二卷积网络72、第三卷积网络73、第一逆卷积网络81以及第二逆卷积网络82。
该已学习模型200应用了基于完全卷积网络的语义分割的技术。
第一卷积网络71包括卷积层，对输入图像进行卷积处理，将所生成的特征图像(特征映射)向第一逆卷积网络81以及第二卷积网络72输出。
第二卷积网络72包括池化层以及卷积层，对来自第一卷积网络71的特征图像进行池化处理，进而进行卷积处理，将所生成的特征图像向第二逆卷积网络82以及第三卷积网络73输出。
第三卷积网络73包括池化层、卷积层以及上采样层，对来自第二卷积网络72的特征图像进行池化处理，进而进行卷积处理，进而进行上采样处理，将所生成的特征图像向第二逆卷积网络82输出。
第二逆卷积网络82包括卷积层以及上采样层，对将来自第二卷积网络72的特征图像与来自第三卷积网络73的特征图像合成而得到的合成图像进行逆卷积处理，进而进行上采样处理，将所生成的特征图像向第一逆卷积网络81输出。
第一逆卷积网络81包括卷积层以及输出层，对将来自第一卷积网络71的特征图像与来自第二逆卷积网络82的特征图像合成而得到的合成图像进行逆卷积处理，输出所生成的概率分布图像。
具体而言，生成每个特征点的种类(每个标签)的概率分布图像，并将它们合成从而生成一个概率分布图像。例如，针对熔池前端上部、熔池前端下部、电弧中心、焊丝前端、熔池上端以及熔池下端这6个特征点生成概率分布图像，并将它们合成，从而得到包括与6个特征点对应的6个特征区域的概率分布图像。
第一卷积网络71、第二卷积网络72、第三卷积网络73、第一逆卷积网络81以及第二逆卷积网络82以将设定于学习用图像(输入图像)的特征区域与概率分布图像(输出图像)所包括的特征区域的差量减少的方式通过误差反向传播计算而学习。
焊接支援装置1的控制部通过对包括特征点的图像，进行基于如上述那样学习而得到的已学习模型200(第一卷积网络71、第二卷积网络72、第三卷积网络73、第一逆卷积网络81以及第二逆卷积网络82)的运算，从而输出包括与特征点对应的特征区域的概率分布图像。
在本实施方式的已学习模型200中，设置多级卷积网络71～73以及逆卷积网络81、82，对合成图像进行逆卷积处理，从而能够输出包括随着接近与特征点对应的位置而概率变高的特征区域的概率分布图像。
需要说明的是，已学习模型200的结构并不限于图示的内容。例如，各网络所包括的卷积层的层数并不限于2层，也可以是1层，也可以是3层以上。另外，网络的级数并不限于3级，也可以是2级，也可以是4级以上。
[推论阶段]
图12是示出在焊接支援装置(推定装置)1中实现的、作为实施方式的自动焊接方法的推论阶段的步骤例的图。焊接支援装置1的控制部10通过按照程序执行该图所示的处理，从而作为取得部11、推定部12、提取部13、选定部14以及修正部15发挥功能。
首先，控制部10从相机2取得相机图像(S21；作为取得部11的处理)。具体而言，控制部10依次取得由相机2生成的动图像所包括的时间序列的多个静止图像(帧)来作为相机图像。
接着，控制部10向在学习阶段生成的已学习模型200输入相机图像，并进行计算，而输出基于相机图像的概率分布图像(S22～S24；作为推定部12的处理)。具体而言，控制部10将时间序列的多个相机图像依次输入已学习模型200，并依次输出概率分布图像。
接着，控制部10从概率分布图像提取概率为规定以上的区域(S25；作为提取部13的处理)，并在概率为规定以上的区域中选定代表点(S26；作为选定部14的处理)。
具体而言，控制部10对概率分布图像的各像素判定所保存的概率的值是否为阈值以上，并提取概率的值为阈值以上的像素集合的区域。在此使用的阈值被预先设定，并保持于ROM等存储装置。进而，控制部10在提取出的区域中将概率的值为最大的像素选定为代表点。
或者，控制部10将利用概率的值对提取出的区域所包括的各像素的坐标进行加权平均后的坐标(下述式)设为代表点的坐标。
[数学式1]
X表示加权平均后的坐标，N表示概率的值为阈值以上的像素的总数，x表示像素的坐标，p表示概率的值。
这样，通过从概率分布图像提取概率为规定以上的区域，并选定代表点，从而确定与相机图像所包括的特征点对应的代表点。即，确定与熔池前端上部、熔池前端下部、电弧中心、焊丝前端、熔池上端以及熔池下端分别对应的代表点。
接着，控制部10算出代表点间的距离(S27)。例如，算出与熔池前端上部或下部对应的代表点和与电弧中心对应的代表点的距离、与熔池上端或下端对应的代表点和与电弧中心对应的代表点的距离以及与熔池上端对应的代表点和与熔池下端对应的代表点的距离等。
接着，控制部10基于代表点的位置关系，修正焊接机器人3(参照图2)的控制参数(S28；作为修正部15的处理)。具体而言，当控制部10算出控制参数的修正量，并向焊接机器人3发送时，焊接机器人3的控制器使用接收到的修正量来修正控制参数。
成为修正的对象的控制参数例如是焊接行进方向(图1的前后方向)上的焊炬31的速度或者位置、坡口宽度方向(图1的上下方向)上的焊炬31的位置、或摆动宽度等。不限定于此，也可以将焊接机器人3的致动器的指令值等直接作为修正的对象。
例如，控制部10在与熔池前端上部或下部对应的代表点和与电弧中心对应的代表点的距离偏离了规定的基准值的情况下，以使该距离接近基准值的方式算出焊接行进方向上的焊炬31的速度或者位置的修正量。
另外，控制部10在与熔池上端或下端对应的代表点和与电弧中心对应的代表点的距离偏离了规定的基准值的情况下，以使该距离接近基准值的方式算出坡口宽度方向上的焊炬31的位置的修正量。
需要说明的是，在由于焊炬31的摆动而距离周期性地变化的情况下，在周期性地变化的距离为极小或极大附近等时计算修正量。
另外，控制部10也可以以根据与熔池上端对应的代表点和与熔池下端对应的代表点的距离(即，熔池的宽度)的增减，使焊炬31的摆动宽度增减的方式算出摆动宽度的修正量。
通过如以上那样修正焊接机器人3的控制参数，从而将焊炬31相对于熔池P维持在适当的位置，能够实现高品质的自动焊接。
根据本实施方式，通过使用已学习模型输出概率分布图像，从概率分布图像提取概率为规定以上的区域，并选定代表点，从而能够提高特征点的识别精度。
图13是示出本实施方式的特征点的识别精度的图。该图表示针对相对于学习用图像改变角度拍摄到的相机图像(学习用数据集中不包括的未知的图像)评价特征点的识别性能而得到的结果。
纵轴表示识别误差。横轴中的X表示前后方向，Y表示上下方向。参考技术是使用直接输出特征点的坐标的已学习模型来识别图像中的特征点的技术。
根据该图可知，在本实施方式中，电弧中心、焊丝前端以及熔池前端上部的识别误差(尤其是，前后方向上的识别误差)与参考技术相比减小。
即，在参考技术中，针对相对于学习用图像改变角度拍摄到的相机图像，识别精度不充分，但根据本实施方式，针对那样的相机图像也能够确保识别精度。
以上，对本发明的实施方式进行了说明，但本发明并不限定于以上说明了的实施方式，对本领域技术人员而言当然能够进行各种变更。
本发明并不限于焊接的领域，而能够应用于利用对图像中的特征点进行识别的工序的各种领域。
以上，参照附图对各种实施方式进行了说明，但本发明当然并不限定于该例。只要是本领域技术人员，则显然能够在技术方案的范围所记载的范畴内想到各种变更例或修正例，关于这些当然也理解为属于本发明的技术范围。另外，也可以在不脱离发明的主旨的范围内，将上述实施方式中的各构成要素任意地组合。
需要说明的是，本申请基于2020年2月17日申请的日本专利申请(特愿2020-024214)，其内容在本申请中作为参照而被引用。
附图标记说明
1焊接支援装置(推定装置)，10控制部，11取得部，12推定部，13提取部，14选定部，15修正部，2相机，3焊接机器人，31焊炬，5数据库，6学习装置，60控制部，61设定部，62取得部，63学习部，71第一卷积网络，72第二卷积网络，73第三卷积网络，81第一逆卷积网络，82第二逆卷积网络，100自动焊接系统，200已学习模型，U被焊接构件，L被焊接构件，G坡口，P熔池。
Claims (8)
1.一种自动焊接系统，其中，
所述自动焊接系统具备：
焊接机器人，其在形成于两个被焊接构件之间的坡口进行电弧焊接；
相机，其对由所述电弧焊接产生于所述坡口的电弧以及熔池进行拍摄；
推定部，其使用已学习模型，输出基于所述相机图像的概率分布图像，所述已学习模型是将学习用图像设为输入数据，将表示包括所述学习用图像中的特征点、且具有随着接近特征点而存在概率变高的概率分布的区域的区域数据设为示教数据，以在输入了包括特征点的图像时输出表示各像素的特征点的存在概率、且包括随着接近与特征点对应的位置而存在概率变高的特征区域的概率分布图像的方式通过有示教的学习而预先生成的；
提取机构，其从所述概率分布图像提取存在概率为规定以上的区域；
选定机构，其在所述存在概率为规定以上的区域中选定与所述电弧的特征点对应的代表点以及与所述熔池的特征点对应的代表点；以及
修正机构，其基于与所述电弧的特征点对应的代表点以及与所述熔池的特征点对应的代表点的位置关系，修正所述焊接机器人的控制参数。
2.一种自动焊接方法，其中，
利用焊接机器人在形成于两个被焊接构件之间的坡口进行电弧焊接，
利用相机对由所述电弧焊接产生于所述坡口的电弧以及熔池进行拍摄，
使用已学习模型，输出基于所述相机图像的概率分布图像，所述已学习模型是将学习用图像设为输入数据，将表示包括所述学习用图像中的特征点、且具有随着接近特征点而存在概率变高的概率分布的区域的区域数据设为示教数据，以在输入了包括特征点的图像时输出表示各像素的特征点的存在概率、且包括随着接近与特征点对应的位置而存在概率变高的特征区域的概率分布图像的方式通过有示教的学习而预先生成的，
从所述概率分布图像提取存在概率为规定以上的区域，
在所述存在概率为规定以上的区域中选定与所述电弧的特征点对应的代表点以及与所述熔池的特征点对应的代表点，
基于与所述电弧的特征点对应的代表点以及与所述熔池的特征点对应的代表点的位置关系，修正所述焊接机器人的控制参数。
3.一种学习装置，其具备：
取得部，其取得包括学习用图像以及区域数据的数据集，所述区域数据表示包括所述学习用图像中的特征点、且具有随着接近特征点而存在概率变高的概率分布的区域；以及
学习部，其将所述学习用图像设为输入数据，将所述区域数据设为示教数据，以在输入了包括特征点的图像时输出表示各像素的特征点的存在概率、且包括随着接近与特征点对应的位置而存在概率变高的特征区域的概率分布图像的方式通过有示教的学习而生成已学习模型，
其中，
所述学习部还将表示所述特征点是否可见的可视标志设为示教数据，在所述特征点不可见的情况下，以输出不包括与所述特征点对应的所述特征区域的所述概率分布图像的方式生成所述己学习模型。
4.一种学习装置，其具备：
取得部，其取得包括学习用图像以及区域数据的数据集，所述区域数据表示包括所述学习用图像中的特征点、且具有随着接近特征点而存在概率变高的概率分布的区域；以及
学习部，其将所述学习用图像设为输入数据，将所述区域数据设为示教数据，以在输入了包括特征点的图像时输出表示各像素的特征点的存在概率、且包括随着接近与特征点对应的位置而存在概率变高的特征区域的概率分布图像的方式通过有示教的学习而生成已学习模型，
其中，
所述学习用图像是对在形成于两个被焊接构件之间的坡口由电弧焊接产生的电弧以及熔池进行拍摄而得到的图像，
所述特征点是所述电弧的特征点以及所述熔池的特征点。
5.一种神经网络系统，其用于使计算机以基于包括特征点的输入图像，输出表示各像素的特征点的概率、且包括随着接近与特征点对应的位置而概率变高的特征区域的概率分布图像的方式发挥功能，其中，
所述神经网络系统具备：
第一卷积网络，其包括卷积层；
第一逆卷积网络，其包括卷积层；
第二卷积网络，其包括池化层以及卷积层；以及
第二逆卷积网络，其包括卷积层以及上采样层，
所述神经网络系统构成为：
所述第一卷积网络对输入图像进行卷积处理，并输出所生成的第一特征图像，
所述第二卷积网络对所述第一特征图像进行池化处理，进而进行卷积处理，并输出所生成的第二特征图像，
所述第二逆卷积网络对所述第二特征图像进行逆卷积处理，进而进行上采样处理，并输出所生成的第三特征图像，
所述第一逆卷积网络对将所述第一特征图像与所述第三特征图像合成而得到的合成图像进行逆卷积处理，并输出所生成的输出图像，
所述第一卷积网络、所述第一逆卷积网络、所述第二卷积网络以及所述第二逆卷积网络是以将包括所述输入图像所包括的特征点、且具有随着接近所述特征点而概率变高的概率分布的区域与所述输出图像所包括的特征区域的差量减少的方式进行学习而得到的，
所述神经网络系统用于使计算机以对包括特征点的输入图像进行基于已学习的所述第一卷积网络、所述第一逆卷积网络、所述第二卷积网络以及所述第二逆卷积网络的运算，并输出包括随着接近与特征点对应的位置而概率变高的特征区域的概率分布图像的方式发挥功能。
6.根据权利要求5所述的神经网络系统，其中，
所述神经网络系统还具备包括池化层、卷积层以及上采样层的第三卷积网络，
所述神经网络系统构成为：
所述第三卷积网络对来自所述第二卷积网络的所述第二特征图像进行池化处理，进而进行卷积处理，进而进行上采样处理，并输出所生成的第四特征图像，
所述第二逆卷积网络对将所述第二特征图像与所述第四特征图像合成而得到的合成图像进行逆卷积处理，进而进行上采样处理，而生成所述第三特征图像。
7.一种推定装置，其中，
所述推定装置具备：
取得部，其取得由相机生成的相机图像；
推定部，其使用已学习模型，输出基于所述相机图像的概率分布图像，所述己学习模型是将学习用图像设为输入数据，将表示包括所述学习用图像中的特征点、且具有随着接近特征点而存在概率变高的概率分布的区域的区域数据设为示教数据，以在输入了包括特征点的图像时输出表示各像素的特征点的存在概率、且包括随着接近与特征点对应的位置而存在概率变高的特征区域的概率分布图像的方式通过有示教的学习而预先生成的；
提取机构，其从所述概率分布图像提取存在概率为规定以上的区域；以及
选定机构，其选定所述存在概率为规定以上的区域中的代表点。
8.一种推定装置，其具备：
取得部，其取得由相机生成的相机图像；以及
推定部，其使用已学习模型，输出基于所述相机图像的概率分布图像，所述已学习模型是将学习用图像设为输入数据，将表示包括所述学习用图像中的特征点、且具有随着接近特征点而存在概率变高的概率分布的区域的区域数据设为示教数据，以在输入了包括特征点的图像时输出表示各像素的特征点的存在概率、且包括随着接近与特征点对应的位置而存在概率变高的特征区域的概率分布图像的方式通过有示教的学习而预先生成的，
其中，
所述相机图像是利用所述相机对在形成于两个被焊接构件之间的坡口由电弧焊接产生的电弧以及熔池进行拍摄而得到的图像，
所述推定部输出包括与所述电弧的特征点对应的特征区域以及与所述熔池的特征点对应的特征区域的所述概率分布图像。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020-024214 | 2020-02-17 | ||
| JP2020024214A JP7321953B2 (ja) | 2020-02-17 | 2020-02-17 | 自動溶接システム、溶接方法、学習装置、学習済みモデルの生成方法、学習済みモデル、推定装置、推定方法、及びプログラム |
| PCT/JP2021/002346 WO2021166555A1 (ja) | 2020-02-17 | 2021-01-22 | 自動溶接システム、自動溶接方法、学習装置、学習済みモデルの生成方法、学習済みモデル、推定装置、推定方法、及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115151367A CN115151367A (zh) | 2022-10-04 |
| CN115151367B true CN115151367B (zh) | 2024-01-12 |
Family
ID=77390893
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180014807.9A Active CN115151367B (zh) | 2020-02-17 | 2021-01-22 | 自动焊接系统、自动焊接方法、学习装置、神经网络系统以及推定装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20230064432A1 (zh) |
| EP (1) | EP4074449A4 (zh) |
| JP (1) | JP7321953B2 (zh) |
| KR (1) | KR20220121878A (zh) |
| CN (1) | CN115151367B (zh) |
| WO (1) | WO2021166555A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20240022632A (ko) | 2021-08-02 | 2024-02-20 | 히다치 아스테모 가부시키가이샤 | 실린더 장치 및 제어 밸브 장치 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100762365B1 (ko) * | 2006-10-09 | 2007-10-02 | 삼성중공업 주식회사 | 아크센서의 특성이 반영된 확률적 모델을 통한 용접심 추적방법 |
| CN203791808U (zh) * | 2013-11-06 | 2014-08-27 | 广东德科机器人技术与装备有限公司 | 一种基于机器视觉的智能焊接机器人 |
| KR20180122927A (ko) * | 2017-05-04 | 2018-11-14 | 주식회사 매스프레소 | 이미지에 포함된 텍스트 인식장치, 텍스트 인식방법 및 텍스트 인식방법을 실행하기 위한 프로그램을 기록한 기록매체 |
| JP2018192524A (ja) * | 2017-05-12 | 2018-12-06 | 株式会社神戸製鋼所 | 自動溶接システム、溶接制御方法、及び機械学習モデル |
| JP2019057024A (ja) * | 2017-09-20 | 2019-04-11 | 株式会社Ｓｃｒｅｅｎホールディングス | 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置 |
| CN109693018A (zh) * | 2019-01-30 | 2019-04-30 | 湖北文理学院 | 自主移动机器人焊缝视觉跟踪系统及跟踪方法 |
| CN109712128A (zh) * | 2018-12-24 | 2019-05-03 | 上海联影医疗科技有限公司 | 特征点检测方法、装置、计算机设备和存储介质 |
| CN109816109A (zh) * | 2018-12-12 | 2019-05-28 | 中国科学院深圳先进技术研究院 | 任务推理模型学习及任务推理方法、机器人及存储装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9230697B2 (en) | 2012-04-20 | 2016-01-05 | Nuscale Power, Llc | Steam generator for a nuclear reactor |
| JP6500634B2 (ja) | 2015-06-24 | 2019-04-17 | 株式会社Ihi | 溶接装置及び溶接方法 |
| JP7048225B2 (ja) * | 2017-07-28 | 2022-04-05 | 株式会社パスコ | 建物領域抽出用の学習済みモデル |
-
2020
- 2020-02-17 JP JP2020024214A patent/JP7321953B2/ja active Active
-
2021
- 2021-01-22 US US17/904,158 patent/US20230064432A1/en active Pending
- 2021-01-22 WO PCT/JP2021/002346 patent/WO2021166555A1/ja unknown
- 2021-01-22 EP EP21757687.5A patent/EP4074449A4/en active Pending
- 2021-01-22 KR KR1020227027146A patent/KR20220121878A/ko not_active Application Discontinuation
- 2021-01-22 CN CN202180014807.9A patent/CN115151367B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100762365B1 (ko) * | 2006-10-09 | 2007-10-02 | 삼성중공업 주식회사 | 아크센서의 특성이 반영된 확률적 모델을 통한 용접심 추적방법 |
| CN203791808U (zh) * | 2013-11-06 | 2014-08-27 | 广东德科机器人技术与装备有限公司 | 一种基于机器视觉的智能焊接机器人 |
| KR20180122927A (ko) * | 2017-05-04 | 2018-11-14 | 주식회사 매스프레소 | 이미지에 포함된 텍스트 인식장치, 텍스트 인식방법 및 텍스트 인식방법을 실행하기 위한 프로그램을 기록한 기록매체 |
| JP2018192524A (ja) * | 2017-05-12 | 2018-12-06 | 株式会社神戸製鋼所 | 自動溶接システム、溶接制御方法、及び機械学習モデル |
| JP2019057024A (ja) * | 2017-09-20 | 2019-04-11 | 株式会社Ｓｃｒｅｅｎホールディングス | 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置 |
| CN109816109A (zh) * | 2018-12-12 | 2019-05-28 | 中国科学院深圳先进技术研究院 | 任务推理模型学习及任务推理方法、机器人及存储装置 |
| CN109712128A (zh) * | 2018-12-24 | 2019-05-03 | 上海联影医疗科技有限公司 | 特征点检测方法、装置、计算机设备和存储介质 |
| CN109693018A (zh) * | 2019-01-30 | 2019-04-30 | 湖北文理学院 | 自主移动机器人焊缝视觉跟踪系统及跟踪方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230064432A1 (en) | 2023-03-02 |
| KR20220121878A (ko) | 2022-09-01 |
| JP2021126693A (ja) | 2021-09-02 |
| WO2021166555A1 (ja) | 2021-08-26 |
| JP7321953B2 (ja) | 2023-08-07 |
| CN115151367A (zh) | 2022-10-04 |
| EP4074449A1 (en) | 2022-10-19 |
| EP4074449A4 (en) | 2023-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109035204B (zh) | 一种焊缝目标实时检测方法 | |
| CN109409366B (zh) | 基于角点检测的畸变图像校正方法及装置 | |
| US20220331912A1 (en) | Automatic welding system, automatic welding method, welding assistance device, and program | |
| CN113894481B (zh) | 复杂空间曲线焊缝的焊接位姿调整方法及装置 | |
| JP2013010155A (ja) | 対象物把持装置、対象物把持装置の制御方法、およびプログラム | |
| CN106971407A (zh) | 一种基于二维线结构光的焊缝三维重建方法 | |
| CN107909571A (zh) | 一种焊缝图像处理方法、系统、设备及计算机存储介质 | |
| CN115151367B (zh) | 自动焊接系统、自动焊接方法、学习装置、神经网络系统以及推定装置 | |
| CN112620926A (zh) | 一种焊点追踪方法、装置及存储介质 | |
| JP2006287589A (ja) | 画像処理方法、画像処理装置 | |
| CN116188526A (zh) | 一种轨迹生成方法、装置、设备及介质 | |
| JP5141599B2 (ja) | 車線認識装置及び方法 | |
| CN115063768A (zh) | 三维目标检测方法、编码器及解码器 | |
| CN103617631B (zh) | 一种基于中心检测的跟踪方法 | |
| CN114594770B (zh) | 一种巡检机器人不停车的巡检方法 | |
| CN107451991A (zh) | 一种立焊焊接轨迹计算方法及系统 | |
| CN113932825A (zh) | 机器人导航路径宽度获取系统、方法、机器人及存储介质 | |
| CN117444450A (zh) | 一种焊缝焊接方法、电子设备和存储介质 | |
| CN107914067A (zh) | 一种基于被动视觉传感的薄板焊接的焊枪偏差三维提取方法 | |
| CN111414012A (zh) | 一种巡检机器人区域检索与云台校正方法 | |
| JP2017020942A (ja) | 推定装置及び推定プログラム | |
| CN112233020A (zh) | 无人机图像拼接方法、装置、计算机设备及存储介质 | |
| JP7395238B2 (ja) | 学習用画像セットの生成装置及び生成方法、プログラム、画像生成モデルの学習装置、画像生成装置、画像判別モデルの学習装置、画像判別装置、並びに自動溶接システム | |
| CN111368834B (zh) | 食品包装生产日期识别方法、装置及存储介质 | |
| JP2017090955A (ja) | 電子装置、白線検出プログラムおよび白線検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |