CN111157539B - 焊缝形貌监控方法、系统、装置及可读存储介质 - Google Patents
焊缝形貌监控方法、系统、装置及可读存储介质 Download PDFInfo
- Publication number
- CN111157539B CN111157539B CN201911265670.5A CN201911265670A CN111157539B CN 111157539 B CN111157539 B CN 111157539B CN 201911265670 A CN201911265670 A CN 201911265670A CN 111157539 B CN111157539 B CN 111157539B
- Authority
- CN
- China
- Prior art keywords
- weld
- welding
- target
- appearance
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 196
- 238000012544 monitoring process Methods 0.000 title claims abstract description 46
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000003466 welding Methods 0.000 claims abstract description 236
- 230000008569 process Effects 0.000 claims abstract description 162
- 238000012549 training Methods 0.000 claims description 28
- 239000000463 material Substances 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 14
- 238000013136 deep learning model Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000012806 monitoring device Methods 0.000 claims description 2
- 239000011324 bead Substances 0.000 claims 1
- 238000012800 visualization Methods 0.000 abstract 1
- 238000012876 topography Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000010791 quenching Methods 0.000 description 9
- 230000000171 quenching effect Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Radiation Pyrometers (AREA)
- Investigating Or Analyzing Materials Using Thermal Means (AREA)
Abstract
本发明提供焊缝形貌监控方法、系统、装置及可读存储介质，该方法包括：根据目标工艺参数对目标焊接部位进行焊接，获取焊接过程中采集到的焊缝图像，以及与焊缝图像中的每个像素对应的温度信息，以得到重建焊缝形貌，基于目标工艺参数查找预设的焊缝形貌数据库，确定出与目标工艺参数对应的目标焊缝形貌。通过比对重建焊缝形貌以及目标焊缝形貌，对目标焊接部位的焊缝形貌进行监控。上述方案能够实时监控焊缝形貌，且由于本方案中的重建焊缝形貌能够直观的以图像的形式反映出目标焊接部位的焊缝形貌，实现了焊缝形貌的可视化，便于观察。
Description
技术领域
本发明涉及焊接技术领域，尤其涉及一种焊缝形貌监控方法、系统、装置及可读存储介质。
背景技术
焊接技术是工业生产中至关重要的连接技术，特别在船舶建造、航空航天、核能核电、重工机械汽车制造等领域中具有举足轻重的地位。但由于焊接过程中，通常伴随有强烈的弧光和辐射，难以对焊接过程进行实时监控，导致不能及时发现问题，产生质量缺陷。
发明内容
本说明书实施例提供一种焊缝形貌监控方法、系统、装置及可读存储介质。
第一方面，本发明提供了一种焊缝形貌监控方法，包括：
在根据目标工艺参数对目标焊接部位进行焊接时，获取焊接过程中采集到的焊缝图像，以及与所述焊缝图像中每个像素对应的温度信息；
基于所述焊缝图像，以及与所述焊缝图像中每个像素对应的温度信息，确定所述目标焊接部位的重建焊缝形貌；
基于所述目标工艺参数，在预设的焊缝形貌数据库中确定出与所述目标工艺参数对应的目标焊缝形貌，其中，所述预设的焊缝形貌数据库中存储有工艺参数与焊缝形貌的对应关系；
基于所述重建焊缝形貌以及所述目标焊缝形貌，对所述目标焊接部位的焊缝形貌进行监控。
可选地，所述获取焊接过程中采集到的焊缝图像，以及与所述焊缝图像中每个像素对应的温度信息，包括：
确定所述目标焊接部位的焊接熔池的材料辐射率；
基于所述材料辐射率对所述焊缝图像中每个像素对应的初始温度信息进行校正，得到校正后的所述焊缝图像中每个像素对应的温度信息。
可选地，所述基于所述重建焊缝形貌以及所述目标焊缝形貌，对所述目标焊接部位的焊缝形貌进行监控，包括：
确定所述重建焊缝形貌以及所述目标焊缝形貌之间的误差；
在所述误差满足预设的误差范围时，继续执行对所述目标焊接部位的焊接操作；
在所述误差不满足所述预设的误差范围时，基于所述误差生成焊接调整参数，并基于所述焊接调整参数对所述目标工艺参数进行调整。
可选地，所述系统还包括数据库构建模块，用于：
在以预设工艺参数对样本焊接部位进行焊接时，获取所述样本焊接部位的实际焊缝形貌特征值；
获取焊接过程中的样本焊缝图像，以及与所述样本焊缝图像中每个像素对应的温度信息；
基于所述样本焊缝图像以及与所述样本焊缝图像中每个像素对应的温度信息，建立焊缝重建模型；
基于所述焊缝重建模型，获得所述样本焊接部位的重建焊缝形貌特征值；
基于所述预设工艺参数、所述实际焊缝形貌特征值以及所述重建焊缝形貌特征值，构建训练样本集合；
基于所述训练样本集合对初始的深度学习模型进行训练，获得已训练的焊缝重建模型，所述焊缝重建模型用于输出与输入的工艺参数对应的焊缝形貌；
将多个工艺参数分别输入至所述焊缝重建模型，得到与每个工艺参数对应的焊缝形貌，并基于每个工艺参数与焊缝形貌的对应关系，构建所述预设的焊缝形貌数据库。
可选地，所述目标工艺参数包括焊接工艺参数和/或辅助焊接工艺参数。
第二方面，本说明书实施例提供一种焊缝形貌监控系统，包括：
信息采集模块，用于在根据目标工艺参数对目标焊接部位进行焊接时，获取焊接过程中采集到的焊缝图像，以及与所述焊缝图像中每个像素对应的温度信息；
焊缝重建模块，用于基于所述焊缝图像，以及与所述焊缝图像中每个像素对应的温度信息，确定所述目标焊接部位的重建焊缝形貌；
目标焊缝形貌确定模块，用于基于所述目标工艺参数，在预设的焊缝形貌数据库中确定出与所述目标工艺参数对应的目标焊缝形貌，其中，所述预设的焊缝形貌数据库中存储有工艺参数与焊缝形貌的对应关系；
监控模块，用于基于所述重建焊缝形貌以及所述目标焊缝形貌，对所述目标焊接部位的焊缝形貌进行监控。
可选地，所述信息采集模块，具体用于：
确定所述目标焊接部位的焊接熔池的材料辐射率；
基于所述材料辐射率对所述焊缝图像中每个像素对应的初始温度信息进行校正，得到校正后的所述焊缝图像中每个像素对应的温度信息。
可选地，所述监控模块，具体用于：
确定所述重建焊缝形貌以及所述目标焊缝形貌之间的误差；
在所述误差满足预设的误差范围时，继续执行对所述目标焊接部位的焊接操作；
在所述误差不满足所述预设的误差范围时，基于所述误差生成焊接调整参数，并基于所述焊接调整参数对所述目标工艺参数进行调整。
可选地，所述预设的焊缝形貌数据库的构建过程包括：
在以预设工艺参数对样本焊接部位进行焊接时，获取所述样本焊接部位的实际焊缝形貌特征值；
获取焊接过程中的样本焊缝图像，以及与所述样本焊缝图像中每个像素对应的温度信息；
基于所述样本焊缝图像以及与所述样本焊缝图像中每个像素对应的温度信息，建立焊缝重建模型；
基于所述焊缝重建模型，获得所述样本焊接部位的重建焊缝形貌特征值；
基于所述预设工艺参数、所述实际焊缝形貌特征值以及所述重建焊缝形貌特征值，构建训练样本集合；
基于所述训练样本集合对初始的深度学习模型进行训练，获得已训练的焊缝重建模型，所述焊缝重建模型用于输出与输入的工艺参数对应的焊缝形貌；
将多个工艺参数分别输入至所述焊缝重建模型，得到与每个工艺参数对应的焊缝形貌，并基于每个工艺参数与焊缝形貌的对应关系，构建所述预设的焊缝形貌数据库。
第三方面，本说明书实施例提供一种种焊缝形貌监控装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行上述任一项所述方法的步骤。
第四方面，本说明书实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。
本说明书实施例的有益效果如下：
在本发明实施例的技术方案中，在根据目标工艺参数对目标焊接部位进行焊接时，获取焊接过程中采集到的焊缝图像，以及与焊缝图像中的每个像素对应的温度信息，基于焊缝图像以及每个像素的温度信息，对焊缝形貌进行重建，得到重建焊缝形貌。基于目标工艺参数查找预设的焊缝形貌数据库，确定出与目标工艺参数对应的目标焊缝形貌。通过比对重建焊缝形貌以及目标焊缝形貌，对目标焊接部位的焊缝形貌进行监控。上述方案中，重建焊缝形貌由于是在焊接过程中构建的，因此，能够表征焊接过程中的焊缝形貌，达到实时监控的效果，另外，由于本方案中的重建焊缝形貌能够直观的以图像的形式反映出目标焊接部位的焊缝形貌，实现了焊缝形貌的可视化，便于观察。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本说明书的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1为本申请第一方面提供的一种焊缝形貌监控方法的流程图；
图2为本申请第二方面提供的一种焊缝形貌监控方法系统的示意图。
具体实施方式
本发明实施例提供了一种焊缝形貌监控方法、系统、装置及可读存储介质，用于实现实时监控焊缝形貌，并将焊缝形貌的监控可视化。该方法包括：在根据目标工艺参数对目标焊接部位进行焊接时，获取焊接过程中采集到的焊缝图像，以及与所述焊缝图像中每个像素对应的温度信息；基于所述焊缝图像，以及与所述焊缝图像中每个像素对应的温度信息，确定所述目标焊接部位的重建焊缝形貌；基于所述目标工艺参数，在预设的焊缝形貌数据库中确定出与所述目标工艺参数对应的目标焊缝形貌，其中，所述预设的焊缝形貌数据库中存储有工艺参数与焊缝形貌的对应关系；基于所述重建焊缝形貌以及所述目标焊缝形貌，对所述目标焊接部位的焊缝形貌进行监控。
下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
第一方面，本发明提供了一种焊缝形貌监控方法，如图1所示，为本说明书实施例提供的一种焊缝形貌监控方法的流程图，该方法包括以下步骤：
步骤S11：在根据目标工艺参数对目标焊接部位进行焊接时，获取焊接过程中采集到的焊缝图像，以及与所述焊缝图像中每个像素对应的温度信息；
步骤S12：基于所述焊缝图像，以及与所述焊缝图像中每个像素对应的温度信息，确定所述目标焊接部位的重建焊缝形貌；
步骤S13：基于所述目标工艺参数，在预设的焊缝形貌数据库中确定出与所述目标工艺参数对应的目标焊缝形貌，其中，所述预设的焊缝形貌数据库中存储有工艺参数与焊缝形貌的对应关系；
步骤S14：基于所述重建焊缝形貌以及所述目标焊缝形貌，对所述目标焊接部位的焊缝形貌进行监控。
本说明书实施例中，目标焊接部位可以是待焊接的任意部位，例如为船舶建造中的待焊接钢板，在对目标焊接部位进行焊接时，焊接采用的目标工艺参数可以根据实际需要进行设置。目标工艺参数可以包括焊接工艺参数和/或辅助焊接工艺参数。其中，焊接工艺参数包括焊接电流、焊接电压、焊接速度等影响焊接质量的参数中的一种或多种，辅助焊接工艺参数包括焊接环境温度、焊接水冷量、工艺气体的流量、压力等影响焊接质量的参数中的一种或多种。
为了采集焊接过程中的焊缝图像，以及采集与焊缝图像中每个像素对应的温度信息，本说明书实施例中，可以在焊枪上设置红外热像仪。在焊接过程中，红外热像仪随着焊枪移动，并采集红外热像仪视场中的焊缝图像以及温度信息。具体来讲，红外热像仪能够采集焊接过程中多帧焊缝图像，对于每帧焊缝图像来说，均由像素构成，对于每个像素，均对应一个温度信息。以520×520的焊缝图像来说，由520×520的像素矩阵构成，对应的，与各个像素对应的温度信息也构成一个520×520的温度矩阵。当然，焊缝图像以及与图像像素对应的温度信息还可以通过其他装置来获取，如红外相机以及温度检测装置，这里不做限定。
本说明书实施例中，通过获取到的焊缝图像以及对应的温度信息，能够实时的确定目标焊接部位的重建焊缝形貌。在具体实施过程中，可以根据预设的焊缝形貌重建脚本对焊缝图像中各个像素与温度信息的对应关系进行处理，进行三维制图，以实现焊缝形貌的三维重建，得到目标焊接部位的重建焊缝形貌。由于焊缝图像以及对应的温度信息是在整个焊接过程中持续采集的，因此，可以根据需要对焊接过程中的任意阶段的焊缝形貌进行重建，例如，根据起弧阶段采集到的焊缝图像以及焊缝图像中的每个像素对应的温度信息，构建起弧阶段的重建焊缝形貌。
另外，根据目标工艺参数，在存储有工艺参数与焊缝形貌对应关系的预设的焊缝形貌数据库进行查找，确定出与目标工艺参数对应的目标焊缝形貌。应理解的是，工艺参数与焊缝形貌的对应关系可以是一组工艺参数对应一幅焊缝形貌，也可以是一组工艺参数对应多幅焊缝形貌。具体来讲，由于在焊接过程中，可以包含起弧阶段、平稳焊接阶段、熄弧阶段，不同的阶段可以对应不同的焊缝形貌，因此，对于一组工艺参数对应多幅焊缝形貌的情况，可以是一组工艺参数对应有起弧阶段、平稳焊接阶段、熄弧阶段的三幅焊缝形貌。
因此，本说明书实施例中，在根据目标工艺参数确定目标焊缝形貌时，若预设的焊缝形貌数据库存储的对应关系为一组工艺参数对应一幅焊缝形貌，则可以根据目标工艺参数确定出唯一的目标焊缝形貌。若预设焊缝形貌数据库存储的对应关系为一组工艺参数对应多幅焊缝形貌，可以进一步的根据目标焊接部位当前所处的焊接阶段，在多幅焊缝形貌中确定出相应焊接阶段的焊缝形貌作为目标焊缝形貌。
在获取到重建焊缝形貌和目标焊缝形貌之后，对目标焊接部位的焊缝形貌进行监控，监控方式可以根据实际需要进行设定，例如，将重建焊缝形貌与目标焊缝形貌进行比较，并根据比较结果对目标焊接部位的焊缝形貌进行监控。
可见，通过本说明书实施例中的方法，能够在焊接过程中实时的确定重建焊缝形貌，并通过比对目标焊缝形貌以及重建焊缝形貌的实现对对目标焊接部位的实时监控，另外，由于本方案中的重建焊缝形貌能够直观的以图像的形式反映出目标焊接部位的焊缝形貌，实现了焊缝形貌的可视化。
进一步的，在本说明书实施例中，为了确保获得的温度信息的准确性，所述获取焊接过程中采集到的焊缝图像，以及与所述焊缝图像中每个像素对应的温度信息，包括：确定所述目标焊接部位的焊接熔池的材料辐射率；基于所述材料辐射率对所述焊缝图像中每个像素对应的初始温度信息进行校正，得到校正后的所述焊缝图像中每个像素对应的温度信息。
具体来讲，红外热像仪在采集温度信息时，现有技术中通常是将焊接材料处于固体时的材料辐射率用于温度信息的修正，但由于在焊接过程中，焊接材料会因为高温而变成液态，材料辐射率也会发生变化，因此，现有技术中获得的温度信息存在的误差较大。本说明书实施例中，在焊接过程中，在红外热像仪检测到初始温度信息的同时，会基于焊接熔池的材料辐射率对初始温度进行校正，并将校正后的温度信息与焊缝图像中的每个像素进行对应，保证了温度信息的准确性，使得后续的重建焊缝形貌更加贴近实际情况。
本说明书实施例中，步骤S14可以通过以下步骤实现：确定所述重建焊缝形貌以及所述目标焊缝形貌之间的误差；在所述误差满足预设的误差范围时，继续执行对所述目标焊接部位的焊接操作；在所述误差不满足所述预设的误差范围时，基于所述误差生成焊接调整参数，并基于所述焊接调整参数对所述目标工艺参数进行调整。
在具体实施过程中，可以通过空间坐标转换，将重建焊缝形貌以及目标焊缝形貌进行图像重合以得到二者之间的误差，理想情况下，如果两幅图像之间没有误差，那么重建焊缝形貌和目标焊缝形貌在空间上是完全重合的。但实际情况中重建焊缝形貌和目标焊缝形貌并不能完全重合，因此，本说明书实施例中，由于重建焊缝形貌和目标焊缝形貌均为三维图像，可以计算出二者不重合部分的体积，将不重合部分的体积作为二者的误差，或者将不重合部分的体积与该区域在目标焊缝形貌中所占体积之间的比值作为误差，这里不做限定。
进一步的，如果误差满足预设的误差范围，表明当前焊接产生的误差处于合理范围内，可以继续焊接，当误差超出预设的误差范围，则需要对目标工艺参数进行调整，以对误差进行控制。
具体来讲，在对误差进行分析时，如果重建焊缝形貌对应的体积更大，即重建焊缝形貌完全覆盖了目标焊缝形貌，表明焊接过程中的实际焊缝比目标焊缝要宽大，这可能是电压过高、焊接速度过慢导致的，因此，可以对应的将目标工艺参数中的电压及焊接速度进行相应调整。如果重建焊缝形貌对应的体积较小，即目标焊缝形貌完全覆盖了重建焊缝形貌，表明实际焊接过程中的实际焊缝比目标焊缝窄小，这可能是电压过低导致的，因此可以对应的将目标工艺参数中的电压进行相应调整。如果重建焊缝形貌和目标焊缝形貌相互包容，且又不完全重合，表明焊缝局部区域出现缺陷，当重建焊缝形貌出现下凹，表明实际焊缝可能出现塌陷或气孔，当重建焊缝出现上凸，可能是出现了驼峰，则对应调整目标工艺参数中的相关参数。
本说明书实施例中，通过预设的焊缝形貌数据库能够确定出与工艺参数相对应的目标焊缝形貌。预设的焊缝形貌数据库可以根据以下方式获得：在以预设工艺参数对样本焊接部位进行焊接时，获取所述样本焊接部位的实际焊缝形貌特征值；获取焊接过程中的样本焊缝图像，以及与所述样本焊缝图像中每个像素对应的温度信息；基于所述样本焊缝图像以及与所述样本焊缝图像中每个像素对应的温度信息，建立焊缝重建模型；基于所述焊缝重建模型，获得所述样本焊接部位的重建焊缝形貌特征值；基于所述预设工艺参数、所述实际焊缝形貌特征值以及所述重建焊缝形貌特征值，构建训练样本集合；基于所述训练样本集合对初始的深度学习模型进行训练，获得已训练的焊缝重建模型，所述焊缝重建模型用于输出与输入的工艺参数对应的焊缝形貌；将多个工艺参数分别输入至所述焊缝重建模型，得到与每个工艺参数对应的焊缝形貌，并基于每个工艺参数与焊缝形貌的对应关系，构建所述预设的焊缝形貌数据库。
具体来讲，预设的焊缝形貌数据是通过训练好的焊缝重建模型得到的，为了获得训练好的焊缝重建模型，首先需要构建一个初始的深度学习模型，例如BP(BackPropagation))神经网络、径向基函数神经网络、递归神经网络、卷积神经网络、模块化神经网络等。
接下来，构建模型训练的训练样本集合，以训练样本集合中的一个训练样本来举例，一个训练样本对应一个样本焊接部位的信息，其中，以预设工艺参数在对该样本焊接部位进行焊接时，获取样本焊接部位的实际焊缝形貌特征值，具体的，可以在焊接过程中随时对实际焊缝形貌进行测量，以得到实际焊缝形貌特征值，包括焊缝余高、熔高等形貌参数。另外，在焊接过程中，可以同时获取样本焊缝图像以及对应的温度信息，获取过程与上述步骤S11的过程相同，这里就不再赘述了。在获取了样本焊缝图像以及对应的温度信息之后，进行三维重建，得到焊缝重建模型，并根据焊缝重建模型确定重建焊缝形貌特征值。将上述预设工艺参数、实际焊缝形貌特征值以及重建焊缝形貌特征值作为一个训练样本。这样，对于多个样本焊接部位来说均进行上述处理，能够得到多个训练样本，构成训练样本集合。
进一步的，基于训练样本集合对初始的深度学习模型进行训练，将各个训练样本对应的预设工艺参数作为模型输入，利用实际焊缝形貌特征值和重建焊缝形貌特征进行补偿修正，获得训练好的焊缝重建模型，焊缝重建模型的输出为与输入的工艺参数对应的焊缝形貌。
为了构建预设的焊缝形貌数据库，可以将预先设置好的多个工艺参数分别输入到焊缝重建模型中，这里的多个工艺参数可以是根据焊接工艺设定好的参数，如焊接常用的工艺参数，通过焊缝重建模型，可以得到与各个工艺参数对应的焊缝形貌，将工艺参数与焊缝形貌进行关联，以得到预设的焊缝形貌数据库。预设焊缝形貌数据库可以通过MySQL、Oracle、IBM等数据库来实现，这里不做限定。
需要说明的是，在预设的焊缝形貌数据库中的对应关系为一组工艺参数对应多幅焊缝形貌时，如一组工艺参数对应有起弧阶段的焊缝形貌、平稳焊接阶段的焊缝形貌以及熄弧阶段的焊缝形貌时。对于一个样本焊接部位来说，分别获取该样本焊接部位在起弧阶段的实际焊缝形貌特征值、平稳焊接阶段的实际焊缝形貌特征值以及熄弧阶段的焊缝形貌特征值。同时确定该样本焊接部位起弧阶段的重建焊缝形貌特征值、平稳焊接阶段的重建焊缝形貌特征值以及熄弧阶段的重建焊缝形貌特征值。然后将各个阶段的实际焊缝形貌特征值与重建焊缝形貌特征值进行关联，并均与焊接该样本焊接部位的工艺参数进行关联，以形成一个训练样本。基于这种方式，构建训练样本集合，对初始的深度学习模型进行训练，得到焊缝重建模型，此时，当向焊缝重建模型输入一组工艺参数时，焊缝重建模型会输出三个阶段的焊缝形貌。
为了更好的理解本说明书实施例中的焊缝形貌监控方法，下面以起弧阶段、平稳焊接阶段以及熄弧阶段的焊缝形貌监控为例来进行说明。
首先，在以目标工艺参数对目标焊接部位进行焊接时，通过查询预设的焊缝形貌数据库，确定与出目标工艺参数对应的三个阶段的目标焊缝形貌，即起弧阶段的目标焊缝形貌、平稳焊接阶段的目标焊缝形貌以及熄弧阶段的目标焊缝形貌。在焊接过程中，首先进入起弧阶段，获取目标焊接部位在起弧阶段的焊缝图像以及与焊缝图像对应的温度信息，以确定起弧阶段的重建焊缝形貌，将起弧阶段的重建焊缝形貌与起弧阶段的目标焊缝形貌进行比对，若误差满足预设的误差范围，继续焊接，若误差超出预设的误差范围，对目标工艺参数进行调整。接下来，进入平稳焊接阶段，获取目标焊接部位在平稳焊接阶段的焊缝图像以及与焊缝图像对应的温度信息，以确定平稳焊接阶段的重建焊缝形貌，将平稳焊接阶段的重建焊缝形貌与平稳焊接阶段的目标焊缝形貌进行比对，若误差满足预设的误差范围，继续焊接，若误差超出预设的误差范围，对目标工艺参数进行调整。然后，进入熄弧阶段，获取目标焊接部位在熄弧阶段的焊缝图像以及与焊缝图像对应的温度信息，以确定熄弧阶段的重建焊缝形貌，将熄弧阶段的重建焊缝形貌与熄弧阶段的目标焊缝形貌进行比对，若误差满足预设的误差范围，继续焊接，若误差超出预设的误差范围，对目标工艺参数进行调整，直至焊接完成。
第二方面，本说明书实施例提供一种焊缝形貌监控系统，包括：
信息采集模块21，用于在根据目标工艺参数对目标焊接部位进行焊接时，获取焊接过程中采集到的焊缝图像，以及与所述焊缝图像中每个像素对应的温度信息；
焊缝重建模块22，用于基于所述焊缝图像，以及与所述焊缝图像中每个像素对应的温度信息，确定所述目标焊接部位的重建焊缝形貌；
目标焊缝形貌确定模块23，用于基于所述目标工艺参数，在预设的焊缝形貌数据库中确定出与所述目标工艺参数对应的目标焊缝形貌，其中，所述预设的焊缝形貌数据库中存储有工艺参数与焊缝形貌的对应关系；
监控模块24，用于基于所述重建焊缝形貌以及所述目标焊缝形貌，对所述目标焊接部位的焊缝形貌进行监控。
可选地，所述信息采集模块21，具体用于：
确定所述目标焊接部位的焊接熔池的材料辐射率；
基于所述材料辐射率对所述焊缝图像中每个像素对应的初始温度信息进行校正，得到校正后的所述焊缝图像中每个像素对应的温度信息。
可选地，所述监控模块24，具体用于：
确定所述重建焊缝形貌以及所述目标焊缝形貌之间的误差；
在所述误差满足预设的误差范围时，继续执行对所述目标焊接部位的焊接操作；
在所述误差不满足所述预设的误差范围时，基于所述误差生成焊接调整参数，并基于所述焊接调整参数对所述目标工艺参数进行调整。
可选地，所述系统还包括数据库构建模块，用于：
在以预设工艺参数对样本焊接部位进行焊接时，获取所述样本焊接部位的实际焊缝形貌特征值；
获取焊接过程中的样本焊缝图像，以及与所述样本焊缝图像中每个像素对应的温度信息；
基于所述样本焊缝图像以及与所述样本焊缝图像中每个像素对应的温度信息，建立焊缝重建模型；
基于所述焊缝重建模型，获得所述样本焊接部位的重建焊缝形貌特征值；
基于所述预设工艺参数、所述实际焊缝形貌特征值以及所述重建焊缝形貌特征值，构建训练样本集合；
基于所述训练样本集合对初始的深度学习模型进行训练，获得已训练的焊缝重建模型，所述焊缝重建模型用于输出与输入的工艺参数对应的焊缝形貌；
将多个工艺参数分别输入至所述焊缝重建模型，得到与每个工艺参数对应的焊缝形貌，并基于每个工艺参数与焊缝形貌的对应关系，构建所述预设的焊缝形貌数据库。
可选地，所述目标工艺参数包括焊接工艺参数和/或辅助焊接工艺参数。
关于上述系统，其中各个模块的具体功能已经在本说明书实施例提供的焊缝形貌监控方法的实施例中进行了详细描述，此处将不做详细阐述说明。
第三方面，基于与前述实施例中焊缝形貌监控方法同样的发明构思，本发明还提供一种焊缝形貌监控装置，所述装置包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的焊缝形貌监控方法的步骤。
第四方面，基于与前述实施例中焊缝形貌监控方法同样的发明构思，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文所述基于焊缝形貌监控方法的任一方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.一种焊缝形貌监控方法，其特征在于，包括：
在根据目标工艺参数对目标焊接部位进行焊接时，获取焊接过程中采集到的焊缝图像，以及与所述焊缝图像中每个像素对应的温度信息；
基于所述焊缝图像，以及与所述焊缝图像中每个像素对应的温度信息，确定所述目标焊接部位的重建焊缝形貌，包括：根据预设的焊缝形貌重建脚本对所述焊缝图像中各个像素与温度信息的对应关系进行处理，进行三维制图，得到所述目标焊接部位的重建焊缝形貌；
基于所述目标工艺参数，在预设的焊缝形貌数据库中确定出与所述目标工艺参数对应的目标焊缝形貌，其中，所述预设的焊缝形貌数据库中存储有工艺参数与焊缝形貌的对应关系；
基于所述重建焊缝形貌以及所述目标焊缝形貌，对所述目标焊接部位的焊缝形貌进行监控。
2.根据权利要求1所述的方法，其特征在于，所述获取焊接过程中采集到的焊缝图像，以及与所述焊缝图像中每个像素对应的温度信息，包括：
确定所述目标焊接部位的焊接熔池的材料辐射率；
基于所述材料辐射率对所述焊缝图像中每个像素对应的初始温度信息进行校正，得到校正后的所述焊缝图像中每个像素对应的温度信息。
3.根据权利要求1所述的方法，其特征在于，所述基于所述重建焊缝形貌以及所述目标焊缝形貌，对所述目标焊接部位的焊缝形貌进行监控，包括：
确定所述重建焊缝形貌以及所述目标焊缝形貌之间的误差；
在所述误差满足预设的误差范围时，继续执行对所述目标焊接部位的焊接操作；
在所述误差不满足所述预设的误差范围时，基于所述误差生成焊接调整参数，并基于所述焊接调整参数对所述目标工艺参数进行调整。
4.根据权利要求1所述的方法，其特征在于，所述预设的焊缝形貌数据库的构建过程包括：
在以预设工艺参数对样本焊接部位进行焊接时，获取所述样本焊接部位的实际焊缝形貌特征值；
获取焊接过程中的样本焊缝图像，以及与所述样本焊缝图像中每个像素对应的温度信息；
基于所述样本焊缝图像以及与所述样本焊缝图像中每个像素对应的温度信息，建立焊缝重建模型；
基于所述焊缝重建模型，获得所述样本焊接部位的重建焊缝形貌特征值；
基于所述预设工艺参数、所述实际焊缝形貌特征值以及所述重建焊缝形貌特征值，构建训练样本集合；
基于所述训练样本集合对初始的深度学习模型进行训练，获得已训练的焊缝重建模型，所述焊缝重建模型用于输出与输入的工艺参数对应的焊缝形貌；
将多个工艺参数分别输入至所述焊缝重建模型，得到与每个工艺参数对应的焊缝形貌，并基于每个工艺参数与焊缝形貌的对应关系，构建所述预设的焊缝形貌数据库。
5.根据权利要求1所述的方法，其特征在于，所述目标工艺参数包括焊接工艺参数和/或辅助焊接工艺参数。
6.一种焊缝形貌监控系统，其特征在于，所述系统包括：
信息采集模块，用于在根据目标工艺参数对目标焊接部位进行焊接时，获取焊接过程中采集到的焊缝图像，以及与所述焊缝图像中每个像素对应的温度信息；
焊缝重建模块，用于基于所述焊缝图像，以及与所述焊缝图像中每个像素对应的温度信息，确定所述目标焊接部位的重建焊缝形貌，包括：根据预设的焊缝形貌重建脚本对所述焊缝图像中各个像素与温度信息的对应关系进行处理，进行三维制图，得到所述目标焊接部位的重建焊缝形貌；
目标焊缝形貌确定模块，用于基于所述目标工艺参数，在预设的焊缝形貌数据库中确定出与所述目标工艺参数对应的目标焊缝形貌，其中，所述预设的焊缝形貌数据库中存储有工艺参数与焊缝形貌的对应关系；
监控模块，用于基于所述重建焊缝形貌以及所述目标焊缝形貌，对所述目标焊接部位的焊缝形貌进行监控。
7.根据权利要求6所述的系统，其特征在于，所述信息采集模块，具体用于：
确定所述目标焊接部位的焊接熔池的材料辐射率；
基于所述材料辐射率对所述焊缝图像中每个像素对应的初始温度信息进行校正，得到校正后的所述焊缝图像中每个像素对应的温度信息。
8.根据权利要求6所述的系统，其特征在于，所述监控模块，具体用于：
确定所述重建焊缝形貌以及所述目标焊缝形貌之间的误差；
在所述误差满足预设的误差范围时，继续执行对所述目标焊接部位的焊接操作；
在所述误差不满足所述预设的误差范围时，基于所述误差生成焊接调整参数，并基于所述焊接调整参数对所述目标工艺参数进行调整。
9.一种焊缝形貌监控装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-5任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-5任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911265670.5A CN111157539B (zh) | 2019-12-11 | 2019-12-11 | 焊缝形貌监控方法、系统、装置及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911265670.5A CN111157539B (zh) | 2019-12-11 | 2019-12-11 | 焊缝形貌监控方法、系统、装置及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111157539A CN111157539A (zh) | 2020-05-15 |
| CN111157539B true CN111157539B (zh) | 2022-08-30 |
Family
ID=70556919
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911265670.5A Active CN111157539B (zh) | 2019-12-11 | 2019-12-11 | 焊缝形貌监控方法、系统、装置及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111157539B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113579594A (zh) * | 2021-07-22 | 2021-11-02 | 河南垂天智能制造有限公司 | 基于三维测量的焊接参数实时优化方法、焊接方法和装置 |
| CN114147389B (zh) * | 2021-11-05 | 2024-06-04 | 江苏三沃电子科技有限公司 | 一种检测焊接工艺参数的焊接辅助方法和系统 |
| CN114167189B (zh) * | 2021-12-08 | 2023-11-03 | 华中科技大学鄂州工业技术研究院 | 一种焊接缺陷检测方法、电子设备及存储介质 |
| CN114706358B (zh) * | 2022-06-02 | 2022-09-20 | 张家港华程机车精密制管有限公司 | 一种直缝焊管的焊接工艺信息处理方法及系统 |
| CN114888478B (zh) * | 2022-06-30 | 2023-12-26 | 中船黄埔文冲船舶有限公司 | 一种中组立焊接工艺参数的修正方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101324469A (zh) * | 2008-08-06 | 2008-12-17 | 中国航空工业第一集团公司北京航空制造工程研究所 | 一种激光焊接温度场三维测量方法 |
| JP2012115577A (ja) * | 2010-12-02 | 2012-06-21 | Fujifilm Corp | 放射線撮影システム |
| CN102867316A (zh) * | 2012-07-19 | 2013-01-09 | 中国人民解放军第二炮兵工程大学 | 一种热波动态图像序列拟合重构方法 |
| CN104299268A (zh) * | 2014-11-02 | 2015-01-21 | 北京航空航天大学 | 一种高动态范围成像的火焰三维温度场重建方法 |
| CN106971407A (zh) * | 2017-02-16 | 2017-07-21 | 浙江工业大学 | 一种基于二维线结构光的焊缝三维重建方法 |
| CN109636798A (zh) * | 2018-12-24 | 2019-04-16 | 武汉大音科技有限责任公司 | 一种基于单相机的三维焊缝检测方法 |
| CN110246118A (zh) * | 2019-05-07 | 2019-09-17 | 中国人民解放军陆军工程大学 | 一种缺陷深度检测方法 |
| CN110379002A (zh) * | 2019-07-09 | 2019-10-25 | 电子科技大学 | 一种基于红外与可见光图像融合的三维重建表面温度显示方法 |
| CN209690213U (zh) * | 2019-03-18 | 2019-11-26 | 朱清 | 一种主动便携式焊缝智能检测仪 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6751342B2 (en) * | 1999-12-02 | 2004-06-15 | Thermal Wave Imaging, Inc. | System for generating thermographic images using thermographic signal reconstruction |
| WO2011156040A2 (en) * | 2010-03-17 | 2011-12-15 | Thermal Wave Imaging, Inc. | Thermographic detection of internal passageway blockages |
-
2019
- 2019-12-11 CN CN201911265670.5A patent/CN111157539B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101324469A (zh) * | 2008-08-06 | 2008-12-17 | 中国航空工业第一集团公司北京航空制造工程研究所 | 一种激光焊接温度场三维测量方法 |
| JP2012115577A (ja) * | 2010-12-02 | 2012-06-21 | Fujifilm Corp | 放射線撮影システム |
| CN102867316A (zh) * | 2012-07-19 | 2013-01-09 | 中国人民解放军第二炮兵工程大学 | 一种热波动态图像序列拟合重构方法 |
| CN104299268A (zh) * | 2014-11-02 | 2015-01-21 | 北京航空航天大学 | 一种高动态范围成像的火焰三维温度场重建方法 |
| CN106971407A (zh) * | 2017-02-16 | 2017-07-21 | 浙江工业大学 | 一种基于二维线结构光的焊缝三维重建方法 |
| CN109636798A (zh) * | 2018-12-24 | 2019-04-16 | 武汉大音科技有限责任公司 | 一种基于单相机的三维焊缝检测方法 |
| CN209690213U (zh) * | 2019-03-18 | 2019-11-26 | 朱清 | 一种主动便携式焊缝智能检测仪 |
| CN110246118A (zh) * | 2019-05-07 | 2019-09-17 | 中国人民解放军陆军工程大学 | 一种缺陷深度检测方法 |
| CN110379002A (zh) * | 2019-07-09 | 2019-10-25 | 电子科技大学 | 一种基于红外与可见光图像融合的三维重建表面温度显示方法 |
Non-Patent Citations (4)
| Title |
|---|
| "基于电磁激励红外热像的钢结构焊缝裂纹识别方法研究";刘兴乐;《万方数据》;20180830;全文 * |
| "基于红外视觉的增材制造熔深预测模型研究";黄增涛 等;《焊接技术》;20191130;第48卷(第11期);全文 * |
| 基于灰度值的非对称等离子体弧形貌的三维重建;郑庆余等;《机电工程》;20120720(第07期);全文 * |
| 镁合金真空电子束焊焊缝形貌与性能研究;申彬等;《焊接》;20080925(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111157539A (zh) | 2020-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111157539B (zh) | 焊缝形貌监控方法、系统、装置及可读存储介质 | |
| CN110530877B (zh) | 一种焊接外形质量检测机器人及其检测方法 | |
| CN109886298B (zh) | 一种基于卷积神经网络的焊缝质量检测方法 | |
| KR20230004570A (ko) | 용접의 디지털 데이터 모델을 기반으로 한 현장 검사 방법 | |
| CN111738369A (zh) | 基于熔池视觉特征的焊熔透状态及熔深实时预测方法 | |
| EP3237876A1 (en) | Method and apparatus for detecting defects on tyres in a tyre production process | |
| CN113658325A (zh) | 数字孪生环境下的生产线不确定对象智能识别与预警方法 | |
| CN110414388B (zh) | 基于深度预测网络的驼峰和熔透在线预警方法 | |
| US20230115037A1 (en) | Ply templating for composite fabrication with ai quality control modules | |
| CN117047286B (zh) | 一种激光加工工件表面的方法、加工系统、处理器和存储介质 | |
| CN110702101A (zh) | 一种面向电力巡检场景的定位方法及系统 | |
| CN114473309A (zh) | 用于自动焊接系统的焊接位置识别方法及自动焊接系统 | |
| CN111037549A (zh) | 基于3D扫描与TensorFlow算法的焊接轨迹处理方法及系统 | |
| CN114749848A (zh) | 一种基于3d视觉引导的钢筋焊接自动化系统 | |
| CN114571160A (zh) | 一种离线的曲面焊缝提取和姿态估计方法 | |
| CN112184704A (zh) | 一种基于卷积神经网络的焊缝处理方法 | |
| Ye et al. | Weld seam tracking based on laser imaging binary image preprocessing | |
| JP2023018016A (ja) | 管理システムおよび原因分析システム | |
| CN114266286A (zh) | 一种焊接过程信息的在线检测方法及装置 | |
| KR20220091107A (ko) | 정확도가 향상된 용접 비드 검출 장치 및 방법 | |
| Fei et al. | Machine Vision Analysis of Welding Region and its Application to Seam Tracking in Arc Welding | |
| CN112102301A (zh) | 一种冲压框架协同检测系统及其检测方法 | |
| CN118277787A (zh) | 一种基于ar技术的设备维修辅助方法和系统 | |
| CN117823741B (zh) | 一种结合智能机器人的管网非开挖修复方法及系统 | |
| CN106097376B (zh) | 面板修补方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |