CN112846577A - 一种提升焊接自动化的方法 - Google Patents

Abstract

本发明公开了一种提升焊接自动化的方法，通过对工件图像进行识别以获得工件图像中焊缝位置信息和/或焊缝的三维信息，同时通过对工件的三维结构信息进行分析处理以获得工件的边线信息，然后将工件图像中焊缝位置信息与工件的边线信息进行关联处理，和/或将焊缝的三维信息与工件的边线信息进行关联处理，根据处理结果以得到工件需焊接的焊缝信息，其方法简单可行，基于图像识别技术且结合深度学习技术对工件的焊缝进行识别，可进一步提高焊缝识别的准确率。

Description

一种提升焊接自动化的方法

技术领域

本发明涉及智能制造技术领域，尤其涉及一种提升焊接自动化的方法。

背景技术

焊接工作对人员的技术要求高、工作环境恶劣，强光、辐射、烟尘等，损伤工作人员健康。在批量化加工领域，引入了机器人焊接代替人工。但当前的自动化焊接技术，基于机器编程焊接预定部位，也有通过焊缝跟踪系统配合特定治具，实现小范围焊缝跟踪、焊接。相关技术中，自动化焊接技术中主要技术难点在于焊缝识别，大多数焊缝识别准确率不高，如此使得识别工件需加工的焊缝较为困难，同时，当前自动化焊接技术对小批量工件的自动化焊接很不友好。

发明内容

本发明旨在至少在一定程度上解决现有相关技术中存在的问题之一，为此，本发明提出一种提升焊接自动化的方法，其方法简单可行，可有效对工件的焊缝进行识别，从而进一步提升自动化焊接的水平。

上述目的是通过如下技术方案来实现的：

一种提升焊接自动化的方法，包括三维扫描模块和数据处理模块，其中所述三维扫描模块对外部工件进行扫描以将扫描所获得的信息反馈至所述数据处理模块上，所述数据处理模块对所接收到的信息进行处理，所述焊缝的识别方法包括如下步骤：

构建深度神经网络模型；

获取到工件图像；

通过所构建的深度神经网络模型对所述工件图像进行扫描识别以获得所述工件图像中焊缝位置信息和/或焊缝的三维信息；

对所述工件进行扫描以获得所述工件的三维结构信息；

对所获得的所述工件的三维结构信息进行分析处理以获得所述工件的边线信息；

将所述工件图像中焊缝位置信息与所述工件的边线信息进行关联处理，和/ 或将所述焊缝的三维信息与所述工件的边线信息进行关联处理，根据处理结果以得到所述工件需焊接的焊缝信息。

在一些实施方式中，所述构建深度神经网络模型的步骤包括：

采集平面图像目标识别方案，并且对所采集的所述平面图像目标识别方案进行训练以构建深度神经网络模型。

根据权利要求1所述的一种提升焊接自动化的方法，其特征在于，所述通过所构建的深度神经网络模型对所述工件图像进行扫描识别以获得所述工件图像中焊缝位置信息的步骤包括：

当获取到一张所述工件图像时，通过所构建的深度神经网络模型，并且调用深度学习方法对所获取的所述工件图像进行识别以获得所述工件图像中焊缝位置信息。

在一些实施方式中，所述将所述工件图像中焊缝位置信息与所述工件的边线信息进行关联处理的步骤包括：

将所述工件的边线信息投影至相机成像平面上；

通过将所述工件图像中焊缝位置信息与所述工件的边线信息进行关联处理。

在一些实施方式中，所述通过所构建的深度神经网络模型对所述工件图像进行扫描识别以获得所述工件图像中焊缝的三维信息的步骤包括：

当获取到多张所述工件图像时，通过所构建的深度神经网络模型，并且调用深度学习方法分别对所获取的多张工件图像进行识别以获得多个所述工件图像中焊缝位置信息；

根据所获得的多张所述工件图像中焊缝位置信息进行分析处理以得到所述焊缝的三维信息。

在一些实施方式中，所述根据处理结果以得到所述工件需焊接的焊缝信息后的步骤包括：

得到所述工件需焊接的焊缝信息后；

将比较所得的所述工件需焊接的焊缝信息下发至外部机器人上；

所述机器人根据所下发的焊接信息对所述工件进行焊接工作。

与现有技术相比，本发明的至少包括以下有益效果：

1.本发明焊缝的识别方法，其方法简单可行，基于图像识别技术且结合深度学习技术对工件的焊缝进行识别，可进一步提高焊缝识别的准确率。

2.其还可有效提高自动焊接加工的工作效率。

附图说明

图1是本发明实施例中焊缝识别方法的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明请求保护的技术方案范围。

实施例一：

如图1所示，本实施例提供一种提升焊接自动化的方法，通过对工件图像进行识别以获得工件图像中焊缝位置信息和/或焊缝的三维信息，同时通过对工件的三维结构信息进行分析处理以获得工件的边线信息，然后将工件图像中焊缝位置信息与工件的边线信息进行关联处理，和/或将焊缝的三维信息与工件的边线信息进行关联处理，根据处理结果以得到工件需焊接的焊缝信息，其方法简单可行，基于图像识别技术且结合深度学习技术对工件的焊缝进行识别，可进一步提高焊缝识别的准确率。

在本实施例中，焊缝识别系统包括三维扫描模块和数据处理模块，其中三维扫描模块对外部工件进行扫描以将扫描所获得的信息反馈至数据处理模块上，数据处理模块对所接收到的信息进行处理以生成指令信息，同时数据处理模块将所生成的指令信息下发至外部机器人上，外部机器人执行所接收到的指令信息以完成对工件的焊接工作，当然地，还包括训练模块和采集模块，采集模块用于采集平面图像目标识别方案，训练模块对采集模块所采集的平面图像目标识别方案进行训练以构建深度神经网络模型，当然，深度神经网络模型也可以为现有较为成熟的目标检测的深度学习网络，譬如fasterRCN、Yolo或者其它深度学习网络，此外，三维扫描模块采用单目相机、双目相机或者多目相机制成，优选地，三维扫描模块优选采用带相机的三维扫描仪或者双目相机扫描仪制成，但不限于上述扫描仪，还可根据实际需求选择其它类型的扫描仪，如此使得焊缝识别系统首先检测焊缝在工件图像上的位置，通过三维扫描模块对工件进行扫描以获得工件的三维结构信息，从而根据工件的三维结构信息进行处理以得到工件的边线信息，然后将工件图像中焊缝位置信息与工件的边线信息进行关联处理，根据处理结果以得到工件需焊接的焊缝信息，如此即可完成焊缝识别以及焊缝位置的定位，进而使机器人完成对工件的焊接工作。

在本实施例中，焊缝的识别方法具体包括如下步骤：

步骤S101，构建深度神经网络模型。

在本实施例中，采集平面图像目标识别方案，并且对所采集的平面图像目标识别方案进行训练以构建深度神经网络模型，当然，深度神经网络模型也可以为现有较为成熟的目标检测的深度学习网络，譬如fasterRCN、Yolo或者其它深度学习网络。

步骤S102，获取到工件图像。

在本实施例中，根据所下达的工作指令以启动三维扫描模块，通过三维扫描模块对工件进行扫描以获得工件图像，三维扫描模块将所获得的工件图像传输至数据处理模块上，当然，还可另外增设有图像拍摄装置或者激光扫描装置对工件进行扫描识别以获得工件图像。

步骤S103，通过所构建的深度神经网络模型对工件图像进行识别以获得工件图像中焊缝位置信息和/或焊缝的三维信息。

在本实施例中，当获取到一张工件图像时，通过所构建的深度神经网络模型，并且调用深度学习方法对所获取到的一张工件图像进行焊缝定性识别以获得工件图像中焊缝位置信息，同样的，当获取到两张工件图像时，通过所构建的深度神经网络模型，并且调用深度学习方法分别对由多目相机所获取的多张工件图像进行焊缝定性识别，通过焊缝定性识别以获得多个工件图像中焊缝位置信息，根据所获得的多张工件图像中焊缝位置信息进行分析处理以得到焊缝的三维信息。

步骤S104，对工件进行扫描以获得工件的三维结构信息。

步骤S105，对所获得的工件的三维结构信息进行分析处理以获得工件的边线信息。

步骤S106，将工件图像中焊缝位置信息与工件的边线信息进行关联处理，和/或将焊缝的三维信息与工件的边线信息进行关联处理，根据处理结果以得到工件需焊接的焊缝信息。

在本实施例中，当对所获取到的一张工件图像进行识别以获得工件图像中焊缝位置信息时，则将所述工件的边线信息投影至相机成像平面上，通过将所获取到的工件图像中焊缝位置信息与工件的边线信息进行关联处理，根据处理结果以得到工件需焊接的焊缝信息，此外，当对所获取到的多张工件图像进行识别以获得多个工件图像中焊缝位置信息时，根据所获得的多个工件图像中焊缝位置信息进行分析处理以得到焊缝的三维信息，通过将计算所得的焊缝的三维信息与工件的边线信息进行关联处理，根据处理结果以得到工件需焊接的焊缝信息，本实施例中焊接信息包括工件的待焊接位置、机器人的加工姿态以及其他相关信息。

在本实施例中，将工件图像中焊缝位置信息与工件的边线信息进行关联处理的方法具体包括如下两种：其中一种为将工件的边线信息投影至相机成像平面上后，再将工件的边线信息与工件图像中焊缝位置信息进行关联处理，另外一种为将工件图像中焊缝位置信息转换为焊缝的三维信息后，再将焊缝的三维信息与工件的边线信息进行关联处理，如此即可根据处理结果以得到工件需焊接的焊缝信息，从而通过在三维扫描模块的空间座标位置定量准确性的基础上，再结合2D深度学习识别焊缝定性准确性，进而实现了基于图像识别技术且结合深度学习技术对工件的焊缝进行识别，如此即可进一步提高焊缝识别的准确性。

在本实施例中，得到工件需焊接的焊缝信息后，将比较所得的工件需焊接的焊缝信息下发至外部机器人上，机器人根据所下发的焊接信息对工件进行焊接工作。

在本实施例中，三维扫描模块可通过结构光技术以获得工件的三维结构信息，然后对所获得的工件的三维结构信息进行分析处理以获得工件的边线信息，从而使得工件的三维结构信息具有较高的位置精度，同时基于图像的目标识别技术以获得工件图像中焊缝位置信息，则可以进一步提高目标识别的准确率，通过将工件图像中焊缝位置信息与工件的边线信息进行关联处理，根据处理结果以得到工件需焊接的焊缝信息，从而实现工件待焊接的焊缝识别，进而达到焊缝高精度位置定位的目的，如此即可实现全自动焊接加工。

以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (6)

1.一种提升焊接自动化的方法，其特征在于，包括三维扫描模块和数据处理模块，其中所述三维扫描模块对外部工件进行扫描以将扫描所获得的信息反馈至所述数据处理模块上，所述数据处理模块对所接收到的信息进行处理，所述焊缝的识别方法包括如下步骤：

构建深度神经网络模型；

获取到工件图像；

通过所构建的深度神经网络模型对所述工件图像进行扫描识别以获得所述工件图像中焊缝位置信息和/或焊缝的三维信息；

对所述工件进行扫描以获得所述工件的三维结构信息；

对所获得的所述工件的三维结构信息进行分析处理以获得所述工件的边线信息；

将所述工件图像中焊缝位置信息与所述工件的边线信息进行关联处理，和/或将所述焊缝的三维信息与所述工件的边线信息进行关联处理，根据处理结果以得到所述工件需焊接的焊缝信息。

2.根据权利要求1所述的一种提升焊接自动化的方法，其特征在于，所述构建深度神经网络模型的步骤包括：

采集平面图像目标识别方案，并且对所采集的所述平面图像目标识别方案进行训练以构建深度神经网络模型。

3.根据权利要求1所述的一种提升焊接自动化的方法，其特征在于，所述通过所构建的深度神经网络模型对所述工件图像进行扫描识别以获得所述工件图像中焊缝位置信息的步骤包括：

当获取到一张所述工件图像时，通过所构建的深度神经网络模型，并且调用深度学习方法对所获取的所述工件图像进行识别以获得所述工件图像中焊缝位置信息。

4.根据权利要求3所述的一种提升焊接自动化的方法，其特征在于，所述将所述工件图像中焊缝位置信息与所述工件的边线信息进行关联处理的步骤包括：

将所述工件的边线信息投影至相机成像平面上；

通过将所述工件图像中焊缝位置信息与所述工件的边线信息进行关联处理。

5.根据权利要求1所述的一种提升焊接自动化的方法，其特征在于，所述通过所构建的深度神经网络模型对所述工件图像进行扫描识别以获得所述工件图像中焊缝的三维信息的步骤包括：

当获取到多张所述工件图像时，通过所构建的深度神经网络模型，并且调用深度学习方法分别对所获取的多张工件图像进行识别以获得多个所述工件图像中焊缝位置信息；

根据所获得的多张所述工件图像中焊缝位置信息进行分析处理以得到所述焊缝的三维信息。

6.根据权利要求1至5任一所述的一种提升焊接自动化的方法，其特征在于，所述根据处理结果以得到所述工件需焊接的焊缝信息后的步骤包括：

得到所述工件需焊接的焊缝信息后；

将比较所得的所述工件需焊接的焊缝信息下发至外部机器人上；

所述机器人根据所下发的焊接信息对所述工件进行焊接工作。

Images