CN117444478A - 一种焊缝识别系统及方法、电子设备 - Google Patents
一种焊缝识别系统及方法、电子设备 Download PDFInfo
- Publication number
- CN117444478A CN117444478A CN202311453168.3A CN202311453168A CN117444478A CN 117444478 A CN117444478 A CN 117444478A CN 202311453168 A CN202311453168 A CN 202311453168A CN 117444478 A CN117444478 A CN 117444478A
- Authority
- CN
- China
- Prior art keywords
- data
- target data
- module
- model
- management module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000003466 welding Methods 0.000 claims abstract description 74
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000007781 pre-processing Methods 0.000 claims description 49
- 238000002372 labelling Methods 0.000 claims description 35
- 238000011156 evaluation Methods 0.000 claims description 30
- 230000004927 fusion Effects 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 8
- 238000004140 cleaning Methods 0.000 claims description 7
- 238000012937 correction Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 description 40
- 238000000605 extraction Methods 0.000 description 27
- 230000011218 segmentation Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000010365 information processing Effects 0.000 description 4
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005493 welding type Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K37/00—Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
- B23K—SOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
- B23K31/00—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups
- B23K31/02—Processes relevant to this subclass, specially adapted for particular articles or purposes, but not covered by only one of the preceding main groups relating to soldering or welding
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种焊缝识别系统及方法、电子设备，该焊缝识别系统包括：数据获取模块、模型管理模块；数据获取模块用于获取待焊接工件的目标数据，并将目标数据发送给模型管理模块；模型管理模块用于接收目标数据，并响应于用户的模型选择操作，从管理的若干模型中选择至少一个模型，利用至少一个模型对目标数据进行处理，得到待焊接工件中的焊缝的预测类型以及焊缝的预测空间信息。通过上述方式，本申请能够实现自动识别焊缝。
Description
技术领域
本申请涉及自动化焊接技术领域，特别是涉及一种焊缝识别系统及方法、电子设备。
背景技术
随着社会不断的发展，机械化设备在现代生活中普遍使用，焊接使用场合不断激增，依靠工人手工焊接方法效率低、速度慢，已经不能满足现代焊接对于速度的要求。随着焊接技术数字化和智能化进程的加快，如何快速、高质量实现智能化焊接，减少施工人劳动力度，是急需解决的问题；而焊接工件焊缝的自动识别是实现自动焊接必要前提。
发明内容
本申请主要解决的技术问题是提供一种焊缝识别系统及方法、电子设备，能够自动识别焊缝。
为解决上述技术问题，本申请第一方面提供了一种焊缝识别系统，该系统包括：数据获取模块、模型管理模块；数据获取模块用于获取待焊接工件的目标数据，并将目标数据发送给模型管理模块；模型管理模块用于接收目标数据，并响应于用户的模型选择操作，从管理的若干模型中选择至少一个模型，利用至少一个模型对目标数据进行处理，得到待焊接工件中的焊缝的预测类型以及焊缝的预测空间信息。
其中，模型管理模块还用于提供显示界面，显示界面用于显示以下至少一者：模型管理模块管理的若干模型、至少一个模型对目标数据的处理过程、以及至少一个模型对目标数据的处理结果。
其中，模型管理模块还用于在用户选择至少两个模型对目标数据进行处理时，对至少两个模型的处理结果进行融合，得到融合结果，并基于融合结果确定焊缝的预测类型以及焊缝的预测空间信息。
其中，焊缝识别系统还包括数据预处理模块；数据预处理模块用于响应于用户对目标数据的第一预处理指令，对目标数据进行数据增强、数据清洗和数据去噪中的至少一种预处理操作，得到新的目标数据，并将新的目标数据发送至模型管理模块。
其中，数据预处理模块还用于响应于用户的标注指令，对目标数据进行标注，标注的内容包括待焊接工件中的焊缝真实类型以及焊缝的真实空间信息中的至少一者。
其中，目标数据包括图像数据；对目标数据进行数据增强，包括：对图像数据进行旋转、镜像翻转、缩放中的至少一种操作以得到新的目标数据；和/或，数据预处理模块还用于响应于用户对目标数据的第二预处理指令，对图像数据进行图像配准和颜色校正中的至少一种预处理操作。
其中，焊缝识别系统还包括存储模块；存储模块用于存储数据获取模块获取的目标数据；和/或，存储模块还用于响应于用户的数据划分指令，将目标数据划分为训练集和验证集，训练集用于对模型管理模块管理的若干模型进行训练，验证集用于对训练完成的若干模型的性能进行验证。
其中，存储模块包括更新单元；更新单元用于接收数据获取模块获取的最新的目标数据，并为最新的目标数据添加版本信息，将添加版本信息后最新的目标数据存储至存储模块。
其中，焊缝识别系统还包括性能评估模块；性能评估模块用于计算模型管理模块管理的若干模型在训练过程中的性能评价指标，性能评价指标包括准确率、召回率、F1分数中的至少一者；和/或，性能评估模块还用于响应于若干模型的性能评价指标低于阈值，发送数据获取指令给数据获取模块，以使数据获取模块重新获取目标数据，并将重新获取的目标数据发送至模型管理模块，使模型管理模块重新对若干模型进行训练。
其中，焊缝识别系统还包括数据预处理模块；性能评估模块还用于响应于若干模型的性能评价指标低于阈值，发送数据预处理指令给数据预处理模块，以使数据预处理模块对目标数据进行数据增强、数据清洗、数据去噪、图像配准和颜色校正中的至少一种预处理，得到新的目标数据，并将新的目标数据发送至模型管理模块，使模型管理模块重新对若干模型进行训练。
其中，目标数据包括图像数据和点云数据中的至少一者；图像数据包括彩色图像、深度图像、红外图像中的至少一者；和/或，焊缝的预测空间信息包括焊缝的位置、形状、角度和大小中的至少一者。
为解决上述技术问题，本申请第二方面提供了一种焊缝识别方法，该方法包括：利用数据获取模块获取待焊接工件的目标数据，并将目标数据发送给模型管理模块；利用模型管理模块接收目标数据，并响应于用户的模型选择操作，从管理的若干模型中选择至少一个模型，利用至少一个模型对目标数据进行处理，得到待焊接工件中的焊缝的预测类型以及焊缝的预测空间信息；其中，数据获取模块和模型管理模块属于上述第一方面提供的焊缝识别系统。
为解决上述技术问题，本申请第三方面提供了一种电子设备，该电子设备包括相互耦接的存储器和处理器，存储器存储有程序指令；处理器用于执行存储器中存储的程序指令，以实现上述第一方面提供的焊缝识别系统的各模块的功能或实现上述第二方面提供的焊缝识别方法。
本申请的有益效果是：区别于现有技术的情况，本申请提供一种焊缝识别系统，其包括数据获取模块和模型管理模块；数据获取模块用于获取待焊接工件的目标数据，并将目标数据发送给模型管理模块；模型管理模块用于接收目标数据，并响应于用户的模型选择操作，从管理的若干模型中选择至少一个模型，利用至少一个模型对目标数据进行处理，得到待焊接工件中的焊缝的预测类型以及焊缝的预测空间信息。通过利用模型对目标数据进行处理，即可实现自动识别待焊接工件中的焊缝。
附图说明
图1是本申请提供的焊缝识别系统一实施方式的框架示意图；
图2是本申请提供的焊缝识别方法一实施方式的流程示意图；
图3是本申请提供的电子设备一实施方式的框架结构示意图；
图4是本申请提供的计算机可读存储介质一实施方式的框架示意图。
具体实施方式
下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请实施例中有涉及“第一”、“第二”等的描述，该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
请参阅图1，图1是本申请提供的焊缝识别系统一实施方式的框架示意图。
在一实施方式中，焊缝识别系统包括数据获取模块和模型管理模块，数据获取模块用于获取待焊接工件的目标数据，并将目标数据发送给模型管理模块。具体地，待焊接工件的目标数据可以由数据采集设备发送至数据获取模块，数据采集设备可以是相机、激光扫描仪或红外摄像机等，也可以为其他传感器。目标数据可以包括图像数据和点云数据中的至少一者；所述图像数据包括彩色图像、深度图像、红外图像中的至少一者。在一具体实施方式中，可以利用3D相机对待焊接工件进行拍摄得到的彩色图像和待焊接工件的点云数据，作为目标数据。在其他实施方式中，也可以将多个数据采集设备采集的数据进行融合，得到目标数据。
模型管理模块用于接收目标数据，并响应于用户的模型选择操作，从管理的若干模型中选择至少一个模型，利用至少一个模型对目标数据进行处理，得到待焊接工件中的焊缝的预测类型以及焊缝的预测空间信息。焊缝的预测空间信息可以包括焊缝的位置、形状、角度和大小中的至少一者。在一实施方式中，模型管理模块用于管理多个深度学习模型，如目标检测模型、语义分割模型、特征提取模型等。多个深度学习模型可以是经过训练后的，也可以是未经训练的。当模型管理模块接收到目标数据后，用户可以根据实际需求从模型管理模块管理的若干模型中选择至少一个模型，则焊缝识别系统可以响应于用户的模型选择操作，选择的至少一个模型对目标数据进行处理，得到待焊接工件中的焊缝的预测类型以及焊缝的预测空间信息。可以理解地，此时用户选择的模型可以是经过训练的模型。在其他实施方式中，也可以选择未经训练的模型，利用目标数据对未经训练的模型进行训练。
在一实施方式中，用户从模型管理模块管理的若干模型中选择至少一个模型是通过模型管理模块提供的显示界面中选择，显示界面可以用于显示模型管理模块管理的若干模型、至少一个模型对目标数据的处理过程、以及至少一个模型对目标数据的处理结果中的至少一者。在一具体实施方式中，若用户选择两个或者多个模型对目标数据进行处理，则模型管理模块还可以将多个模型的处理结果进行融合，得到融合结果，进而基于融合结果确定焊缝的预测类型以及焊缝的预测空间信息；融合方式可以包括求和、加权求和等。在其他实施方式中，模型管理模块还可以将从多个模型的处理结果选出一最优处理结果，进而基于最优处理结果确定焊缝的预测类型以及焊缝的预测空间信息。例如，目标数据为待焊接工件的目标图像，利用目标检测模型和语义分割模型分别对目标图像进行处理，得到目标检测结果和语义分割结果。目标检测结果和语义分割结果均包括待焊接工件中焊缝的空间信息和类型。则可以选择目标检测结果和语义分割结果准确度较高的结果作为最优处理结果，将最优处理结果中待焊接工件中焊缝的空间信息和类型作为焊缝的预测类型以及焊缝的预测空间信息。在其他实施方式中，模型管理模块还可以对其管理的若干模型的版本进行控制，即标注每个模型的版本，以便跟踪模型的更新和改进。
其中，以用户选择的模型为语义分割模型，目标数据为待焊接工件的目标图像和待焊接工件的点云数据为例，利用语义分割模型对目标数据进行处理，得到待焊接工件中的焊缝的预测类型以及焊缝的预测空间信息包括：对目标图像进行语义分割，得到目标图像中的焊缝的类型；并对目标图像进行实例分割，得到目标图像的掩码数据；目标图像的掩码数据包括若干个表征不同焊缝区域的掩码子数据。焊缝的预测空间信息包括焊缝的端点信息、焊缝的大小、焊缝的角度中至少一者。对于每个焊缝区域，基于焊缝区域对应的掩码子数据，拟合得到焊缝区域的最小外接矩形；利用最小外接矩形的位置，确定属于该焊缝区域的焊缝的端点的二维坐标和焊缝的大小中的至少一者；基于最小外接矩形的位置、焊缝的端点的二维坐标和待焊接工件的点云数据，确定焊缝的端点的三维坐标和焊缝的角度。
具体地，对于每个焊缝区域，利用该焊缝区域对应的掩码子数据，拟合得到该焊缝区域的最小外接矩形后，可以获取最小外接矩形的四个角点的坐标，通过四个角点的坐标可以确定最小外接矩形的窄边，并获取窄边的中点的坐标作为属于该焊缝区域的焊缝的端点的二维坐标，即可以知道焊缝在目标图像中的端点，然后，获取窄边的宽度作为属于该焊缝区域的焊缝的宽度，根据焊缝的端点即可得到焊缝的长度。可以理解地，此处的端点即为焊缝两端的两个点，即端点的数量为2。根据最小外接矩形的四个角点的坐标在RGB图像中获取ROI区域(感兴趣区域)，ROI区域可以包含最小外接矩形，或者ROI区域也可以是最小外接矩形所在的区域，基于ROI区域和对应关系确定点云数据中的3D ROI区域，对应关系为RGB图像中的各像素点与点云数据中的每个点之间的对应关系；删除3D ROI区域中的nan值(表示未定义或不可表示的值)和离散点。根据属于该焊缝区域的焊缝的端点的二维坐标和对应关系，找到3D端点，基于3D ROI区域拟合一个焊缝平面，使该焊缝平面包含3D ROI区域，将3D端点投影到该焊缝平面，将3D端点在该焊缝平面的投影点作为焊缝的最终3D端点，最终3D端点的坐标即为焊缝的端点的三维坐标。拟合焊缝平面的法向量，确定三维坐标系的z轴方向，根据两个最终3D端点确定x轴方向，将x轴方向和z轴方向叉乘得到y轴方向，确定三维坐标系后，即可得到焊缝的角度。
其中，以用户选择的模型为目标检测模型，目标数据为待焊接工件的目标图像为例，利用目标检测模型对目标数据进行处理，得到待焊接工件中的焊缝的预测类型以及焊缝的预测空间信息包括：目标检测模型可以基于目标图像进行目标检测，得到表征待焊接工件中焊缝的目标点集和焊缝的预测类型；利用目标点集中的各目标点的位置，拟合各目标点的最小外接矩形；基于最小外接矩形的位置，得到焊缝的预测空间信息。
在一实施方式中，焊缝识别系统还包括数据预处理模块；数据预处理模块可以和数据获取模块、模型管理模块连接，用于对数据获取模块获取的待焊接工件的目标数据进行预处理，并将预处理后的数据发送至模型管理模块，使得模型管理模块利用至少一个模型对预处理后的数据进行处理，得到待焊接工件中的焊缝的预测类型以及焊缝的预测空间信息。具体地，数据预处理模块可以用于响应于用户对目标数据的第一预处理指令，对目标数据进行数据增强、数据清洗和数据去噪中的至少一种预处理操作，得到新的目标数据，并将新的目标数据发送至模型管理模块；通过对数据清洗和去噪操作有助于减少噪音对模型训练的干扰。在其他实施方式中，当目标数据为图像数据时，对目标数据进行数据增强可以是对图像数据进行旋转、镜像翻转、缩放中的至少一种操作。在一实施方式中，用户还可以对目标数据进行第二预处理，例如，目标数据为图像数据时，用户可以发出对图像数据的第二预处理指令，则数据预处理模块可以响应于用户对目标数据的第二预处理指令，对图像数据进行图像配准和颜色校正中的至少一种预处理操作，对图像进行配准能够确保不同时间点采集的图像数据能够对齐，这对于追踪焊缝的变化和演化非常重要。对图像的颜色进行校正能够确保不同光照条件下采集的图像在颜色和亮度上一致，提高模型的稳健性。可以理解地，在其他实施方式中，为了增强数据多样性，删除无效的数据，根据目标数据的类型的不同，用户可以执行多种预处理操作，此处不再一一举例。
在一实施方式中，当目标数据用于对模型进行训练时，数据预处理模块还用于响应于用户的标注指令，对目标数据进行标注，标注的内容包括待焊接工件中的焊缝真实类型以及焊缝的真实空间信息中的至少一者，焊缝的真实空间信息可以包括焊缝的真实位置、真实角度、真实端点、真实大小、真实形状等信息。
在一实施方式中，焊缝识别系统还包括存储模块，存储模块用于存储数据获取模块获取的待焊接工件的目标数据，和/或用于存储数据预处理模块预处理后得到新的目标数据。在一具体实施方式中，当目标数据用于对模型进行训练时，存储模块还可以用于响应于用户的数据划分指令，将目标数据划分为训练集和验证集，训练集用于对模型管理模块管理的若干模型进行训练，验证集用于对训练完成的若干模型的性能进行验证。其中，训练集和验证集的比例可以由用户设置，例如，将80％的目标数据作为训练集，将20％的目标数据作为验证集。
在其他实施方式中，存储模块还可以为目标数据添加版本信息，以便追踪目标数据的更改历史。在一实施方式中，存储模块还包括更新单元；更新单元用于接收数据获取模块和/或数据预处理模块得到的最新的目标数据，并为最新的目标数据添加版本信息，将添加版本信息后最新的目标数据存储至存储模块。
在一实施方式中，焊缝识别系统还可以包括性能评估模块；性能评估模块用于计算模型管理模块管理的若干模型在训练过程中的性能评价指标，性能评价指标包括准确率、召回率、F1分数中的至少一者；通过性能评价指标可以更全面地了解模型的性能。在另一实施方式中，当性能评价指标低于阈值，例如，准确率低于设置的准确率阈值；且焊缝识别系统包含数据获取模块、模型管理模块、性能评估模块时，性能评估模块可以响应于若干模型的性能评价指标低于阈值，发送数据获取指令给数据获取模块，以使数据获取模块重新获取目标数据，并将重新获取的目标数据发送至模型管理模块，使模型管理模块重新对若干模型进行训练。
在其他实施方式中，当性能评价指标低于阈值，例如，准确率低于设置的准确率阈值；且焊缝识别系统包含数据获取模块、数据预处理模块、模型管理模块、性能评估模块时，性能评估模块还用于响应于若干模型的性能评价指标低于阈值，发送数据预处理指令给数据预处理模块，以使数据预处理模块对目标数据进行数据增强、数据清洗、数据去噪、图像配准和颜色校正中的至少一种预处理，得到新的目标数据，并将新的目标数据发送至模型管理模块，使模型管理模块重新对若干模型进行训练。可以理解地，性能评估模块也可以分别发送数据预处理指令和数据获取指令给数据预处理模块和数据获取模块，以使数据预处理模块和数据获取模块进行相关操作，得到新的目标数据。
上述实施方式中，模型管理模块还可以利用目标数据对至少一个模型进行训练。在一具体实施方式中，至少一个模型包括语义分割模型和目标检测模型，目标数据为对待焊接工件拍摄得到的样本图像。对语义分割模型进行训练的步骤包括：利用语义分割模型对样本图像进行语义分割，得到样本图像中样本焊缝的样本类型，并对样本图像进行实例分割，得到样本图像的样本掩码数据，样本掩码数据包括预测掩码区域和预测掩码区域的二进制掩码；基于样本掩码数据和标注掩码数据，计算掩码损失，标注掩码数据包括标注掩码区域和标注掩码区域的标注二进制掩码；并基于样本类型和标注类型，计算类别损失；至少基于掩码损失和类别损失，调整焊缝识别模型的网络参数。
在一实施方式中，可以对掩码损失和类别损失进行求和，得到掩码分类损失，基于掩码分类损失，调整焊缝识别模型的网络参数。掩码分类损失可采用下述公式得到。
其中，表示掩码分类损失，/>表示分类损失，表示掩码损失，N表示样本掩码数据中预测掩码区域的数量，pσ(j)表示第j个预测掩码区域属于K个预测类型的概率，/>表示与第j个预测掩码区域对应的标注掩码区域的标注类型，mσ(j)表示第j个预测掩码区域的二进制掩码，/>表示与第j个预测掩码区域对应的标注掩码区域的标注二进制掩码。
在另一实施方式中，由于焊缝识别模型进行语义分割得到的是包围焊缝的一块区域，而焊接需要则是焊缝的两个端点和宽度，因此，还可以引入距离损失，基于掩码损失、类别损失和距离损失，调整焊缝识别模型的网络参数。具体地，在对样本图像进行语义分割和实例分割，得到样本图像中样本焊缝的样本类型和样本图像的样本掩码数据之后，基于样本掩码数据和待焊接工件的样本点云数据，得到样本焊缝的预测端点位置。基于预测端点位置和标注的真实端点位置之间的差异，得到距离损失；基于掩码损失、类别损失和距离损失，调整焊缝识别模型的网络参数，在一实施方式中，对掩码损失、类别损失和距离损失进行求和，得到总损失，基于总损失，调整焊缝识别模型的网络参数；在其他实施方式中，也可以对每个损失赋予不同的权重，进行加权后，得到总损失，故总损失的具体计算方式，此处不做具体限定。在一实施方式中，距离损失可以通过计算各预测端点和各真实端点之间的距离并求平均之后得到；距离损失的计算过程可参考下述公式：
其中，表示距离损失，/>表示预测端点位置，/>表示标注的真实端点位置，i表示第i个预测端点，j表示第j个真实端点。
对目标检测模型进行训练的步骤包括：利用目标检测模型基于样本图像进行目标检测，得到样本检测结果；基于样本检测结果和标注结果，计算最终损失；基于最终损失，调整目标检测模型的网络参数。在一实施方式中，可以基于目标检测模型得到的最终样本检测结果和标注结果之间的差异，计算最终损失。在另一实施方式中，也可以基于目标检测模型得到的中间样本检测结果和最终样本检测结果分别与标注结果之间的差异，计算最终损失。
在一具体实施方式中，利用目标检测模型基于第一样本特征进行第一次目标检测，得到第一样本检测结果；此时，第一样本检测结果是目标检测模型进行目标检测的中间处理结果。其中，第一样本检测结果包括若干个表征待焊接工件中各焊缝的第一样本点集、各第一样本点集的准确度得分以及各焊缝的第一预测类型；从若干第一样本点集中选择准确度得分大于预设得分的第一样本点集，作为候选样本点集；预设得分可以由用户设置，在另一实施方式中，也可以按照从大到小的顺序对准确度得分进行排序，选择排名靠前的准确度得分对应的第一样本点集，作为候选样本点集。基于目标检测模型基于候选样本点集进行第二次目标检测，得到第二样本检测结果，第二样本检测结果包括表征焊缝的第二样本点集和焊缝的第二预测类型。基于第一样本检测结果和标注结果，计算第一损失，并基于第二样本检测结果和标注结果，计算第二损失，基于第一预测类型、第二预测类型和标注类型，计算第三损失；基于第一损失、第二损失和第三损失，得到最终损失。
在一实施方式中，可以通过下述方式得到第一损失或第二损失，基于目标样本检测结果中的目标样本点集中的各样本点的位置，拟合得到预测边界框；基于标注结果中的标注边界框的位置与预测边界框的位置，计算第四损失；其中，标注边界框基于标注结果中的标注点集中的各标注点的位置拟合得到。若目标样本检测结果包括多个目标样本点集，即能够拟合得到多个预测边界框，标注结果中也包括多个标注点集，即也能够拟合得到多个标注边界框，则针对每个标注边界框，可以计算该标注边界框与各预测边界框之间的重合度，将重合度大于预设重合度的预测边界框作为该标注边界框的正样本边界框，也即将重合度大于预设重合度的预测边界框对应的目标样本点集作为该标注边界框对应的标注点集的正样本点集。进一步，基于标注边界框的位置与该标注边界框的正样本边界框的位置，计算第四损失。第四损失具体可采用下述公式得到。
其中，表示第四损失，Nloc表示正样本点集的总数，/>表示第j个标注边界框的位置，/>表示第j个标注边界框对应的第i个正样本边界框的位置，/>表示第j个标注边界框的标注类型。
进一步，将目标样本点集中各样本点中超出标注边界框的样本点，作为目标样本点；基于目标样本点与标注边界框的中心点之间的距离、目标样本点的数量以及样本点的总数，确定第五损失；第五损失具体可采用下述公式得到。
其中，Na表示每个焊缝分配的正样本点集的数量，No表示每个目标样本点集中目标样本点的数量，ρij表示惩罚项，当正样本点集中的样本点超出标注边界框，则惩罚项等于超出标注边界框的样本点的坐标与标注边界框的中心点坐标之差的绝对值，否则，惩罚项等于0。
最后，基于第四损失和第五损失，确定目标损失。在一实施方式中，可以对第四损失和第五损失进行求和，得到目标损失，即目标损失在其他实施方式中，也可以对第四损失和第五损失进行加权后再求和，得到目标损失。
其中，当目标样本检测结果为第一样本检测结果，对应得到的目标损失为第一损失；当目标样本检测结果为第二样本检测结果，对应得到的目标损失为第二损失。
在一实施方式中，基于第一预测类型、第二预测类型和标注类型，计算第三损失，包括：基于第一预测类型和标注类型的差异，计算第六损失，基于第二预测类型与标注类型的差异，计算第七损失，对第六损失和第七损失进行求和，得到第三损失。第六损失和第七损失的计算过程相同，均可以采用下述公式得到。
其中，表示第六损失，Ncls表示第一样本点集的数量，/>表示第一预测类型的置信度，/>表示标注类型，/>表示focal loss损失；或，/>表示第七损失，Ncls表示第二样本点集的数量，/>表示第二预测类型的置信度，/>表示标注类型，/>表示focal loss损失。
通过上述方式，可以得到第一损失、第二损失和第三损失，对第一损失、第二损失和第三损失进行求和，得到最终损失。在其他实施方式中，为了进一步提高模型性能，还实施了主动学习(Active Learning)方法，焊缝识别系统可以向标注员工提供具有挑战性的样本，以帮助模型学习难以识别的焊缝情况。
需说明的是，本申请提供的焊缝识别系统包括的各个模块之间可以相互进行通信，并不是孤立的。
请参阅图2，图2是本申请提供的焊缝识别方法一实施方式的流程示意图，该方法包括：
S21：利用数据获取模块获取待焊接工件的目标数据，并将目标数据发送给模型管理模块。
S22：利用模型管理模块接收目标数据，并响应于用户的模型选择操作，从管理的若干模型中选择至少一个模型，利用至少一个模型对目标数据进行处理，得到待焊接工件中的焊缝的预测类型以及焊缝的预测空间信息。
其中，数据获取模块和模型管理模块属于上述任一焊缝识别系统。步骤S21和S22的具体实施方式请参考上述焊缝识别系统实施例中的相关描述，此处不再赘述。
在一实施方式中，数据获取模块获取待焊接工件的目标数据包括两种模态的数据，例如，目标数据包括待焊接工件的彩色图像和待焊接工件的深度图像。在利用至少一个模型对目标数据进行处理前，可以对彩色图像和参考图像进行特征提取，得到待焊接工件的初始特征和深度特征，基于初始特征和深度特征进行特征融合，得到待焊接工件的目标特征，进而利用至少一个模型对目标特征进行处理，得到待焊接工件中的焊缝的预测类型以及焊缝的预测空间信息。
其中，待焊接工件的目标特征可以为多个，具体地，可以分别对彩色图像和深度图像进行若干级特征提取；当前级特征提取的输入特征为前一级特征提取得到的输出特征；将最后一级特征提取得到的输出特征，作为初始特征和深度特征。基于对彩色图像进行当前级特征提取得到的第一输出特征和当前级的融合特征进行特征提取，得到第一特征以及第一置信度；基于对深度图像进行当前级特征提取得到的第二输出特征和当前级的融合特征进行特征提取，得到第二特征以及第二置信度；基于第一置信度和第二置信度，得到第一权重和第二权重；利用第一权重和第二权重分别对第一特征和第二特征进行加权处理，得到当前级特征提取对应的目标特征。其中，当前级的融合特征为当前级的后一级特征提取对应的目标特征，最后一级的融合特征是对初始特征和深度特征进行注意力处理，得到的注意力特征。
在一具体实施方式中，利用四个特征提取层对彩色图像进行特征提取，得到分辨率为彩色图像分辨率的1/4、1/8、1/16和1/32的四个第一输出特征，分辨率为1/32的第一输出特征即为初始特征，利用四个特征提取层对深度图像进行特征提取，得到分辨率为深度图像分辨率的1/4、1/8、1/16和1/32的四个第二输出特征，分辨率为1/32的第二输出特征即为深度特征，利用注意力层对深度特征和初始特征进行注意力处理，得到注意力特征，将注意力特征作为最后一个特征提取层对应的融合特征，即注意力特征作为最后一级的融合特征。将最后一级的第一输出特征和最后一级的融合特征连接在一起，即将初始特征和最后一级的融合特征连接在一起，对连接在一起的特征进行特征提取，得到第一特征以及第一置信度；并将最后一级的第二输出特征和最后一级的融合特征连接在一起，即将深度特征和最后一级的融合特征连接在一起，对连接在一起的特征进行特征提取，得到第二特征以及第二置信度；基于第一置信度和第二置信度，得到第一权重和第二权重；利用第一权重和第二权重分别对第一特征和第二特征进行加权处理，得到最后一级特征提取对应的目标特征。
将最后一级特征提取对应的目标特征作为第三级特征提取的融合特征，将第三级特征提取得到的第一输出特征和第三级特征提取的融合特征连接在一起，即将分辨率为1/16的第一融合特征和第三级特征提取的融合特征连接在一起，对连接在一起的特征进行特征提取，得到第一特征以及第一置信度；并将第三级特征提取得到的第二输出特征和第三级特征提取的融合特征连接在一起，即将分辨率为1/16的第二融合特征和第三级特征提取的融合特征连接在一起，对连接在一起的特征进行特征提取，得到第二特征以及第二置信度；基于第一置信度和第二置信度，得到第一权重和第二权重；利用第一权重和第二权重分别对第一特征和第二特征进行加权处理，得到第三级特征提取对应的目标特征。
同理，采用同样的方式得到第二级特征提取对应的目标特征以及第一级特征提取对应的目标特征。通过上述方式，即可得到每个特征提取层对应的目标特征。在一具体实施方式中，每级特征提取对应的目标特征可由下述公式得到。
其中，表示第i级特征提取对应的目标特征，/>表示第i级特征提取得到的第一置信度，/>表示第i级特征提取得到的第二置信度，/>表示第i级特征提取得到的第一特征，/>表示第i级特征提取得到的第二特征。
请参阅图3，图3是本申请提供的电子设备一实施方式的框架结构示意图。
电子设备30包括相互耦接的存储器31和处理器32，存储器31存储有程序指令，处理器32用于执行存储器31中存储的程序指令，以实现上述任一焊缝识别系统实施例中的各模块的功能或实现上述任一方法实施方式的步骤。在一个具体的实施场景中，电子设备30可以包括但不限于：微型计算机、服务器，此外，电子设备30还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
具体而言，处理器32用于控制其自身以及存储器31以实现上述任一焊缝识别系统实施例中的各模块的功能或实现上述任一方法实施方式的步骤。处理器32还可以称为CPU(Central Processing Unit，中央处理单元)。处理器32可能是一种集成电路芯片，具有信号的处理能力。处理器32还可以是通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器32可以由集成电路芯片共同实现。
请参阅图4，图4是本申请提供的计算机可读存储介质一实施方式的框架示意图。
计算机可读存储介质40存储有程序指令41，程序指令41被处理器执行时，用以实现上述任一焊缝识别系统实施例中的各模块的功能或实现上述任一方法实施方式的步骤。
计算机可读存储介质40具体可以为U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等可以存储计算机程序的介质，或者也可以为存储有该计算机程序的服务器，该服务器可将存储的计算机程序发送给其他设备运行，或者也可以自运行该存储的计算机程序。
若本申请技术方案涉及个人信息，应用本申请技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本申请技术方案涉及敏感个人信息，应用本申请技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式以及处理的个人信息种类等信息。
以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (11)
1.一种焊缝识别系统，其特征在于，包括：数据获取模块、模型管理模块；
所述数据获取模块用于获取待焊接工件的目标数据，并将所述目标数据发送给模型管理模块；
所述模型管理模块用于接收所述目标数据，并响应于用户的模型选择操作，从管理的若干模型中选择至少一个模型，利用所述至少一个模型对所述目标数据进行处理，得到所述待焊接工件中的焊缝的预测类型以及所述焊缝的预测空间信息。
2.根据权利要求1所述的系统，其特征在于，所述模型管理模块还用于提供显示界面，所述显示界面用于显示以下至少一者：所述模型管理模块管理的所述若干模型、所述至少一个模型对所述目标数据的处理过程、以及至少一个模型对所述目标数据的处理结果；
和/或，所述模型管理模块还用于在所述用户选择至少两个模型对所述目标数据进行处理时，对所述至少两个模型的处理结果进行融合，得到融合结果，并基于所述融合结果确定所述焊缝的预测类型以及所述焊缝的预测空间信息。
3.根据权利要求1所述的系统，其特征在于，所述焊缝识别系统还包括数据预处理模块；
所述数据预处理模块用于响应于所述用户对所述目标数据的第一预处理指令，对所述目标数据进行数据增强、数据清洗和数据去噪中的至少一种预处理操作，得到新的目标数据，并将所述新的目标数据发送至所述模型管理模块；
和/或，所述数据预处理模块还用于响应于用户的标注指令，对所述目标数据进行标注，所述标注的内容包括所述待焊接工件中的焊缝真实类型以及所述焊缝的真实空间信息中的至少一者。
4.根据权利要求3所述的系统，其特征在于，所述目标数据包括图像数据；
所述对所述目标数据进行数据增强，包括：
对所述图像数据进行旋转、镜像翻转、缩放中的至少一种操作以得到所述新的目标数据；
和/或，所述数据预处理模块还用于响应于所述用户对所述目标数据的第二预处理指令，对所述图像数据进行图像配准和颜色校正中的至少一种预处理操作。
5.根据权利要求1所述的系统，其特征在于，所述焊缝识别系统还包括存储模块；
所述存储模块用于存储所述数据获取模块获取的所述目标数据；和/或，所述存储模块还用于响应于所述用户的数据划分指令，将所述目标数据划分为训练集和验证集，所述训练集用于对所述模型管理模块管理的所述若干模型进行训练，所述验证集用于对训练完成的所述若干模型的性能进行验证。
6.根据权利要求5所述的系统，其特征在于，所述存储模块包括更新单元；
所述更新单元用于接收所述数据获取模块获取的最新的所述目标数据，并为最新的所述目标数据添加版本信息，将添加版本信息后最新的所述目标数据存储至所述存储模块。
7.根据权利要求1所述的系统，其特征在于，所述焊缝识别系统还包括性能评估模块；
所述性能评估模块用于计算所述模型管理模块管理的所述若干模型在训练过程中的性能评价指标，所述性能评价指标包括准确率、召回率、F1分数中的至少一者；
和/或，所述性能评估模块还用于响应于所述若干模型的性能评价指标低于阈值，发送数据获取指令给所述数据获取模块，以使所述数据获取模块重新获取所述目标数据，并将重新获取的所述目标数据发送至所述模型管理模块，使模型管理模块重新对所述若干模型进行训练。
8.根据权利要求7所述的系统，其特征在于，所述焊缝识别系统还包括数据预处理模块；
所述性能评估模块还用于响应于所述若干模型的性能评价指标低于阈值，发送数据预处理指令给所述数据预处理模块，以使所述数据预处理模块对所述目标数据进行数据增强、数据清洗、数据去噪、图像配准和颜色校正中的至少一种预处理，得到新的目标数据，并将所述新的目标数据发送至所述模型管理模块，使模型管理模块重新对所述若干模型进行训练。
9.根据权利要求1所述的系统，其特征在于，所述目标数据包括图像数据和点云数据中的至少一者；所述图像数据包括彩色图像、深度图像、红外图像中的至少一者；
和/或，所述焊缝的预测空间信息包括所述焊缝的位置、形状、角度和大小中的至少一者。
10.一种焊缝识别方法，其特征在于，包括：
利用数据获取模块获取待焊接工件的目标数据，并将所述目标数据发送给模型管理模块；
利用所述模型管理模块接收所述目标数据，并响应于用户的模型选择操作，从管理的若干模型中选择至少一个模型，利用所述至少一个模型对所述目标数据进行处理，得到所述待焊接工件中的焊缝的预测类型以及所述焊缝的预测空间信息；其中，所述数据获取模块和所述模型管理模块属于权利要求1-9任一项所述的焊缝识别系统。
11.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，
所述存储器存储有程序指令；
所述处理器用于执行所述存储器中存储的程序指令，以实现权利要求1至9任一项所述的焊缝识别系统的各模块的功能或实现权利要求10所述的焊缝识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311453168.3A CN117444478A (zh) | 2023-11-02 | 2023-11-02 | 一种焊缝识别系统及方法、电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311453168.3A CN117444478A (zh) | 2023-11-02 | 2023-11-02 | 一种焊缝识别系统及方法、电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117444478A true CN117444478A (zh) | 2024-01-26 |
Family
ID=89581466
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311453168.3A Pending CN117444478A (zh) | 2023-11-02 | 2023-11-02 | 一种焊缝识别系统及方法、电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117444478A (zh) |
-
2023
- 2023-11-02 CN CN202311453168.3A patent/CN117444478A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111563442B (zh) | 基于激光雷达的点云和相机图像数据融合的slam方法及系统 | |
| WO2021008328A1 (zh) | 图像处理方法、装置、终端及存储介质 | |
| CN108197587B (zh) | 一种通过人脸深度预测进行多模态人脸识别的方法 | |
| CN110569703B (zh) | 计算机执行的从图片中识别损伤的方法及装置 | |
| US8401292B2 (en) | Identifying high saliency regions in digital images | |
| Zhang et al. | When Dijkstra meets vanishing point: a stereo vision approach for road detection | |
| CN109960742B (zh) | 局部信息的搜索方法及装置 | |
| CN111797791A (zh) | 人体姿态识别方法及装置 | |
| CN110264444B (zh) | 基于弱分割的损伤检测方法及装置 | |
| CN110738101A (zh) | 行为识别方法、装置及计算机可读存储介质 | |
| US20110206276A1 (en) | Hybrid graph model for unsupervised object segmentation | |
| CN110555481A (zh) | 一种人像风格识别方法、装置和计算机可读存储介质 | |
| TWI716012B (zh) | 樣本標註方法、裝置、儲存媒體和計算設備、損傷類別的識別方法及裝置 | |
| CN115797736B (zh) | 目标检测模型的训练和目标检测方法、装置、设备和介质 | |
| CN112634368A (zh) | 场景目标的空间与或图模型生成方法、装置及电子设备 | |
| CN113989604A (zh) | 基于端到端深度学习的轮胎dot信息识别方法 | |
| CN111339967A (zh) | 一种基于多视域图卷积网络的行人检测方法 | |
| CN113780145A (zh) | 精子形态检测方法、装置、计算机设备和存储介质 | |
| CN111709269B (zh) | 一种深度图像中基于二维关节信息的人手分割方法和装置 | |
| CN113780040A (zh) | 唇部关键点的定位方法及装置、存储介质、电子设备 | |
| Sameki et al. | ICORD: Intelligent Collection of Redundant Data-A Dynamic System for Crowdsourcing Cell Segmentations Accurately and Efficiently. | |
| CN117444478A (zh) | 一种焊缝识别系统及方法、电子设备 | |
| CN112750124B (zh) | 模型生成、图像分割方法、装置、电子设备及存储介质 | |
| Li et al. | Application of human body gesture recognition algorithm based on deep learning in non-contact human body measurement | |
| CN117636109A (zh) | 焊缝识别方法、焊缝识别网络训练方法、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |