CN116703914B - 基于生成式人工智能的焊接缺陷检测方法、设备及介质 - Google Patents

Abstract

本申请实施例公开了基于生成式人工智能的焊接缺陷检测方法、设备及介质，属于图像数据处理领域。解决了现有技术中通过人工对电路焊接检测效率较低的问题。获取用户上传的电路焊接图像，基于电路焊接图像中焊接工件的位置，确定出焊接工件的焊接位置缺陷；将电路焊接图像输入焊点轮廓检测模型，获取各焊点分别对应的边缘坐标；基于边缘坐标确定出第一焊点缺陷；基于用户上传的电路焊接图像样本集，生成电路焊接缺陷检测数据集；通过电路焊接缺陷检测数据集，生成焊点缺陷检测模型组；将电路焊接图像输入焊点缺陷检测模型组，获取第二焊点缺陷；基于焊接工件的焊接位置缺陷、第一焊点缺陷与第二焊点缺陷，确定出电路焊接图像的焊接缺陷。

Description

基于生成式人工智能的焊接缺陷检测方法、设备及介质

技术领域

本申请涉及图像数据处理领域，尤其涉及基于生成式人工智能的焊接缺陷检测方法、设备及介质。

背景技术

焊接缺陷，是指在对目标部件进行焊接的过程中，焊接接头部位形成的缺陷，常见的电路焊接缺陷包括：缺焊、少锡、歪贴和桥接等焊接缺陷。

在焊接电子元件时，无论是人工还是器械化生产，都有一定的概率会出现焊接缺陷，而这些缺陷将对电子产品的可靠性造成严重影响，为此对电子元件焊接质量进行检测尤为重要。

在传统的焊接缺陷检测中，多是通过对焊接产品进行抽样破拆检测的方式进行检查，整个过程依赖于工人手动实现。但是当焊接产品比较大、焊接点比较多时，不但需要耗费大量人力资源，并且检测效率也十分低下，难以满足现代化生产要求。

发明内容

本申请实施例提供了基于生成式人工智能的焊接缺陷检测方法、设备及介质，用于解决如下技术问题：当焊接产品比较大、焊接点比较多时，不但需要耗费大量人力资源，并且检测效率也十分低下，难以满足现代化生产要求。

本申请实施例采用下述技术方案：

本申请实施例提供基于生成式人工智能的焊接缺陷检测方法。包括，获取用户上传的电路焊接图像，基于电路焊接图像中焊接工件的位置，确定出焊接工件的焊接位置缺陷；将电路焊接图像输入焊点轮廓检测模型，以获取电路焊接图像中各焊点分别对应的边缘坐标；基于边缘坐标以及电路焊接图像对应的器件边框信息，确定出第一焊点缺陷；基于用户上传的电路焊接图像样本集，生成电路焊接缺陷检测数据集；通过电路焊接缺陷检测数据集，生成焊点缺陷检测模型组；将电路焊接图像输入焊点缺陷检测模型组，以获取电路焊接图像对应的第二焊点缺陷；其中，焊点缺陷检测模型组中包括有多个检测不同焊点缺陷类型的模型；基于焊接工件的焊接位置缺陷、第一焊点缺陷与第二焊点缺陷，确定出电路焊接图像的焊接缺陷。

本申请实施例通过确定出电路焊接图像中焊接工件的位置，能够对焊接工件的位置进行确定，从而检测出位置出现错误的焊接工件。其次，本申请实施例通过获取焊点的边缘坐标，确定出各个焊点的大小是否符合要求，以防止出现焊点超出器件边框的情况发生。此外，本申请实施例通过用户上传的电路焊接图像样本集，生成电路焊接缺陷检测数据集，能够基于较少的样本集生成较多数量的数据集，通过数量较多的数据集对焊点缺陷检测模型进行训练，能够提高模型检测的准确度，同时也无需大量人工成本获取电路焊接图像样本。通过训练后的模型对焊点进行缺陷检测，不但降低耗费的人力资源，并且检测效率也较高，满足现代化生产要求。

在本申请的一种实现方式中，基于用户上传的电路焊接图像样本集，生成电路焊接缺陷检测数据集，具体包括：将电路焊接图像样本集与电路焊接图像样本集对应的缺陷信息输入预置模型，以对预置模型进行训练，得到电路焊接缺陷识别模型；将预置无缺陷焊接图输入预置生成器，通过预置生成器输出参考缺陷电路焊接图；将参考缺陷电路焊接图输入至电路焊接缺陷识别模型，输出参考电路焊接缺陷信息；将参考电路焊接缺陷信息输入至预置判别器，得到参考判别缺陷信息；基于参考判别缺陷信息与参考电路焊接缺陷信息，对预置生成器与预置判别器进行训练，以得到参考生成器与参考判别器；通过参考生成器与参考判别器，生成电路焊接缺陷检测数据集。

在本申请的一种实现方式中，基于参考判别缺陷信息与参考电路焊接缺陷信息，对预置生成器与预置判别器进行训练，以得到参考生成器与参考判别器，具体包括：将参考电路焊接缺陷信息与电路焊接图像样本对应的缺陷信息进行比对，在比对结果符合预置条件的情况下，确定预置生成器符合要求，并将预置生成器作为参考生成器；以及确定出参考判别缺陷信息与参考电路焊接缺陷信息之间的相似度，在相似度符合相似度阈值的情况下，确定预置判别器符合要求，并将预置判别器作为参考判别器。

在本申请的一种实现方式中，通过电路焊接缺陷检测数据集，生成焊点缺陷检测模型组，具体包括：基于电路焊接缺陷检测数据集的缺陷类型，对电路焊接缺陷检测数据集进行分组；其中，缺陷类型至少包括虚焊、焊料过多、焊料过少以及拉尖中的一项；将各组的电路焊接缺陷检测数据集分别输入各预置检测模型，以对各预置检测模型进行训练，以得到焊点缺陷检测模型组。

在本申请的一种实现方式中，基于边缘坐标以及电路焊接图像对应的器件边框信息，确定出第一焊点缺陷，具体包括：对各焊点分别对应的边缘坐标进行连接，以得到闭合区域；将闭合区域与背景区域进行区分，以像素区域为单位将电路焊接图像分割为多个相互独立的子区域；将多个相互独立的子区域进行像素点重合检测，以得到第一重合检测信息；以及基于器件边框信息确定出电路器件边缘坐标，以基于电路器件边缘坐标确定出电路器件对应的坐标集合，将多个相互独立的子区域分别与电路器件对应的坐标集合进行重合检测，以得到第二重合检测信息；基于第一重合检测信息与第二重合检测信息，确定出第一焊点缺陷。

在本申请的一种实现方式中，基于第一重合检测信息与第二重合检测信息，确定出第一焊点缺陷，具体包括：在第一重合检测信息中，存在重合像素坐标的情况下，确定重合像素坐标对应的子区域存在桥联焊点缺陷；以及在第二重合检测信息中，存在重合像素坐标的情况下，确定重合像素坐标对应的子区域存在焊点超范围缺陷。

在本申请的一种实现方式中，基于边缘坐标以及电路焊接图像对应的器件边框信息，确定出第一焊点缺陷之后，方法还包括：基于电路焊接图像中各焊点分别对应的边缘坐标，确定出实际焊点数量；基于电路焊接图像对应的器件边框信息，确定出电路器件型号，基于电路器件型号确定出焊接点参考焊接点数量；在实际焊接点数量与参考焊接点数量不一致的情况下，确定出数量不一致的焊点所对应的参考器件边框信息；基于参考器件边框信息，确定点焊机发出的点焊信号，在点焊信号与参考器件边框信息对应的应点焊数量一致的情况下，发出电焊机故障告警；在点焊信号与参考器件边框信息对应的应点焊数量不一致的情况下，发出点焊信号错误告警。

在本申请的一种实现方式中，基于电路焊接图像中焊接工件的位置，确定出焊接工件的焊接位置缺陷，具体包括：基于预置焊接工件检测模型输出焊接工件的轮廓，以基于焊接工件的轮廓确定电路焊接图像中焊接工件的焊接位置；根据电路焊接图像中焊接工件的焊接位置及焊接工件的预设焊接位置信息，确定出二者之间的间隔距离；将间隔距离与预设距离阈值进行比对，若间隔距离大于预设距离阈值，则确定存在焊接位置缺陷。

本申请实施例提供基于生成式人工智能的焊接缺陷检测设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：获取用户上传的电路焊接图像，基于电路焊接图像中焊接工件的位置，确定出焊接工件的焊接位置缺陷；将电路焊接图像输入焊点轮廓检测模型，以获取电路焊接图像中各焊点分别对应的边缘坐标；基于边缘坐标以及电路焊接图像对应的器件边框信息，确定出第一焊点缺陷；基于用户上传的电路焊接图像样本集，生成电路焊接缺陷检测数据集；通过电路焊接缺陷检测数据集，生成焊点缺陷检测模型组；将电路焊接图像输入焊点缺陷检测模型组，以获取电路焊接图像对应的第二焊点缺陷；其中，焊点缺陷检测模型组中包括有多个检测不同焊点缺陷类型的模型；基于焊接工件的焊接位置缺陷、第一焊点缺陷与第二焊点缺陷，确定出电路焊接图像的焊接缺陷。

本申请实施例提供的一种非易失性计算机存储介质，存储有计算机可执行指令，计算机可执行指令设置为：获取用户上传的电路焊接图像，基于电路焊接图像中焊接工件的位置，确定出焊接工件的焊接位置缺陷；将电路焊接图像输入焊点轮廓检测模型，以获取电路焊接图像中各焊点分别对应的边缘坐标；基于边缘坐标以及电路焊接图像对应的器件边框信息，确定出第一焊点缺陷；基于用户上传的电路焊接图像样本集，生成电路焊接缺陷检测数据集；通过电路焊接缺陷检测数据集，生成焊点缺陷检测模型组；将电路焊接图像输入焊点缺陷检测模型组，以获取电路焊接图像对应的第二焊点缺陷；其中，焊点缺陷检测模型组中包括有多个检测不同焊点缺陷类型的模型；基于焊接工件的焊接位置缺陷、第一焊点缺陷与第二焊点缺陷，确定出电路焊接图像的焊接缺陷。

本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：本申请实施例通过确定出电路焊接图像中焊接工件的位置，能够对焊接工件的位置进行确定，从而检测出位置出现错误的焊接工件。其次，本申请实施例通过获取焊点的边缘坐标，确定出各个焊点的大小是否符合要求，以防止出现焊点超出器件边框的情况发生。此外，本申请实施例通过用户上传的电路焊接图像样本集，生成电路焊接缺陷检测数据集，能够基于较少的样本集生成较多数量的数据集，通过数量较多的数据集对焊点缺陷检测模型进行训练，能够提高模型检测的准确度，同时也无需大量人工成本获取电路焊接图像样本。通过训练后的模型对焊点进行缺陷检测，不但降低耗费的人力资源，并且检测效率也较高，满足现代化生产要求。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本申请实施例提供的基于生成式人工智能的焊接缺陷检测方法流程图；

图2为本申请实施例提供的基于生成式人工智能的焊接缺陷检测设备的结构示意图。

附图标记：

200基于生成式人工智能的焊接缺陷检测设备，201处理器，202存储器。

具体实施方式

本申请实施例提供基于生成式人工智能的焊接缺陷检测方法、设备及介质。

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

下面通过附图对本申请实施例提出的技术方案进行详细的说明。

图1为本申请实施例提供的基于生成式人工智能的焊接缺陷检测方法流程图。如图1所示，基于生成式人工智能的焊接缺陷检测方法包括如下步骤：

步骤101、获取用户上传的电路焊接图像，基于电路焊接图像中焊接工件的位置，确定出焊接工件的焊接位置缺陷。

在本申请的一个实施例中，基于预置焊接工件检测模型输出焊接工件的轮廓，以基于焊接工件的轮廓确定电路焊接图像中焊接工件的焊接位置。根据电路焊接图像中焊接工件的焊接位置及焊接工件的预设焊接位置信息，确定出二者之间的间隔距离。将间隔距离与预设距离阈值进行比对，若间隔距离大于预设距离阈值，则确定存在焊接位置缺陷。

具体地，本申请实施例在获取到用户上传的电路焊接图像后，先对图像中的焊接工件的位置进行检测，若焊接工件的位置不正确，则会对电子产品的正常工作产生影响。

进一步地，本申请实施例设置有预置焊接工件检测模型。该预置焊接工件检测模型的训练过程为，将电路焊接图像样本集作为输入，将标注有焊接工件的电路焊接图像样本集作为输出，对预置神经网络模型进行训练，以得到该预置焊接工件检测模型。通过该预置焊接工件检测模型对输入的电路焊接图像中的工件轮廓进行标注。

进一步地，基于标注的工件的轮廓，确定出焊接工件的位置，将该焊接工件的焊接位置与预设焊接位置进行比对，确定出焊接工件的焊接位置与预设焊接位置之间的位置差值，即二者之间的间隔距离。其中，该预设焊接位置是为了确保器件正常工作所应焊接的位置。若该间隔距离大于预设距离间隔，则说明当前焊接工件的焊接位置存在较大偏差，难以确保该焊接器件稳定工作，因此，当前焊接工件存在焊接位置缺陷。

步骤102、将电路焊接图像输入焊点轮廓检测模型，以获取电路焊接图像中各焊点分别对应的边缘坐标。

在本申请的一个实施例中，本申请实施例设置有焊点轮廓检测模型，该焊点轮廓检测模型用于对电路焊接图像中的焊点进行标注。该焊点轮廓检测模型的训练过程为，将电路焊接图像训练集作为输入，将标注出焊接点的电路焊接图像训练集作为输出，对预设神经网络模型进行训练，以得到该焊点轮廓检测模型。将当前电路焊接图像输入该焊点轮廓检测模型，以对当前电路焊接图像中的焊接点进行识别标注。

步骤103、基于边缘坐标以及电路焊接图像对应的器件边框信息，确定出第一焊点缺陷。

在本申请的一个实施例中，对各焊点分别对应的边缘坐标进行连接，以得到闭合区域。将闭合区域与背景区域进行区分，以像素区域为单位将电路焊接图像分割为多个相互独立的子区域。将多个相互独立的子区域进行像素点重合检测，以得到第一重合检测信息。以及基于器件边框信息确定出电路器件边缘坐标，以基于电路器件边缘坐标确定出电路器件对应的边缘坐标集合，将多个相互独立的子区域分别与电路器件对应的边缘坐标集合进行重合检测，以得到第二重合检测信息。基于第一重合检测信息与第二重合检测信息，确定出第一焊点缺陷。

具体地，在获取标注的各个焊点后，确定出各个焊点分别对应的边缘点，将各个焊点分别对应的边缘点进行连接，从而得到各个焊点分别对应的闭合区域。将各个焊点的闭合区域与背景进行区分，从而得到当前电路焊接图像中各个焊点分别对应的独立子区域。

进一步地，对各个独立子区域分别对应的像素点坐标进行重合检测，以得到第一重合检测信息。具体地，确定出多个相互独立的子区域分别对应的子区域像素点坐标集，将各个子区域像素点坐标集进行比对，以确定出同一个像素点是否同时存在于两个及以上的子区域像素点坐标集中。若某一个像素点同时存在于两个及以上的子区域像素点坐标集中，则将该像素点作为一个重合像素点，将通过比对得到的一个或多个重合像素点作为第一重合检测信息。

进一步地，在第一重合检测信息中，存在重合像素坐标的情况下，确定重合像素坐标对应的子区域存在桥联焊点缺陷。即，若两个独立子区域存在重合的像素点，则说明两个焊点存在连接的部分，存在桥联焊点缺陷。

进一步地，基于电路器件边框信息，确定出各个电路器件的边缘坐标，从而确定出各个电路器件分别对应的边缘坐标集合。将各个焊点对应的独立子区域的坐标分别与该边缘坐标集合进行比对，以得到第二重合检测信息。具体地，将多个互相独立的子区域分别对应的像素点坐标集作为第一像素点坐标集，将电路器件对应的边缘坐标集合作为第二像素点坐标集，将第一像素点坐标集与该第二像素点坐标集进行比对，若存在一个或多个参考坐标点同时存在第一像素点坐标集与第二像素点坐标集中，则将该一个或多个参考坐标点作为该第二重合检测信息。具体地，在第二重合检测信息中，存在重合像素坐标的情况下，确定重合像素坐标对应的子区域存在焊点超范围缺陷。即，若各个焊点对应的独立子区域的坐标与该边缘坐标集合存在重合的像素点，则说明当前焊点焊在了器件边框的位置，或者超出该边框的位置，因此，当前焊点超出了焊接范围，该焊点的位置存在缺陷。

在本申请的一个实施例中，基于电路焊接图像中各焊点分别对应的边缘坐标，确定出实际焊点数量。基于电路焊接图像对应的器件边框信息，确定出电路器件型号，基于电路器件型号确定出焊接点参考焊接点数量。在实际焊接点数量与参考焊接点数量不一致的情况下，确定出数量不一致的焊点所对应的参考器件边框信息。基于参考器件边框信息，确定点焊机发出的点焊信号，在点焊信号与参考器件边框信息对应的应点焊数量一致的情况下，发出电焊机故障告警；在点焊信号与参考器件边框信息对应的应点焊数量不一致的情况下，发出点焊信号错误告警。

具体地，根据电路焊接图像中各焊点分别对应的坐标，确定出当前电路焊接图像中焊点的实际数量。基于当前电路焊接图像中的器件边框信息，确定出电路焊接器件的型号，其中，该器件边框信息中包括有器件的型号说明信息。基于获取到的器件型号确定出该电路器件对应的参考焊接点数量。从而确定出当前电路焊接图像中对应的总的参考焊接点数量。

将当前电路焊接图像中的实际焊接点的数量与该总的参考焊接点的数量进行比对，若比对结果不一致，则确定出存在误差的焊接器件。基于该存在误差的焊接器件的信息，确定出电焊机对该器件进行焊接时发出的点焊信号。若发出的点焊信号的数量与该器件对应的应点焊数量一致，则说明电焊机的信息输出无误，但在点焊执行过程中存在错误。若发出的点焊信号的数量与该器件对应的应点焊数量不一致，则说明电焊机输出的点焊信号的数量存在错误，基于不同的错误进行告警。

步骤104、基于用户上传的电路焊接图像样本集，生成电路焊接缺陷检测数据集。

在本申请的一个实施例中，将电路焊接图像样本集与电路焊接图像样本集对应的缺陷信息输入预置模型，以对预置模型进行训练，得到电路焊接缺陷识别模型。将预置无缺陷焊接图输入预置生成器，通过预置生成器输出参考缺陷电路焊接图。将参考缺陷电路焊接图输入至电路焊接缺陷识别模型，输出参考电路焊接缺陷信息。将参考电路焊接缺陷信息输入至预置判别器，得到参考判别缺陷信息。基于参考判别缺陷信息与参考电路焊接缺陷信息，对预置生成器与预置判别器进行训练，以得到参考生成器与参考判别器。通过参考生成器与参考判别器，生成电路焊接缺陷检测数据集。

具体地，将用户上传的电路焊接图像样本集与该样本集对应的缺陷信息输入预置模型，以对该预置模型进行训练，从而得到电路焊接缺陷识别模型。其中，该缺陷信息至少包括缺陷类型与缺陷位置。此时由于样本集数量较少，该训练后的电路焊接缺陷识别模型准确度较低。因此，本申请通过扩充样本集的数量，以训练出准确度较高的电路焊接缺陷识别模型。

进一步地，本申请实施例中的预置模型可以为预置神经网络模型，将用户上传的电路焊接图像样本集作为输入，将该样本集对应的缺陷信息作为输入，对该预置神经网络模型进行训练，以得到路焊接缺陷识别模型。

进一步地，将预置无缺陷焊接图输入预置生成器，通过预置生成器输出参考缺陷电路焊接图。将该参考缺陷电路焊接图输入至该电路焊接缺陷识别模型，以得到参考电路焊接缺陷信息。其次，将该参考电路焊接缺陷信息输入至预置判别器，通过该预置判别器输出相应的参考判别缺陷信息。以通过训练后的参考生成器与参考判别器，生成电路焊接缺陷检测数据集，以进行样本扩充。

进一步地，将参考电路焊接缺陷信息与电路焊接图像样本对应的缺陷信息进行比对，在比对结果符合预置条件的情况下，确定预置生成器符合要求，并将预置生成器作为参考生成器。具体地，确定出各个参考电路焊接缺陷信息分别对应的参考缺陷类型与参考缺陷位置，在电路焊接图像样本对应的缺陷信息中进行查询，若该电路焊接图像样本对应的缺陷信息中存在该参考缺陷类型与该参考缺陷位置，则确定当前参考电路焊接缺陷信息正确。将各个参考电路焊接缺陷信息依次在该电路焊接图像样本对应的缺陷信息中进行查询，若正确的参考电路缺陷信息大于预设值，如该预设值可以为85%，则确定当前比对结果符合预置条件，即，预置生成器符合要求。

以及，确定出参考判别缺陷信息与参考电路焊接缺陷信息之间的相似度，在相似度符合相似度阈值的情况下，确定预置判别器符合要求，并将预置判别器作为参考判别器。具体地，确定出参考判别缺陷信息对应的第一缺陷类型集与第一缺陷位置集，以及，确定出参考电路焊接缺陷信息对应的第二缺陷类型集与第二缺陷位置集，将该第一缺陷类型集与第二缺陷类型集进行比对，以及将该第一缺陷位置集与该第二缺陷位置集进行比对，在第一缺陷类型集与第二缺陷类型集一致的比例大于预置缺陷类型比例阈值，例如，该预置缺陷类型比例阈值可以为85%，且第一缺陷位置集与第二缺陷位置集一致的比例大于预置缺陷位置阈值的情况下，例如，该预置缺陷位置比例阈值可以为85%，确定预置判别器符合要求。

本申请实施例中的预置生成器可以包括特征提取器、多尺度特征聚合模块、联合注意力模块、 Concat函数和回归块。特征提取器可以参考VGG架构，如为VGG16网络模型等，多尺度特征聚合模块包括两个并行的特征提取单元，特征提取单元包括依次连接的多尺度编码器和先特征聚合器。

本申请实施例中通过生成器生成出的所有合成图，还要输入到预置判别器中进行判别训练。本申请实施例中的预置判别器的结构是一个卷积神经网络，将生成器生成的图像输入该卷积神经网络后可以得到一个卷积特征，将得到的卷积特征输入至Logistic函数，从而输入该图像对应的概率。

步骤105、通过电路焊接缺陷检测数据集，生成焊点缺陷检测模型组。

在本申请的一个实施例中，基于电路焊接缺陷检测数据集的缺陷类型，对电路焊接缺陷检测数据集进行分组；其中，缺陷类型至少包括虚焊、焊料过多、焊料过少以及拉尖中的一项。将各组的电路焊接缺陷检测数据集分别输入各预置检测模型，以对各预置检测模型进行训练，以得到焊点缺陷检测模型组。

具体地，在确定出生成的样本集中各个电路焊接图像的缺陷类型后，基于类型的不同，将填充的样本集进行分组。基于每个组中多个样本，分别对预置神经网络模型进行训练，以得到多个焊点缺陷检测模型，每个焊点缺陷检测模型分别可以检测不同类型的焊点缺陷，并将多个焊点缺陷检测模型作为焊点缺陷检测模型组。其中，焊点的缺陷类型至少可以包括虚焊、焊料过多、焊料过少以及拉尖中的一项。

步骤106、将电路焊接图像输入焊点缺陷检测模型组，以获取电路焊接图像对应的第二焊点缺陷；其中，焊点缺陷检测模型组中包括有多个检测不同焊点缺陷类型的模型。

在本申请的一个实施例中，将当前获取到的待检测的电路焊接图像输入至该焊点缺陷检测模型组，通过该焊点缺陷检测模型组可以将待检测的电路焊接图像中的不同的焊接缺陷进行识别，且精度较高。

步骤107、基于焊接工件的焊接位置缺陷、第一焊点缺陷与第二焊点缺陷，确定出电路焊接图像的焊接缺陷。

在本申请的一个实施例中，通过获取到的焊接工件的焊接位置缺陷，可以得到焊接工件的位置是否出现偏差。通过第一焊点缺陷可以看出焊点的位置是否出现偏差，以及通过第二焊点缺陷，可以得到焊点的缺陷类型与缺陷位置，从而确定出电路焊接图像的焊接缺陷。

本申请实施例通过确定出电路焊接图像中焊接工件的位置，能够对焊接工件的位置进行确定，从而检测出位置出现错误的焊接工件。其次，本申请实施例通过获取焊点的边缘坐标，确定出各个焊点的大小是否符合要求，以防止出现焊点超出器件边框的情况发生。此外，本申请实施例通过用户上传的电路焊接图像样本集，生成电路焊接缺陷检测数据集，能够基于较少的样本集生成较多数量的数据集，通过数量较多的数据集对焊点缺陷检测模型进行训练，能够提高模型检测的准确度，同时也无需大量人工成本获取电路焊接图像样本。通过训练后的模型对焊点进行缺陷检测，不但降低耗费的人力资源，并且检测效率也较高，满足现代化生产要求。

图2为本申请实施例提供的基于生成式人工智能的焊接缺陷检测设备的结构示意图。如图2所示，基于生成式人工智能的焊接缺陷检测设备200，包括：至少一个处理器201；以及，与至少一个处理器201通信连接的存储器202；其中，存储器202存储有可被至少一个处理器201执行的指令，指令被至少一个处理器201执行，以使至少一个处理器201能够：获取用户上传的电路焊接图像，基于电路焊接图像中焊接工件的位置，确定出焊接工件的焊接位置缺陷；将电路焊接图像输入焊点轮廓检测模型，以获取电路焊接图像中各焊点分别对应的边缘坐标；基于边缘坐标以及电路焊接图像对应的器件边框信息，确定出第一焊点缺陷；基于用户上传的电路焊接图像样本集，生成电路焊接缺陷检测数据集；通过电路焊接缺陷检测数据集，生成焊点缺陷检测模型组；将电路焊接图像输入焊点缺陷检测模型组，以获取电路焊接图像对应的第二焊点缺陷；其中，焊点缺陷检测模型组中包括有多个检测不同焊点缺陷类型的模型；基于焊接工件的焊接位置缺陷、第一焊点缺陷与第二焊点缺陷，确定出电路焊接图像的焊接缺陷。

本申请实施例还提供一种非易失性计算机存储介质，存储有计算机可执行指令，计算机可执行指令设置为：获取用户上传的电路焊接图像，基于电路焊接图像中焊接工件的位置，确定出焊接工件的焊接位置缺陷；将电路焊接图像输入焊点轮廓检测模型，以获取电路焊接图像中各焊点分别对应的边缘坐标；基于边缘坐标以及电路焊接图像对应的器件边框信息，确定出第一焊点缺陷；基于用户上传的电路焊接图像样本集，生成电路焊接缺陷检测数据集；通过电路焊接缺陷检测数据集，生成焊点缺陷检测模型组；将电路焊接图像输入焊点缺陷检测模型组，以获取电路焊接图像对应的第二焊点缺陷；其中，焊点缺陷检测模型组中包括有多个检测不同焊点缺陷类型的模型；基于焊接工件的焊接位置缺陷、第一焊点缺陷与第二焊点缺陷，确定出电路焊接图像的焊接缺陷。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、非易失性计算机存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请的实施例可以有各种更改和变化。而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (6)

1.基于生成式人工智能的焊接缺陷检测方法，其特征在于，所述方法包括：

获取用户上传的电路焊接图像，基于所述电路焊接图像中焊接工件的位置，确定出焊接工件的焊接位置缺陷；

将所述电路焊接图像输入焊点轮廓检测模型，以获取所述电路焊接图像中各焊点分别对应的边缘坐标；

基于所述边缘坐标以及所述电路焊接图像对应的器件边框信息，确定出第一焊点缺陷；

基于用户上传的电路焊接图像样本集，生成电路焊接缺陷检测数据集；

通过所述电路焊接缺陷检测数据集，生成焊点缺陷检测模型组；

将所述电路焊接图像输入所述焊点缺陷检测模型组，以获取所述电路焊接图像对应的第二焊点缺陷；其中，所述焊点缺陷检测模型组中包括有多个检测不同焊点缺陷类型的模型；

基于所述焊接工件的焊接位置缺陷、所述第一焊点缺陷与所述第二焊点缺陷，确定出所述电路焊接图像的焊接缺陷；

所述基于所述边缘坐标以及所述电路焊接图像对应的器件边框信息，确定出第一焊点缺陷，具体包括：

对所述各焊点分别对应的边缘坐标进行连接，以得到闭合区域；

将所述闭合区域与背景区域进行区分，以像素区域为单位将所述电路焊接图像分割为多个相互独立的子区域；

将所述多个相互独立的子区域进行像素点重合检测，以得到第一重合检测信息；

以及，基于所述器件边框信息确定出电路器件边缘坐标，以基于所述电路器件边缘坐标确定出电路器件对应的边缘坐标集合，将所述多个相互独立的子区域分别与所述电路器件对应的边缘坐标集合进行重合检测，以得到第二重合检测信息；

基于所述第一重合检测信息与所述第二重合检测信息，确定出所述第一焊点缺陷；

所述基于所述第一重合检测信息与所述第二重合检测信息，确定出所述第一焊点缺陷，具体包括：

在所述第一重合检测信息中，存在重合像素坐标的情况下，确定所述重合像素坐标对应的子区域存在桥联焊点缺陷；

以及，在所述第二重合检测信息中，存在重合像素坐标的情况下，确定所述重合像素坐标对应的子区域存在焊点超范围缺陷；

所述基于所述边缘坐标以及所述电路焊接图像对应的器件边框信息，确定出第一焊点缺陷之后，所述方法还包括：

基于所述电路焊接图像中各焊点分别对应的边缘坐标，确定出实际焊点数量；

基于所述电路焊接图像对应的器件边框信息，确定出电路器件型号，基于所述电路器件型号确定出参考焊接点数量；

在所述实际焊接点数量与所述参考焊接点数量不一致的情况下，确定出数量不一致的焊点所对应的参考器件边框信息；

基于所述参考器件边框信息，确定点焊机发出的点焊信号，在所述点焊信号与所述参考器件边框信息对应的应点焊数量一致的情况下，发出电焊机故障告警；在所述点焊信号与所述参考器件边框信息对应的应点焊数量不一致的情况下，发出点焊信号错误告警；

所述基于所述电路焊接图像中焊接工件的位置，确定出焊接工件的焊接位置缺陷，具体包括：

基于预置焊接工件检测模型输出所述焊接工件的轮廓，以基于所述焊接工件的轮廓确定所述电路焊接图像中焊接工件的焊接位置；

根据所述电路焊接图像中焊接工件的焊接位置及所述焊接工件的预设焊接位置信息，确定出二者之间的间隔距离；

将所述间隔距离与预设距离阈值进行比对，若所述间隔距离大于所述预设距离阈值，则确定存在焊接位置缺陷。

2.根据权利要求1所述的基于生成式人工智能的焊接缺陷检测方法，其特征在于，所述基于用户上传的电路焊接图像样本集，生成电路焊接缺陷检测数据集，具体包括：

将所述电路焊接图像样本集与所述电路焊接图像样本集对应的缺陷信息输入预置模型，以对所述预置模型进行训练，得到电路焊接缺陷识别模型；

将预置无缺陷焊接图输入预置生成器，通过所述预置生成器输出参考缺陷电路焊接图；

将所述参考缺陷电路焊接图输入至所述电路焊接缺陷识别模型，输出参考电路焊接缺陷信息；

将所述参考电路焊接缺陷信息输入至预置判别器，得到参考判别缺陷信息；

基于所述参考判别缺陷信息与所述参考电路焊接缺陷信息，对所述预置生成器与所述预置判别器进行训练，以得到参考生成器与参考判别器；

通过所述参考生成器与参考判别器，生成所述电路焊接缺陷检测数据集。

3.根据权利要求2所述的基于生成式人工智能的焊接缺陷检测方法，其特征在于，所述基于所述参考判别缺陷信息与所述参考电路焊接缺陷信息，对所述预置生成器与所述预置判别器进行训练，以得到参考生成器与参考判别器，具体包括：

将所述参考电路焊接缺陷信息与所述电路焊接图像样本对应的缺陷信息进行比对，在比对结果符合预置条件的情况下，确定所述预置生成器符合要求，并将所述预置生成器作为所述参考生成器；

以及，确定出所述参考判别缺陷信息与所述参考电路焊接缺陷信息之间的相似度，在所述相似度符合相似度阈值的情况下，确定所述预置判别器符合要求，并将所述预置判别器作为所述参考判别器。

4.根据权利要求1所述的基于生成式人工智能的焊接缺陷检测方法，其特征在于，所述通过所述电路焊接缺陷检测数据集，生成焊点缺陷检测模型组，具体包括：

基于所述电路焊接缺陷检测数据集的缺陷类型，对所述电路焊接缺陷检测数据集进行分组；其中，所述缺陷类型至少包括虚焊、焊料过多、焊料过少以及拉尖中的一项；

将各组的电路焊接缺陷检测数据集分别输入各预置检测模型，以对所述各预置检测模型进行训练，以得到所述焊点缺陷检测模型组。

5.基于生成式人工智能的焊接缺陷检测设备，其特征在于，该设备包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该设备执行权利要求1-4中的任一项所述的方法。

6.一种非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令能够执行权利要求1-4任一项所述的方法。