CN115965588A - 缺陷检测方法、系统、电子设备及存储介质 - Google Patents

Abstract

本申请的实施例提供了一种缺陷检测方法、系统、电子设备及存储介质。该方法包括：获取焊盘图像；从焊盘图像中确定被焊接物所在的焊接区域；对焊接区域进行区域分割，以确定目标区域，目标区域包括被焊接物所在区域和/或焊接缝隙区域；利用与检测缺陷类型对应的后处理方法，对目标区域执行后处理，获取后处理结果；以及基于后处理结果，确定焊盘图像中是否存在缺陷。该方案对图像质量要求不高，可以适用于对多种焊盘图像的检测，而且检测准确率和检测效率也大大提高。此外，该方案的计算量也相对较小，从而还可以节省计算资源，用户体验也较好。

Description

缺陷检测方法、系统、电子设备及存储介质

技术领域

本申请涉及计算机视觉技术领域，更具体地涉及一种缺陷检测方法、一种缺陷检测系统、一种电子设备及一种存储介质。

背景技术

在半导体领域中，将诸如铜线等被焊接物焊接在焊盘上时，可能会产生诸多类型的焊接问题，例如焊接不牢、焊接缝隙过大、铜线刮伤、铜线打扁等。因此，需要对诸如此类的待检测物体的多种检测缺陷类型进行检测。

现有技术中，通常利用传统的图像处理方式来检测这些缺陷，这样不仅误检率高且对于图像质量要求较高，无法满足厂商的需求。

发明内容

考虑到上述问题而提出了本申请。根据本申请的一个方面，提供了一种缺陷检测方法，该方法包括：

获取焊盘图像；

从焊盘图像中确定被焊接物所在的焊接区域；

对焊接区域进行区域分割，以确定目标区域，目标区域包括被焊接物所在区域和/或焊接缝隙区域；

利用与检测缺陷类型对应的后处理方法，对目标区域执行后处理，获取后处理结果；以及

基于后处理结果，确定焊盘图像中是否存在缺陷。

根据上述方案，在确定焊盘图像中的焊接区域的基础上，通过对焊接区域进行区域分割，确定目标区域。进一步采用与检测缺陷类型对应的后处理方法对目标区域进行后处理。最终根据后处理结果，确定焊盘图像中是否存在待检测缺陷。该方案对图像质量要求不高，可以适用于对多种焊盘图像的检测，而且检测准确率和检测效率也大大提高。此外，该方案的计算量也相对较小，从而还可以节省计算资源，用户体验也较好。

示例性地，检测缺陷类型包括焊接不牢类型、焊接缝隙过大类型、被焊接物断裂类型以及被焊接物变形类型中的至少一种。

示例性地，检测缺陷类型是焊接不牢类型或焊接缝隙过大类型，目标区域包括被焊接物所在区域和焊接缝隙区域。

示例性地，检测缺陷类型是焊接不牢类型，

对目标区域执行后处理，获取后处理结果，包括：

计算被焊接物所在区域的第一面积和焊接缝隙区域的第二面积；

计算第一面积和第二面积的第一比值作为后处理结果；

基于后处理结果，确定焊盘图像中是否存在缺陷包括：

比较第一比值与预设的第一比值阈值，以在第一比值小于或等于第一比值阈值的情况下，确定焊盘图像存在焊接不牢类型的缺陷。

上述方案中，可以计算被焊接物所在区域的面积和焊接缝隙区域的面积的第一比值，作为后处理结果。并将第一比值与预设的第一比值阈值进行比对，以确定焊盘图像中是否存在焊接不牢类型的缺陷。将这种方法更简单，计算量也更小。因此，检测效率也更高。并且该方案的通用性也较好。

示例性地，检测缺陷类型是焊接缝隙过大类型，

对目标区域执行后处理，获取后处理结果，包括：

确定被焊接物所在区域和焊接缝隙区域的合并区域的最小外接图形；

将最小外接图形所在的区域划分为多个第一子区域；以及

计算焊接缝隙区域在每个第一子区域中的第一占比，作为后处理结果；

基于后处理结果，确定焊盘图像中是否存在缺陷，包括：

比较第一占比和预设的第一占比阈值，以在第一占比大于第一占比阈值的情况下，确定焊盘图像存在焊接缝隙过大类型的缺陷。

上述方案中，通过确定焊接缝隙区域和被焊接物所在区域的合并区域的最小外接图形，并将该最小外接图形所在的区域划分为多个第一子区域，进而计算焊接缝隙区域在每个第一子区域中的第一占比，作为后处理的结果。最终根据第一占比和第一占比阈值，确定焊盘图像中是否存在焊接缝隙过大类型的缺陷。该方案执行逻辑合理、简单，计算量也更小，且得到的第一占比更能准确表征焊接缝隙的大小。从而可以准确检测焊接缝隙过大类型的缺陷，可以大大降低缺陷检测的误检率，检测的精度更高。

示例性地，检测缺陷类型是被焊接物断裂类型或被焊接物变形类型，目标区域包括被焊接物所在区域。

示例性地，检测缺陷类型是被焊接物断裂类型，

对目标区域执行后处理，获取后处理结果，包括：

确定被焊接物所在区域的最小外接图形；

将最小外接图形划分为多个第二子区域；以及

确定被焊接物所在区域在每个第二子区域中的第二占比，作为后处理结果；

基于后处理结果，确定焊盘图像中是否存在待检测缺陷，包括：

比较第二占比和预设的第二占比阈值，以至少基于第二占比小于或等于第二占比阈值的比较结果，确定焊盘图像存在被焊接物断裂类型的缺陷。

这种方案执行逻辑简单，计算量较小，检测速度更快。并且，上述方法所计算的第二占比可以准确表征被焊接物是否断裂。从而可以准确检测焊盘图像中的被焊接物断裂类型的缺陷，可以大大降低缺陷检测的误检率。

示例性地，检测缺陷类型是被焊接物变形类型，

对目标区域执行后处理，获取后处理结果，包括：

确定被焊接物所在区域的最小外接图形；以及

确定最小外接图形的宽度，作为后处理结果；

基于后处理结果，确定焊盘图像中是否存在待检测缺陷，包括：

比较宽度和预设的宽度阈值，以在宽度大于宽度阈值的情况下，确定焊盘图像存在被焊接物变形类型的缺陷。

上述方案中，通过确定被焊接物所在区域的最小外接图形，并确定最小外接图形的宽度，最终基于该宽度预设的宽度阈值，确定焊盘图像中是否存在被焊接物变形类型的缺陷。该方案执行逻辑简单，计算量较小。并且通过被焊接物所在区域的最小外接图形的宽度可以准确表征被焊接物的宽度，因此可以准确检测焊盘图像中的被焊接物变形类型的缺陷。检测效率和检测精度均较高。

示例性地，在对目标区域执行后处理之前，方法还包括：

对目标区域进行形态学处理，以确定处理后的目标区域。

上述方案中，可以在对目标区域执行后处理之前，对目标区域进行形态学处理。可以去除目标区域中的噪点，保证处理后的目标区域的准确度。并且，可以降低噪点对后续的后处理的影响，可以有效降低处理的运算量。从而既可以提高缺陷检测的效率和精度。

示例性地，从焊盘图像中确定焊接物所在的焊接区域，包括：

将焊盘图像输入目标检测模型中，以输出焊接区域，其中目标检测模型是利用第一训练样本图像以及对应的焊接区域的标注数据训练而获得的。

上述通过训练好的目标检测模型检测被焊接物所在的焊接区域的方案，检测效率更高。

示例性地，对焊接区域进行区域分割，以确定目标区域，包括：

基于检测缺陷类型，确定图像分割模型；以及

将焊接区域输入图像分割模型中，以输出目标区域。

上述方案中，可以利用与检测缺陷类型对应的图像分割模型分割出对应的目标区域。这种方案分割出的目标区域更精准，分割的速度也更快。从而检测精度和检测速度均较高。

示例性地，对焊接区域进行区域分割，以确定目标区域，包括：

将焊接区域输入图像分割模型中，以输出目标区域；其中，图像分割模型是利用第二训练样本图像以及对应的目标区域的标注数据训练而获得的。

利用训练好的图像分割模型确定焊接区域中的目标区域的方法，处理速度更快，确定的目标区域也更准确。

根据本申请的第二方面，还提供一种缺陷检测系统，包括：

获取模块，用于获取焊盘图像；

第一确定模块，用于从焊盘图像中确定被焊接物所在的焊接区域；

区域分割模块，用于对焊接区域进行区域分割，以确定目标区域，其中，目标区域包括被焊接物所在区域和/或焊接缝隙区域；

后处理模块，用于利用与检测缺陷类型对应的后处理方法，对目标区域执行后处理，获取后处理结果；以及

第二确定模块，用于基于后处理结果，确定焊盘图像中是否存在缺陷。

根据本申请的第三方面，还提供一种电子设备，包括处理器和存储器，其特征在于，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行上述缺陷检测方法。

根据本申请的第四方面，还提供一种存储介质，在存储介质上存储了程序指令，其特征在于，程序指令在运行时用于执行上述缺陷检测方法。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出了根据本申请一个实施例的缺陷检测方法的示意性流程图；

图2示出根据本申请一个实施例的焊盘图像；

图3A示出根据本申请一个实施例的存在焊接不牢类型缺陷的焊盘图像；

图3B示出根据本申请一个实施例的存在焊接缝隙过大缺陷的焊盘图像；

图3C示出根据本申请一个实施例的存在被焊接物断裂缺陷的焊盘图像；

图3D示出根据本申请一个实施例的存在被焊接物变形缺陷的焊盘图像；

图4示出根据本申请一个实施例的第一子区域的示意图；

图5A示出根据本申请一个实施例的第二子区域的示意图；

图5B示出根据本申请另一个实施例的第二子区域的示意图；

图6示出根据本申请一个实施例的缺陷检测系统的示意性框图；以及

图7示出根据本申请一个实施例的电子设备的示意性框图。

具体实施方式

为了使得本申请的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。基于本申请中描述的本申请实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本申请的保护范围之内。

如前所述，在诸如半导体领域等涉及焊接技术的相关领域，需要对诸如焊盘中的至少一种焊接缺陷进行检测。现有技术利用传统的图像处理方式检测这些缺陷的方案，存在误检率高、对待检测图像的图像质量要求高等诸多问题。

为了至少部分地解决上述问题，根本申请的第一方面，提供一种缺陷检测方法。该方法可以用于检测包括焊盘图像在内的多种待测图像中存在的一种或多种焊接缺陷，并且检测精度和检测效率都大大提高。

图1示出了根据本申请一个实施例的缺陷检测方法100的示意性流程图。如图1所示，缺陷检测方法100可以包括以下步骤S110、步骤S130、步骤S150、步骤S170和步骤S190。

步骤S110，获取焊盘图像。

根据本申请实施例，焊盘图像可以是待测物体的图像。待测物体可以是任何合适的物体，只要其包括焊盘即可。例如，待测物体可以是包括焊盘的电感。焊盘图像可以是电感的图像或电感的局部图像。应理解，本申请实施例中的焊盘并不仅限于狭义理解的焊盘，其可以泛指各种被焊接物所位于或所期望位于的焊接位置。被焊接物可以是任何合适的物体。示例性而非限制性地，被焊接物可以是诸如线圈端部的焊线。焊盘可以是例如线圈所环绕的磁芯上的锡焊区域。容易理解，为了保证电感的良好性能，可以利用焊接技术将线圈端部的焊线固定在该锡焊区域中的期望位于的位置。然而，如若焊接不当或其他不利因素导致诸如焊接不牢、铜线刮伤、焊接缝隙过大、铜线打扁等焊接缺陷的产生，将会直接影响电感的性能。

根据本申请实施例，可以通过获取待检测的焊盘图像，并利用计算机视觉的方法检测焊盘图像中的焊接缺陷。可以采用任何现有的或未来研发的图像采集方式获取焊盘图像。例如，可以在焊接机器人流水线的末端设置图像采集装置，实时获取待进行缺陷检测的焊盘图像。示例性地，焊盘图像可以是RGB图像或灰度图像。焊盘图像可以是静态图像，也可以是动态视频中的任一视频帧。焊盘图像可以是任意合适尺寸、合适分辨率的图像。此外，焊盘图像可以是图像采集装置直接采集到的原始图像，也可以是对原始图像进行预处理操作后的图像。该预处理操作可以包括为了改善焊盘图像的视觉效果，提高焊盘图像的清晰度，或是突出图像中的某些特征以便于缺陷检测的所有操作。示例性而非限制性地，预处理操作可以包括对原始图像的数字化、几何变换、归一化、滤波等操作。

为了简便，下文以电感的焊盘图像为例，对根据本申请实施例的焊接缺陷检测方法的后续步骤进行展开阐释。

步骤S130，从焊盘图像中确定被焊接物所在的焊接区域。

根据本申请实施例，焊接区域可以是焊盘的全部或部分区域。如前所述，被焊接物可以是线圈端部的焊线，焊盘可以是电感的磁芯上的锡焊区域。则在此步骤所确定的焊接区域可以是整个锡焊区域，也可以是部分锡焊区域。部分锡焊区域可以是被焊接物所被焊接在的大致区域。例如，焊接区域可以是焊线的位置框所在的区域。即，在焊接区域中，可以包括焊线所在区域和焊线所在区域附近的锡焊区域。

图2示出根据本申请一个实施例的焊盘图像。如图所示，在该焊盘图像中可以包括位于磁芯上的多个焊盘(即图中白色虚线框中的银白色锡焊区域)。示例性地，每个焊盘可以对应焊接相应位置的焊线。图中示出的4个焊盘可以分别用于焊接4根相应位置的焊线。焊接区域(图中的黑色实线框所示区域)可以是焊线在对应的焊盘中的大致区域。焊接区域可以是任何合适形状的区域，只要其可以表示焊线所在的大致位置即可。例如，焊接区域可以是焊线所在区域的外接矩形区域或外接椭圆形区域。

根据本申请实施例，可以采用任何现有的或未来研发的方法确定被焊接物所在的焊接区域。包括但不限于利用各种形式的目标检测模型、语义分割模型、区域分割模型或实例分割模型等。

在一个示例中，可以利用目标检测模型确定焊盘图像中的焊接区域。在该示例中，步骤S130从焊盘图像中确定焊接物所在的焊接区域，包括步骤S131。

在步骤S131，将焊盘图像输入目标检测模型中，以输出焊接区域。其中，目标检测模型是利用第一训练样本图像以及对应的焊接区域的标注数据训练而获得的。

示例性而非限制性地，目标检测模型可以是以下单阶段目标检测模型中的一种：YOLO系列的检测模型、单步通用物体检测模型(Single Shot Multi-Box Detector，简称SSD)、Retina Net目标检测模型等。

第一训练样本图像可以是包括焊接缺陷的样本图像，也可以包括没有焊接缺陷的正常样本图像。对于每个第一训练样本图像，还可以包括表示图中的焊接区域的位置的标注数据。示例性而非限制性地，标注数据可以包括第一训练样本图像中的焊接区域的矩形位置框的位置信息数据。第一训练样本图像的数量可以是任意合适的数量，例如1000张。在步骤S130之前，还可以将该1000张第一训练样本图像连同其各自的标注数据输入待训练的目标检测模型中进行迭代训练，最终可以得到满足预期检测需求的、训练好的目标检测模型。然后，在步骤S131，则可以将待检测的焊盘图像输入训练好的目标检测模型中，即可输出待检测的焊盘图像中的被焊接物大致所位于的焊接区域。例如可以输出被焊接物所在区域的位置框的位置信息。

上述通过训练好的目标检测模型检测被焊接物所在的焊接区域的方案，检测效率更高。

步骤S150，对焊接区域进行区域分割，以确定目标区域。其中，目标区域包括被焊接物所在区域和/或焊接缝隙区域。

在通过上述步骤确定焊盘图像中的焊接区域之后，还可以进一步通过对焊接区域的区域分割，确定焊接区域中的目标区域。目标区域可以是待检测缺陷的精准目标区域。根据本申请实施例，目标区域可以仅包括被焊接物所在区域，也可以仅包括焊接缝隙区域，还可以同时包括两者。被焊接物所在区域可以是仅包括被焊接物的区域。例如焊线区域。焊接缝隙区域可以是由于被焊接物移动而产生的焊接印记的印记区域。可以理解，在焊接缝隙区域不包括焊线，但存在经被焊接物挤压后的凹陷区域。例如，在图2所示的焊盘图像中，焊接缝隙区域可以是焊接过程中，焊线在锡焊区域中移动而产生的锡焊凹陷区域。

根据本申请实施例，期望检测的焊接缺陷可以包括未焊接上的焊接不牢缺陷，也可以包括焊接导致的被焊接物的自身缺陷，还可以包括被焊接物周边区域存在的缺陷。被焊接物的自身缺陷可以包括被焊接物在焊接过程中被损坏的各种缺陷。例如，被焊接物断裂、被焊接物变形等。被焊接物周边区域存在的缺陷可以包括焊接物周边的熔融金属的形态缺陷，例如焊接缝隙过大、焊接缝隙不规则、焊缝中杂质较多等。

为了有效检测出期望检测的焊接缺陷，可以在步骤S150中确定针对检测缺陷类型的目标区域。检测缺陷类型可以是待进行缺陷检测的缺陷类型，其可以包括上述示例中的各种缺陷类型的一种或多种，也可以包括上述示例之外的其他类型的焊接缺陷。在一个示例中，检测缺陷类型可以包括焊接不牢类型、焊接缝隙过大类型、被焊接物断裂类型以及被焊接物变形类型中的至少一种。焊接不牢类型可以表现为被焊接物的全部或部分从焊盘脱离的缺陷类型。图3A示出根据本申请一个实施例的存在焊接不牢类型缺陷的焊盘图像。如图所示，在该焊盘图像的锡焊区域中未包括焊线。焊接缝隙过大类型可以是焊接缝隙超过预设焊缝标准的缺陷类型。图3B示出根据本申请一个实施例的存在焊接缝隙过大缺陷的焊盘图像。如图所示，在焊线边缘外存在缝隙，该缝隙的大小超出预设的缝隙标准，属于焊接缝隙过大缺陷。图3C示出根据本申请一个实施例的存在被焊接物断裂缺陷的焊盘图像。如图所示，该焊盘上的焊线断裂为两段，属于被焊接物断裂缺陷。被焊接物变形类型例如是焊线扭曲、焊线打扁等缺陷类型。图3D示出根据本申请一个实施例的存在被焊接物变形缺陷的焊盘图像。如图所示，锡焊区域上的焊线的中段部分形态异常，超出预设的形态标准，属于被焊接物变形缺陷。

根据本申请实施例，期望检测的缺陷类型不同，所确定的目标区域可以相同，也可以不同。

可选地，检测缺陷类型不同，所确定的目标区域可以相同。例如，可以采用通用的区域分割方法，确定焊接区域中的目标区域。例如，检测缺陷类型包括焊接不牢类型、焊接缝隙过大类型、被焊接物断裂类型以及被焊接物变形类型中的至少一种，在步骤S150，可以从焊接区域中分割出仅包括被焊接物所在区域和焊接缝隙区域的目标区域。后续即可以基于分割出的被焊接物所在区域和焊接缝隙区域，确定该目标区域中是否存在上述类型的缺陷。

替代地，检测缺陷类型不同，所确定的目标区域可以不同。即可以在步骤S150，基于期望检测的缺陷类型，确定相应的目标区域。此步骤中所确定的目标区域可以是与检测缺陷类型适配度较高的目标区域。例如，对于检测缺陷类型属于前述示例中的被焊接物自身的缺陷的情况，则可以确定目标区域为被焊接物所在区域。对于检测缺陷类型属于焊接缝隙相关的缺陷的，可以确定目标区域为焊接缝隙区域，或者也可以确定目标区域为被焊接物所在区域和焊接缝隙区域。

示例性地，检测缺陷类型是焊接不牢类型和/或焊接缝隙过大类型，目标区域包括被焊接物所在区域和焊接缝隙区域。对于检测焊接不牢类型和焊接缝隙过大类型的缺陷，其均需要检测焊接缝隙区域。尽管工业上对焊接缝隙的质量标准限制通常是基于具体的尺寸，在各种各样的图像中，难以采用统一的标准检测不规则的焊接缝隙区域的尺寸，并且检测准确率也较低。由于被焊接物的尺寸通常是已知的，因此，可以通过对比焊接缝隙区域和被焊接物所在区域的大小，来判定焊接缝隙区域的尺寸是否超标。根据本申请实施例，可以在步骤S150同时分割出焊接区域中的被焊接物所在区域和焊接缝隙区域，作为目标区域。后续则可以基于这两个区域确定焊接区域中是否存在相应类型的缺陷。例如，可以采用任何合适的方法对比两者的区域尺寸，以确定焊接区域中是否存在相应类型的缺陷。基于分割出的焊接缝隙区域和被焊接物所在区域，可以更快速、更准确地确定焊盘图像中是否存在焊接不牢类型和/或焊接缝隙过大类型的缺陷。

示例性地，检测缺陷类型是被焊接物断裂类型或被焊接物变形类型，目标区域包括被焊接物所在区域。再次参考图3C和图3D，可以在确定焊线在锡焊区域中的焊接区域之后，采用任何合适的区域分割方法，从焊接区域分割出焊线所在的焊线区域。然后，可以基于该焊线区域确定焊盘中的焊线是否断裂或者变形。该方案针对性更强，可以一定程度地提高缺陷检测的效率和精度。并且，计算量也较小。

步骤S150可以采用任何现有的或未来研发的区域分割方法实现。例如，可以采用任何现有的或未来研发的图像分割模型，对焊接区域进行区域分割得到目标区域。该图像分割模型可以包括任何形式的语义分割模型、实例分割模型或全景分割模型等，只要其可以分割出目标区域即可。

示例性地，步骤S150对焊接区域进行区域分割，以确定目标区域，包括步骤S153。在步骤S153，将焊接区域输入图像分割模型中，以输出目标区域。其中，图像分割模型是利用第二训练样本图像以及对应的目标区域的标注数据训练而获得的。图像分割模型例如是语义分割模型。在步骤S153之前，可以利用预先收集并标注好的第二训练样本图像对语义分割模型进行训练，以得到训练好的分割模型。第二训练样本图像的数量可以是任意多个，例如1000张。并且，每张训练样本图像均可以预先标注好该图像中的目标区域，例如可以利用多边形区域框分别标注训练样本图像中属于焊接缝隙区域和被焊接物所在区域的各个像素的像素位置，以得到标注的位置信息。还可以标注每个区域所属的类别，以得到标注的类别信息。可以将1000张第二训练样本图像和其各自的标注的位置信息和标注的类别信息的标注数据输入语义分割模型中进行迭代训练，直至达到预定的训练结果则完成训练。在步骤S153，可以将待检测的焊盘图像中的焊接区域图输入训练好的语义分割模型中，即可基于输出结果得到该焊接区域中的目标区域。例如，可以输出一张与输入图像等大的图像，该输出图像中，由像素值为a的所有像素组成的区域对应焊接区域中的焊接缝隙区域、由像素值为b的所有像素组成的区域对应焊接区域中的被焊接物所在区域。

利用训练好的图像分割模型确定焊接区域中的目标区域的方法，处理速度更快，确定的目标区域也更准确。

如前所述，可以在步骤S150，基于期望检测的缺陷类型，确定相应的目标区域。根据本申请实施例，还可以采用与检测缺陷类型对应的图像分割模型，确定相应的目标区域。步骤S150对焊接区域进行区域分割，以确定目标区域，包括步骤S151和步骤S152。

在步骤S151，基于检测缺陷类型，确定图像分割模型。图像分割模型可以是任何合适形式的分割模型。只要其可以检测出期望检测的缺陷类型即可。检测缺陷类型可以是前述示例中的一种或多种类型。示例性而非限制性地，可以在步骤S151之前，根据期望检测的缺陷类型，预先训练好相应的图像分割模型。对于不同的检测缺陷类型，其所训练的图像分割模型的模型结构可以相同，也可以不同。示例性而非限制性地，检测缺陷类型可以包括焊接不牢类型、焊接缝隙过大类型、被焊接物断裂类型以及被焊接物变形类型中的多种，可以利用不同的训练样本图像对模型结构相同的图像分割模型进行训练，以分别得到对应不同检测缺陷类型的图像分割模型。具体地，检测缺陷类型与图像分割模型之间可以是各种合适的对应关系。可选地，检测缺陷类型与图像分割模型之间可以是一一对应关系。例如，可以利用由诸如图3A所示的、存在焊接不牢类型缺陷的焊盘图像训练图像分割模型，以得到训练好的、对应焊接不牢类型缺陷的图像分割模型；可以利用由诸如图3B所示的、存在焊接缝隙过大类型缺陷的焊盘图像训练图像分割模型，以得到训练好的、对应焊接缝隙过大类型缺陷的图像分割模型。可选地，也可以是多个检测缺陷类型对应同一个图像分割模型。例如，对于检测缺陷类型包括焊接不牢类型和焊接缝隙过大类型的情况，还可以利用同一个图像分割模型，确定焊接区域中的目标区域。用于训练该图像分割模型的训练样本图像中可以包括存在焊接不牢类型缺陷的焊盘图像和存在焊接缝隙过大类型缺陷的焊盘图像。本领域普通技术人员容易理解该方案，在此不再赘述。

在步骤S152，将焊接区域输入图像分割模型中，以输出目标区域。可以将步骤S130中确定的焊接区域输入对应的图像分割模型中，即可输出对应的目标区域。例如，可以将如图3C所示的焊盘图像中的焊接区域输入与被焊接物变形类型对应的语义分割模型中，即可根据模型的输出结果得到焊接区域中的被焊接物所在区域。

上述方案中，可以利用与检测缺陷类型对应的图像分割模型分割出对应的目标区域。这种方案分割出的目标区域更精准，分割的速度也更快。从而检测精度和检测速度均较高。

步骤S170，利用与检测缺陷类型对应的后处理方法，对目标区域执行后处理，获取后处理结果。

此步骤中的后处理方法可以是任何现有的或未来研发的图像处理方法。示例性而非限制性地，图像后处理方法可以包括图像增强或图像降噪等处理方法，也可以包括测量图像中特定区域的长度、距离、周长、面积、体积等的处理方法。根据本申请实施例，可以根据检测的缺陷类型，采用对应检测缺陷类型的后处理方法，对上述步骤确定的目标区域进行后处理，以获取后处理结果。例如，可以基于预先设定好的针对每种检测缺陷的测量指标，采用匹配的后处理方法对目标区域进行测量，以得到该测量指标的测量结果。

如前所述，检测缺陷类型可以是焊接不牢类型和/或焊接缝隙过大类型，步骤S150所确定的目标区域可以包括被焊接物所在区域和焊接缝隙区域。在步骤S170可以采用任何合适的方法对被焊接物所在区域和焊接缝隙区域进行处理，以得到后处理结果。

例如，对于检测缺陷类型是焊接不牢类型的情况，其焊盘图像中可以表现为被焊接物从锡焊区域全部脱落或部分脱落的缺陷形态。因此可以分别测算并对比被焊接物所在区域的大小和焊接缝隙区域的大小。可以采用任何合适的方法测算这两个区域的大小。例如，可以测算区域的周长，也可以测算区域的宽度和高度，还可以测算区域的面积。示例性而非限制性地，步骤S170对目标区域执行后处理，获取后处理结果，可以包括步骤S171.1和步骤S171.2。

在步骤S171.1，计算被焊接物所在区域的第一面积和焊接缝隙区域的第二面积。可以采用任何合适的方法计算第一面积和第二面积。可选地，可以将每个区域视作一个自由多边形区域，可以基于多边形的各个顶点的坐标，根据多边形计算公式，计算多边形的面积。即，可以将位于每个区域边界上的全部或部分像素作为多边形的顶点，进而可以基于这些像素点的像素位置计算每个区域的面积。替代地，可以计算被焊接物所在区域内的各个像素的像素数量，作为第一面积。并可以计算焊接缝隙区域内的各个像素的像素数量，作为第二面积。这种方法计算量更小，计算速度也较快。

在步骤S171.2，计算第一面积和第二面积的第一比值，作为后处理结果。即，可以将被焊接物所在区域和焊接缝隙区域的面积比值作为后处理的结果。在上述方案中，通过计算被焊接物所在区域和焊接缝隙区域的面积比值，作为后处理结果。这种后处理方法更简单，计算量也更小。因此，检测效率也更高。

可以理解，在上述示例中，被焊接物所在区域和焊接缝隙区域的面积均可以为0。对于第一面积为0的情况，在步骤S171.2所计算的第一比值为0。对于第二面积为0的情况，在步骤S171.2所计算的第一比值可以是无穷大。即对于该种后处理方案，无论被焊接物所在区域和焊接缝隙区域是何种形态，均可以得到相应的第一比值。因此该方案的通用性也较好。

对于检测缺陷类型是焊接缝隙过大类型的情况，可以表现为被焊接物所在区域周边的焊接缝隙区域的大小超过预设的标准。对于该种情况，在一个示例中，可以采用与上述步骤S171.1和步骤S171.2类似的方法，计算并对比两个区域的面积，将两者的面积比值作为后处理结果。然而，对于存在焊接缝隙较大类型的缺陷的焊盘图像，焊接缝隙区域可能不均匀地分布在被焊接物所在区域的周围，并且按照焊缝质量标准，局部焊缝超过一定标准的焊盘也属于缺陷焊盘。因此，为了更精准地检测并确定焊接缝隙较大类型的缺陷，还可以对焊接缝隙区域的各个局部区域的形态进行测算处理。示例性而非限制性地，可以采用合适的区域划分标准，将焊接缝隙区域划分为多个子区域，并可以测算每个子区域的大小。

示例性地，步骤S170，对目标区域执行后处理，获取后处理结果，还可以包括步骤S172.1、步骤S172.2和步骤S172.3。

在步骤S172.1，确定被焊接物所在区域和焊接缝隙区域的合并区域的最小外接图形。可以理解，该合并区域可以是由被焊接物所在区域和焊接缝隙区域组成的区域。最小外接图形可以是任何合适的图形，包括但不限于最小外接矩形、最小外接椭圆、最小外接圆、最小外接三角形等。例如，此步骤中确定的最小外接图形为最小外接矩形。最小外接矩形可以是最小周长外接矩形(Minimum Perimeter Bounding Rectangle,简称MPBR)，也可以是最小面积外接矩形(Minimum Area Bounding Rectangle，简称MABR)。可以采用任何合适的图像处理方法自动确定两个区域的合并区域的最小外接图形。此外，此步骤中，也可以采用训练好的、端到端的神经网络模型，输出被焊接物所在区域和焊接缝隙区域的合并区域的最小外接图形。

在步骤S172.2，将最小外接图形所在的区域划分为多个第一子区域。可以采用任何合适的方法合适的规则进行子区域的划分。每个第一子区域的大小可以相同也可以不同。优选地，每个第一子区域的大小可以是相同的。示例性地，可以将该最小外接矩形所在的区域沿该矩形的宽度和长度方向划分为m*n个第一子区域。矩形的宽度方向可以对应被焊接物的宽度方向。矩形的长度方向可以对应被焊接物的长度方向。m和n均可以是任何合适的正整数，且两者中至少一个大于1。示例性而非限制性地，m可以等于2，n可以大于或等于2，这样可以将位于被焊接物左右两侧的焊缝区分统计，从而方便准确地获知焊缝的宽度。

图4示出根据本申请一个实施例的第一子区域的示意图。如图所示，可以在步骤S172.1确定该焊盘图像中的被焊接物所在区域和焊接缝隙区域220的合并区域的最小外接矩形230之后，将最小外接矩形230所在的区域进行子区域的划分。如图4所示，可以将该最小外接矩形230所在的区域划分为2*8个第一子区域。即，可以将被焊接物两侧的焊缝区域分别划分至8个第一子区域中。

在步骤S172.3，计算焊接缝隙区域在每个第一子区域中的第一占比，作为后处理结果。第一占比可以是面积占比。第一占比是[0，1]中的任意值。例如，可以采用前述区域中像素数量的方法表征区域面积。可以首先统计每个子区域中的像素的数量以及焊接缝隙区域分别落在每个第一子区域中的像素数量，然后计算两者的比值，作为第一占比。容易理解，子区域的数量为多个，则可以计算出多个第一占比。例如，可以计算图4中分别对应16个第一子区域中的16个第一占比。本领域普通技术人员容易理解该方案的多种实现方式，在此不再赘述。

上述方案中，通过将焊接缝隙区域和被焊接物所在区域的合并区域的最小外接图形的区域划分为多个第一子区域，并计算焊接缝隙区域在每个第一子区域中的占比，作为后处理的结果。这种后处理方案更合理，所得到的后处理结果更能准确表征焊接缝隙的大小。从而可以大大降低缺陷检测的误检率，检测的精度更高。

如前所述，检测缺陷类型可以是被焊接物断裂类型，步骤S150所确定的目标区域可以包括被焊接物所在区域。在步骤S170可以采用任何合适的方法对被焊接物所在区域进行处理，以得到用于判定焊盘图像中是否存在被焊接物断裂类型缺陷的后处理结果。即，该后处理结果可以是能够测量被焊接物是否断裂的测量指标。

示例性而非限制性地，对于检测缺陷类型是被焊接物断裂类型的情况，步骤S170，对目标区域执行后处理，获取后处理结果，还可以包括步骤S173.1、步骤S173.2和步骤S173.3。

在步骤S173.1，确定被焊接物所在区域的最小外接图形。与步骤S173.1类似地，最小外接图形可以是任何合适的图形，包括但不限于最小外接矩形、最小外接椭圆形等。可以采用任何合适的方法确定被焊接物所在区域的最小外接图形。例如，可以确定被焊接物所在区域的最小外接矩形。其中，最小外接矩形的长度方向和宽度方向可以分别对应被焊接物的长度方向和宽度方向。

在步骤S173.2，将最小外接图形划分为多个第二子区域；以及在步骤S173.3，确定被焊接物所在区域在每个第二子区域中的第二占比，作为后处理结果。

以最小外接图形为最小外接矩形为例，可以采用任何合适的方法或划分标准将被焊接物所在区域的最小外接矩形划分为任何合适数量的第二子区域。示例性而非限制性地，与前述第一子区域的划分方法类似地，可以将被焊接物所在区域的最小外接矩形的区域沿该矩形的宽度和长度方向平均划分为P*q个第二子区域。p和q均可以是任何合适的正整数，且两者中至少一个大于1。

可选地，p可以等于1，q可以大于或等于2。图5A示出根据本申请一个实施例的第二子区域的示意图。可以将焊线的最小外接矩形的区域平均划分为1*24个第二子区域。并且，可以在步骤S173.3，计算被焊接物所在区域落在每个第二子区域中的区域面积占每个第二子区域的总面积的比值，并将该比值作为每个第二占比。第二占比是[0，1]中的任意值。被焊接物所在区域可以是是由被焊接物像素组成的区域。第二占比可以是被焊接物像素数量的占比。由此，可以得到针对24个第二子区域的24个第二占比。可以理解，若被焊接物断裂，则落在处于断裂位置的第二子区域中的被焊接物像素数量可以较少甚至为0。后续可以基于第二占比等于0或小于预设占比阈值的情况，确定焊盘图像中存在被焊接物断裂类型的缺陷。

替代地，p可以大于或等于2，q可以大于或等于2。图5B示出根据本申请另一个实施例的第二子区域的示意图。如图所示，可以在步骤S173.1确定图中的焊线所在区域的最小外接矩形。该最小外接矩形的长度方向和宽度方向可以分别对应焊线的长度方向和宽度方向。在步骤S173.2，可以将该最小外接矩形在焊盘图像中的区域平均划分为2*24个第二子区域。并且，可以在步骤S173.3，采用任何合适的方法计算被焊接物所在区域占每个第二子区域的第二占比。与前述示例类似地，同样可以计算每个第二子区域中被焊接物像素数量的占比，作为第二占比。由此，可以得到针对48个第二子区域的48个第二占比。可以理解，若被焊接物断裂，则落在处于断裂位置的第二子区域中的被焊接物像素数量可以较少甚至为0。然而，由于被焊接物断裂可以是沿任意方向的断裂。其可以沿着被焊接物的宽度方向断裂，也可以沿着其他方向断裂。上述沿最小外接矩形的宽度方向也划分为多个第二子区域的方案，还可以在被焊接物沿其他方向断裂时，可以基于第二占比小于预设占比阈值的情况以及第二子区域的位置关系，准确判定焊盘图像中是否存在被焊接物断裂类型的缺陷。

上述方案中，通过将被焊接物所在区域的最小外接图形划分为多个子区域，并计算被焊接物所在区域在每个子区域中的占比，作为后处理的结果。这种后处理方案执行逻辑简单，计算量较小。并且，所得到的后处理结果可以准确反映被焊接物是否断裂。从而可以大大降低缺陷检测的误检率，检测的精度更高。

如前所述，检测缺陷类型可以是被焊接物变形类型，步骤S150所确定的目标区域可以是被焊接物所在区域。在步骤S170可以采用任何合适的方法对被焊接物所在区域进行处理，以得到用于判定焊盘图像中是否存在被焊接物变形类型缺陷的后处理结果。即，该后处理结果可以是各种能够测量被焊接物是否变形的测量指标。

示例性地，被焊接物变形类型可以是被焊接物的宽度变形的缺陷类型。被焊接物例如是焊线，被焊接物变形例如是焊线打扁。步骤S170对目标区域执行后处理，获取后处理结果还可以包括步骤S174.1和步骤S174.2。

在步骤S174.1，确定被焊接物所在区域的最小外接图形。最小外接图形可以是任何合适的图形，包括但不限于最小外接矩形、最小外接椭圆、最小外接圆、最小外接三角形等。优选地，最小外接图形为最小外接矩形。最小外接矩形的宽度可以对应被焊接物的宽度，最小外接矩形的长度可以对应被焊接物的长度。可以采用任何合适的方法确定被焊接物所在区域的最小外接矩形，本申请不对其进行限制。

在步骤S174.2，确定最小外接图形的宽度，作为后处理结果。可以理解，对于检测被焊接物的宽度变形的缺陷类型，可以测量焊盘图像中被焊接物的宽度。可以利用上述步骤确定的被焊接物所在区域的最小外接图形的宽度来表征被焊接物的宽度。在最小外接图形是最小外接椭圆的示例中，可以通过计算最小外接椭圆的短轴(或长轴)的长度确定最小外接椭圆的宽度，作为后处理结果。如前所述，在最小外接图形为最小外接矩形的示例中，最小外接矩形的宽度可以对应被焊接物的宽度。因此，可以直接确定最小外接矩形的宽度作为后处理结果。

上述方案中，通过确定被焊接物所在区域的最小外接图形，并将最小外接图形的宽度作为后处理结果。方案执行逻辑简单，计算量较小。且有助于准确地确定被焊接物是否变形。

步骤S190，基于后处理结果，确定焊盘图像中是否存在缺陷。

在获取对目标区域的后处理结果之后，可以进一步基于相应的后处理结果，采用任何合适的判断逻辑和判断标准，确定焊盘图像中是否存在缺陷。

示例性地，对于检测缺陷类型是焊接不牢的情况，在步骤S171.2，计算第一面积和第二面积的第一比值作为后处理结果之后，步骤S190基于后处理结果，确定焊盘图像中是否存在缺陷还可以包括步骤S191。在步骤S191，比较第一比值与预设的第一比值阈值，在第一比值小于或等于第一比值阈值的情况下，确定焊盘图像存在焊接缝隙过大类型的缺陷。

根据本申请实施例，第一比值为焊盘图像中的被焊接物所在区域和焊接缝隙区域的面积比值。可以理解，第一比值越小，即表示被焊接物所在区域相对于焊接缝隙区域越小。如前所述，存在焊接不牢类型的缺陷的焊盘图像中可以表现为例如被焊接物从锡焊区域全部脱落或部分脱落的缺陷形态。对于这种缺陷形态，被焊接物所在区域的面积较小。因此，可以根据实际的检测需求，预先设置用于判定焊接不牢的第一比值阈值。第一比值阈值可以是任何较小的值。示例性而非限制性地，第一比值阈值大于或等于0且小于1。例如，第一比值阈值可以是0，可以在第一比值等于第一比值阈值的情况下，确定被焊接物从焊盘中完全脱落，存在焊接不牢类型的缺陷。

上述方案中，可以计算被焊接物所在区域的面积和焊接缝隙区域的面积的第一比值，作为后处理结果。并将第一比值与预设的第一比值阈值进行比对，以确定焊盘图像中是否存在焊接不牢类型的缺陷。将这种方法更简单，计算量也更小。因此，检测效率也更高。并且该方案的通用性也较好。

示例性地，对于检测缺陷类型是焊接缝隙过大类型的情况，在步骤S172.3计算焊接缝隙区域在每个第一子区域中的第一占比，作为后处理结果之后，步骤S190基于后处理结果，确定焊盘图像中是否存在缺陷，还包括步骤S192。在步骤S192，比较第一占比和预设的第一占比阈值，以在第一占比大于第一占比阈值的情况下，确定焊盘图像存在焊接缝隙过大类型的缺陷。

如前所述，在对目标区域的后处理过程中，可以将焊接缝隙区域和被焊接物所在区域的合并区域的最小外接图形的区域划分为多个第一子区域，并计算焊接缝隙区域在每个第一子区域中的第一占比，作为后处理的结果。焊接缝隙区域可以是由焊接缝隙像素组成的区域。再次参考图4，例如对于图中划分出的16个第一子区域中的每个第一子区域，可以计算出其中焊接缝隙像素的数量与该子区域中的所有像素的第一占比。容易理解，第一占比越大，表明其中的焊接缝隙区域的面积越大。由于焊接缝隙区域一般分布于被焊接物区域的两侧，因此，第一占比也近似等同于焊接缝隙区域的宽度与第一子区域的宽度的比值。即，第一占比越大，一定程度上表明该子区域中的焊接缝隙区域的宽度也越大。可以根据实际的检测需求预先设置合适的第一占比阈值。第一占比阈值例如是0.5或0.6或0.8等合适的值。可以在第一占比大于第一占比阈值的情况下，确定焊盘图像中存在焊接缝隙过大类型的缺陷。

根据本申请实施例，可以在第一预设数量的第一占比大于第一占比阈值的情况下，确定焊盘图像中存在焊接缝隙过大类型的缺陷。第一预设数量例如是1、2、3等任意合适的数量。例如，对于图中的16个第一子区域，可以在其中任意一个第一子区域中，焊接缝隙像素的第一占比大于第一占比阈值的情况下，即确定焊盘图像中存在焊接缝隙过大类型的缺陷。又或者，可以在其中至少两个第一子区域中的焊接缝隙像素的第一占比均大于第一占比阈值的情况下，才确定焊盘图像中存在焊接缝隙过大类型的缺陷。

上述方案中，通过确定焊接缝隙区域和被焊接物所在区域的合并区域的最小外接图形，并将该最小外接图形所在的区域划分为多个第一子区域，进而计算焊接缝隙区域在每个第一子区域中的第一占比，作为后处理的结果。最终根据第一占比和第一占比阈值，确定焊盘图像中是否存在焊接缝隙过大类型的缺陷。该方案执行逻辑合理、简单，计算量也更小，且得到的第一占比更能准确表征焊接缝隙的大小。从而可以准确检测焊接缝隙过大类型的缺陷，可以大大降低缺陷检测的误检率，检测的精度更高。

示例性地，对于检测缺陷类型是被焊接物断裂类型的情况，在步骤S173.3，确定被焊接物所在区域在每个第二子区域中的第二占比，作为后处理结果。步骤S190基于后处理结果，确定焊盘图像中是否存在待检测缺陷，包括步骤S193。在步骤S193，比较第二占比和预设的第二占比阈值，以至少基于第二占比小于或等于第二占比阈值的比较结果，确定焊盘图像存在被焊接物断裂类型的缺陷。

如前所述，在对目标区域的后处理过程中，通过确定被焊接物所在区域的最小外接图形，并将该最小外接图形的区域划分为多个第二子区域，进而计算每个第二子区域中的被焊接物像素的第二占比，作为后处理的结果。如前所述，若被焊接物断裂，则在划分的多个第二子区域中，必然存在焊接物像素的占比较小、甚至为0的情况。因此，可以预先根据检测需求设置合适的第二占比阈值，并比较每个第二占比与第二占比阈值。第二占比阈值可以是任何合适的较小的值，例如0、0.01、0.1等。并可以至少基于第二占比小于或等于第二比值阈值，确定焊盘图像存在被焊接物断裂类型的缺陷。

在一个示例中，可以直接基于第二占比小于或等于第二比值阈值，确定焊盘图像存在被焊接物断裂类型的缺陷。第二比值阈值例如是0。再次参考图5A，对于图中的24个第二子区域，只要第二预设数量的第二子区域中的被焊接物像素的第二占比等于0，则可以确定焊盘图像存在被焊接物断裂类型的缺陷。第二预设数量例如是1或者2等合适的数量。

在另一示例中，可以基于第二占比小于或等于第二比值阈值，以及满足“第二占比小于或等于第二比值阈值”的第二子区域的位置，确定焊盘图像存在被焊接物断裂类型的缺陷。同样以第二比值阈值是0为例，再次参考图5B，对于图中的48个第二子区域，首先可以确定焊接物像素等于0的特定第二子区域。然后可以进一步根据特定子区域的位置，确定焊盘图像存在被焊接物断裂类型的缺陷。例如，可以在至少两个特定子区域为对角的第二子区域的情况下，确定焊盘图像存在被焊接物断裂类型的缺陷。

这种方案执行逻辑简单，计算量较小，检测速度更快。并且，上述方法所计算的第二占比可以准确表征被焊接物是否断裂。从而可以准确检测焊盘图像中的被焊接物断裂类型的缺陷，可以大大降低缺陷检测的误检率。

示例性地，对于检测缺陷类型是被焊接物变形类型的情况。在步骤S174.2确定最小外接图形的宽度之后，步骤S190基于后处理结果，确定焊盘图像中是否存在待检测缺陷，还可以包括步骤S194。在步骤S194，比较宽度和预设的宽度阈值，在宽度大于宽度阈值的情况下，确定焊盘图像存在被焊接物变形类型的缺陷。

如前所述，在对目标区域的后处理过程中，确定被焊接物所在区域的最小外接图形，并确定最小外接图形的宽度，作为后处理结果。被焊接物变形类型可以是被焊接物的宽度变形的类型。例如，焊线打扁类型。步骤S174.2所确定的最小外接图形的宽度可以表征被焊接物的宽度。因此，可以预先根据检测需求设置合适的宽度阈值。该宽度阈值可以是任何合适的值，并且，对于不同类型的焊盘图像，其用于判断被焊接物变形类型缺陷而设置的宽度阈值可以不同。例如，宽度阈值可以是10px。在步骤S194，可以比较最小外接图形的宽度和该宽度阈值10px。若该宽度大于10px，则可以确定焊盘图像存在被焊接物变形类型的缺陷。本领域普通技术人员容易理解该方案，在此不再赘述。上述方案中，通过确定被焊接物所在区域的最小外接图形，并确定最小外接图形的宽度，最终基于该宽度预设的宽度阈值，确定焊盘图像中是否存在被焊接物变形类型的缺陷。该方案执行逻辑简单，计算量较小。并且通过被焊接物所在区域的最小外接图形的宽度可以准确表征被焊接物的宽度，因此可以准确检测焊盘图像中的被焊接物变形类型的缺陷。检测效率和检测精度均较高。

根据本申请实施例的缺陷检测方法，在确定焊盘图像中的焊接区域的基础上，通过对焊接区域进行区域分割，确定目标区域。进一步采用与检测缺陷类型对应的后处理方法对目标区域进行后处理。最终根据后处理结果，确定焊盘图像中是否存在待检测缺陷。该方案对图像质量要求不高，可以适用于对多种焊盘图像的检测，而且检测准确率和检测效率也大大提高。此外，该方案的计算量也相对较小，从而还可以节省计算资源，用户体验也较好。

示例性地，在步骤S170对目标区域执行后处理之前，该方法100还包括步骤S160。在步骤S160，对目标区域进行形态学处理，以确定处理后的目标区域。

根据本申请实施例，在对目标区域执行后处理之前，可以采用任何合适的形态学处理方法对焊接区域中的目标区域进行优化处理，以获取优化后的目标区域。例如，可以采用开运算或闭运算中的任意一种对目标区域进行处理。或者，对于检测缺陷类型为多个的情况下，也可以根据实际检测需求采用不同的形态学处理方法对不同的目标区域进行处理。

在一个示例中，可以在步骤S160，对目标区域进行形态学的开运算处理，以确定处理后的目标区域。以检测缺陷类型是被焊接物断裂类型为例，可以在步骤S150通过区域分割确定焊接区域中的被焊接物所在区域之后，可以对被焊接物所在区域进行形态学开运算处理以得到处理后的被焊接物所在区域。容易理解，通过此步骤中的形态学开运算操作可以去除目标区域中的异常凸起以及一些孤立噪点。例如，可以以预设的结构元素，对目标区域进行开运算处理。预设的结构元素的面积可以小于预设面积。这样，利用较小的结构元素对目标区域进行开运算，可以去除较小的噪声，又可以保证处理后的目标区域的准确度。

在另一示例中，还可以在步骤S160，对目标区域进行形态学的闭运算处理，以确定处理后的目标区域。以检测缺陷类型是被焊接物变形类型为例，可以在步骤S150通过区域分割的方法，确定焊接区域中的被焊接物所在区域之后，可以对被焊接物所在区域进行形态学闭运算处理，以得到处理后的被焊接物所在区域。可以理解，通过该闭运算处理可以有效填补被焊接物所在区域中的噪声孔，使得处理后的被焊接物所在区域更准确。

上述方案中，可以在对目标区域执行后处理之前，对目标区域进行形态学处理。可以去除目标区域中的噪点，保证处理后的目标区域的准确度。并且，可以降低噪点对后续的后处理的影响，可以有效降低处理的运算量。从而既可以提高缺陷检测的效率和精度。

根据本申请的第二方面，还提供一种缺陷检测系统。图6示出根据本申请一个实施例的缺陷检测系统600的示意性框图。如图所示，该系统600包括：获取模块610、第一确定模块620、区域分割模块630、后处理模块640和第二确定模块650。

获取模块610，用于获取焊盘图像。

第一确定模块620，用于从焊盘图像中确定焊接物所在的焊接区域。

区域分割模块630，用于对焊接区域进行区域分割，以确定目标区域。

后处理模块640，用于利用与检测缺陷类型对应的后处理方法，对目标区域执行后处理，获取后处理结果。

第二确定模块650，用于基于后处理结果，确定焊盘图像中是否存在缺陷。

根据本申请的第三方面，还提供一种电子设备。图7示出根据本申请实施例的电子设备700的示意性框图。如图所示，该电子设备700包括处理器710和存储器720，其中，存储器720中存储有计算机程序指令，计算机程序指令被处理器710运行时用于执行上述缺陷检测方法100。

根据本申请的第四方面，还提供一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行上述缺陷检测方法100。所述存储介质例如可以包括平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。

本领域普通技术人员通过阅读上述有关缺陷检测方法的相关描述，可以理解上述缺陷检测系统、电子设备和存储介质的具体实现方案，为了简洁，在此不再赘述。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本申请的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本申请的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本申请的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本申请的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的缺陷检测系统中的一些模块的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本申请的具体实施方式或对具体实施方式的说明，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以权利要求的保护范围为准。

Claims (15)

1.一种缺陷检测方法，其特征在于，包括：

获取焊盘图像；

从所述焊盘图像中确定被焊接物所在的焊接区域；

对所述焊接区域进行区域分割，以确定目标区域，其中，所述目标区域包括被焊接物所在区域和/或焊接缝隙区域；

利用与检测缺陷类型对应的后处理方法，对所述目标区域执行后处理，获取后处理结果；以及

基于所述后处理结果，确定所述焊盘图像中是否存在缺陷。

2.如权利要求1所述的缺陷检测方法，其特征在于，所述检测缺陷类型包括焊接不牢类型、焊接缝隙过大类型、被焊接物断裂类型以及被焊接物变形类型中的至少一种。

3.如权利要求2所述的缺陷检测方法，其特征在于，所述检测缺陷类型是焊接不牢类型或焊接缝隙过大类型，所述目标区域包括被焊接物所在区域和焊接缝隙区域。

4.如权利要求3所述的缺陷检测方法，其特征在于，所述检测缺陷类型是焊接不牢类型，

所述对所述目标区域执行后处理，获取后处理结果，包括：

计算所述被焊接物所在区域的第一面积和所述焊接缝隙区域的第二面积；

计算所述第一面积和第二面积的第一比值作为后处理结果；

所述基于所述后处理结果，确定所述焊盘图像中是否存在缺陷包括：

比较所述第一比值与预设的第一比值阈值，以在所述第一比值小于或等于所述第一比值阈值的情况下，确定所述焊盘图像存在焊接不牢类型的缺陷。

5.如权利要求3所述的缺陷检测方法，其特征在于，所述检测缺陷类型是焊接缝隙过大类型，

所述对所述目标区域执行后处理，获取后处理结果，包括：

确定所述被焊接物所在区域和所述焊接缝隙区域的合并区域的最小外接图形；

将所述最小外接图形所在的区域划分为多个第一子区域；以及

计算所述焊接缝隙区域在每个第一子区域中的第一占比，作为后处理结果；

所述基于所述后处理结果，确定所述焊盘图像中是否存在缺陷，包括：

比较所述第一占比和预设的第一占比阈值，以在所述第一占比大于所述第一占比阈值的情况下，确定所述焊盘图像存在焊接缝隙过大类型的缺陷。

6.如权利要求2所述的缺陷检测方法，其特征在于，所述检测缺陷类型是被焊接物断裂类型或被焊接物变形类型，所述目标区域包括被焊接物所在区域。

7.如权利要求6所述的缺陷检测方法，其特征在于，所述检测缺陷类型是被焊接物断裂类型，

所述对所述目标区域执行后处理，获取后处理结果，包括：

确定所述被焊接物所在区域的最小外接图形；

将所述最小外接图形划分为多个第二子区域；以及

确定所述被焊接物所在区域在每个第二子区域中的第二占比，作为后处理结果；

所述基于所述后处理结果，确定所述焊盘图像中是否存在待检测缺陷，包括：

比较所述第二占比和预设的第二占比阈值，以至少基于所述第二占比小于或等于所述第二占比阈值的比较结果，确定所述焊盘图像存在被焊接物断裂类型的缺陷。

8.如权利要求6所述的缺陷检测方法，其特征在于，所述检测缺陷类型是被焊接物变形类型，

所述对所述目标区域执行后处理，获取后处理结果，包括：

确定所述被焊接物所在区域的最小外接图形；以及

确定所述最小外接图形的宽度，作为所述后处理结果；

所述基于所述后处理结果，确定所述焊盘图像中是否存在待检测缺陷，包括：

比较所述宽度和预设的宽度阈值，在所述宽度大于所述宽度阈值的情况下，确定所述焊盘图像存在被焊接物变形类型的缺陷。

9.如权利要求1至8任一项所述的缺陷检测方法，其特征在于，在所述对所述目标区域执行后处理之前，所述方法还包括：

对所述目标区域进行形态学处理，以确定处理后的目标区域。

10.如权利要求1至8任一项所述的缺陷检测方法，其特征在于，所述从所述焊盘图像中确定焊接物所在的焊接区域，包括：

将所述焊盘图像输入目标检测模型中，以输出所述焊接区域，其中所述目标检测模型是利用第一训练样本图像以及对应的焊接区域的标注数据训练而获得的。

11.如权利要求1至8任一项所述的缺陷检测方法，其特征在于，所述对所述焊接区域进行区域分割，以确定目标区域，包括：

基于所述检测缺陷类型，确定图像分割模型；以及

将所述焊接区域输入所述图像分割模型中，以输出所述目标区域。

12.如权利要求1至8任一项所述的缺陷检测方法，其特征在于，所述对所述焊接区域进行区域分割，以确定目标区域，包括：

将所述焊接区域输入图像分割模型中，以输出所述目标区域；其中，所述图像分割模型是利用第二训练样本图像以及对应的目标区域的标注数据训练而获得的。

13.一种缺陷检测系统，其特征在于，包括：

获取模块，用于获取焊盘图像；

第一确定模块，用于从所述焊盘图像中确定被焊接物所在的焊接区域；

区域分割模块，用于对所述焊接区域进行区域分割，以确定目标区域，其中，所述目标区域包括被焊接物所在区域和/或焊接缝隙区域；

后处理模块，用于利用与检测缺陷类型对应的后处理方法，对所述目标区域执行后处理，获取后处理结果；以及

第二确定模块，用于基于所述后处理结果，确定所述焊盘图像中是否存在缺陷。

14.一种电子设备，包括处理器和存储器，其特征在于，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求1至12任一项所述的缺陷检测方法。

15.一种存储介质，在所述存储介质上存储了程序指令，其特征在于，所述程序指令在运行时用于执行如权利要求1至12任一项所述的缺陷检测方法。

Images