CN109886950A - 电路板的缺陷检测方法和装置 - Google Patents

Abstract

本申请提出一种电路板的缺陷检测方法和装置，其中，方法包括：通过获取电路板的拍摄图像，将拍摄图像输入经过训练的实例分割模型，以获取实例分割模型输出的目标像素单元，目标像素单元是拍摄图像中呈现缺陷的像素单元；其中，实例分割模型已经学习得到存在缺陷的局部电路板的图像特征，以根据目标像素单元在拍摄图像中的面积占比，对电路板进行缺陷检测。由于实例分割模型已经学习得到存在缺陷的局部电路板的图像特征，因此，能够在拍摄图像中准确定位存在缺陷的目标像素单元，进而根据该目标像素单元在拍摄图像中的面积占比进一步进行校验以最终确定电路板是否存在缺陷，有助于提高被测电路板缺陷检测的精度和效率。

Description

电路板的缺陷检测方法和装置

技术领域

本申请涉及深度学习与图像处理技术领域，尤其涉及一种电路板的缺陷检测方法和装置。

背景技术

目前电路板制造依赖于自动化的工业生产线，由于电路板的电子元器件集成度不断增加，电路板生产工艺越来越复杂，在电路板生成的过程中不可避免的会出现缺陷电路板，因此，对电路板进行缺陷检测，能够避免因缺陷导致的电路板损坏。

现有技术中，电路板生成企业主要采用人工检测方法对电路板进行缺陷检测。但是，人工检测需要工作人员用肉眼进行检查，存在检测成本高、准确性较低、效率低等缺点。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

本申请提出一种电路板的缺陷检测方法和装置，解决了现有技术中，对电路板的缺陷检测依赖人工检测时，存在准确率较低、检测成本高以及效率低的技术问题。

本申请第一方面实施例提出了一种电路板的缺陷检测方法，包括：

获取电路板的拍摄图像；

将所述拍摄图像输入经过训练的实例分割模型，以获取所述实例分割模型输出的目标像素单元，所述目标像素单元是所述拍摄图像中呈现缺陷的像素单元；其中，所述实例分割模型已经学习得到存在缺陷的局部电路板的图像特征；

根据所述目标像素单元在所述拍摄图像中的面积占比，对所述电路板进行缺陷检测。

作为本申请实施例的第一种可能的实现方式，所述实例分割模型还学习得到存缺陷的局部电路板的图像特征对应的缺陷类型，用于输出所述目标像素单元的缺陷类型；

所述根据所述目标像素单元在所述拍摄图像中的面积占比，对所述电路板进行缺陷检测，包括：

根据所述目标像素单元呈现的局部电路板存在的缺陷类型，确定对应的参考面积占比；

若所述目标像素单元在所述拍摄图像中的实际面积占比与所述参考面积占比匹配，确定所述电路板存在缺陷。

作为本申请实施例的第二种可能的实现方式，所述若所述目标像素单元在所述拍摄图像中的实际面积占比与所述参考面积占比匹配，确定所述电路板存在缺陷之前，还包括：

若所述目标像素单元为至少两个，将连续分布的对应相同缺陷类型的至少两个目标像素单元合并为一个目标像素单元。

作为本申请实施例的第三种可能的实现方式，所述将所述拍摄图像输入经过训练的实例分割模型之前，还包括：

获取样本图像，其中，所述样本图像存在标注区域，所述标注区域内展示的电路器件存在缺陷；

根据所述标注区域内展示的电路器件的缺陷类型，对所述样本图像进行标注；

采用经过标注的所述样本图像对所述实例分割模型进行训练。

作为本申请实施例的第四种可能的实现方式，所述根据所述目标像素单元在所述拍摄图像中的面积占比，对所述电路板进行缺陷检测之后，还包括：

若所述电路板存在缺陷，在控制界面展示所述拍摄图像；

获取对所述拍摄图像人工标注的缺陷指示信息；

根据所述拍摄图像和所述缺陷指示信息，生成第一训练样本；

采用所述第一训练样本对所述实例分割模型进行训练。

作为本申请实施例的第五种可能的实现方式，所述根据所述目标像素单元在所述拍摄图像中的面积占比，对所述电路板进行缺陷检测之后，还包括：

从不存在缺陷的电路板中选取部分电路板，在控制界面展示选取的部分电路板的拍摄图像；

对选取的部分电路板，获取相应拍摄图像人工标注的未存在缺陷的指示信息；

根据所述拍摄图像和所述未存在缺陷的指示信息，生成第二训练样本，以采用所述第二训练样本对所述实例分割模型进行训练。

作为本申请实施例的第六种可能的实现方式，所述根据所述目标像素单元在所述拍摄图像中的面积占比，对所述电路板进行缺陷检测之后，还包括：

若所述电路板存在缺陷，确定所述目标像素单元在所述拍摄图像中的相对位置；

根据所述相对位置，确定存在缺陷的电路器件在所述电路板中的实际位置。

作为本申请实施例的第七种可能的实现方式，所述根据所述目标像素单元在所述拍摄图像中的面积占比，对所述电路板进行缺陷检测之后，还包括：

若所述电路板存在缺陷，对生产线进行控制，以将存在缺陷的所述电路板置于设定区域内。

本申请实施例的电路板的缺陷检测方法，通过获取电路板的拍摄图像，将拍摄图像输入经过训练的实例分割模型，以获取实例分割模型输出的目标像素单元，目标像素单元是拍摄图像中呈现缺陷的像素单元；其中，实例分割模型已经学习得到存在缺陷的局部电路板的图像特征，以根据目标像素单元在拍摄图像中的面积占比，对电路板进行缺陷检测。由于实例分割模型已经学习得到存在缺陷的局部电路板的图像特征，因此，能够在拍摄图像中准确定位存在缺陷的目标像素单元，进而根据该目标像素单元在拍摄图像中的面积占比进一步进行校验以最终确定电路板是否存在缺陷，有助于提高被测电路板缺陷检测的精度和效率。

本申请第二方面实施例提出了一种电路板的缺陷检测装置，包括：

获取模块，用于获取电路板的拍摄图像；

处理模块，用于将所述拍摄图像输入经过训练的实例分割模型，以获取所述实例分割模型输出的目标像素单元，所述目标像素单元是所述拍摄图像中呈现缺陷的像素单元；其中，所述实例分割模型已经学习得到存在缺陷的局部电路板的图像特征；

检测模块，用于根据所述目标像素单元在所述拍摄图像中的面积占比，对所述电路板进行缺陷检测。

本申请实施例的电路板的缺陷检测装置，通过获取电路板的拍摄图像，将拍摄图像输入经过训练的实例分割模型，以获取实例分割模型输出的目标像素单元，目标像素单元是拍摄图像中呈现缺陷的像素单元；其中，实例分割模型已经学习得到存在缺陷的局部电路板的图像特征，以根据目标像素单元在拍摄图像中的面积占比，对电路板进行缺陷检测。由于实例分割模型已经学习得到存在缺陷的局部电路板的图像特征，因此，能够在拍摄图像中准确定位存在缺陷的目标像素单元，进而根据该目标像素单元在拍摄图像中的面积占比进一步进行校验以最终确定电路板是否存在缺陷，有助于提高被测电路板缺陷检测的精度和效率。

本申请第三方面实施例提出了一种计算机设备，包括：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述实施例中所述的电路板的缺陷检测方法。

本申请第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例中所述的电路板的缺陷检测方法。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例提供的一种电路板的缺陷检测方法的流程示意图；

图2为本申请实施例提供的一种实例分割模型训练方法的流程示意图；

图3为本申请实施例中提供的一种用于实例分割的Mask R-CNN网络框架示意图；

图4为本申请实施例提供的一种Faster R-CNN算法的结构示意图；

图5为本申请实施例提供的另一种电路板的缺陷检测方法的流程示意图；

图6为本申请实施例提供的又一种电路板的缺陷检测方法的流程示意图；

图7为本申请实施例提供的一种电路板的缺陷检测装置的结构示意图；

图8示出了适于用来实现本申请实施方式的示例性计算机设备的框图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

本申请实施例针对现有技术中，对电路板的缺陷检测依靠纯人工检测方法，存在检测成本高、检测结果的准确率较低以及实时性差的技术问题，提出了一种电路板的缺陷检测方法。

本申请实施例提供的电路板的缺陷检测方法，通过获取电路板的拍摄图像，将拍摄图像输入经过训练的实例分割模型，以获取实例分割模型输出的目标像素单元，目标像素单元是拍摄图像中呈现缺陷的像素单元，以根据目标像素单元在拍摄图像中的面积占比，对电路板进行缺陷检测。

下面参考附图描述本申请实施例的电路板的缺陷检测方法和装置。

图1为本申请实施例所提供的一种电路板的缺陷检测方法的流程示意图。

如图1所示，该电路板的缺陷检测方法包括以下步骤：

步骤101，获取电路板的拍摄图像。

其中，获取拍摄图像的电路板，是指需要进行缺陷检测的电路板。

本申请实施例中，在对电路板进行缺陷检测时，可以通过获取被测电路板的拍摄图像，以根据拍摄图像对被测电路板进行缺陷检测。具体地，在获取被测电路板的拍摄图像时，可以利用图像采集系统的高精度摄像头，通过调整摄像头的角度、光线、滤镜、倍镜、聚焦等参数，进而实时采集得到被测电路板的拍摄图像。

作为一种示例，若生产被测电路板的车间的光线比较暗时，可以通过调整高精度摄像头的角度、光线等参数，进而采集得到清晰的被测电路板的图像。为了提高后续实例分割模型的识别准确度，在对高精度摄像头进行参数调整时，应参考实例分割模型训练所采用的样本图像，使得调整后的参数与拍摄样本图像时所采用的拍摄参数匹配。

步骤102，将拍摄图像输入经过训练的实例分割模型，以获取实例分割模型输出的目标像素单元，目标像素单元是所述拍摄图像中呈现缺陷的像素单元；其中，实例分割模型已经学习得到存在缺陷的局部电路板的图像特征。

本申请实施例中，目标像素单元是指电路板的拍摄图像中呈现缺陷的局部电路板对应的像素单元。例如，电路板的某一芯片安装错误，则将该电路板的拍摄图像输入经过训练的实例分割模型后，输出的目标像素单元为呈现有该电路板芯片的像素单元。

需要说明的是，电路板在生产过程中受到工艺、设备、原料等原因的限制，电路板生产过程中可能会存在一些缺陷。本申请实施例中，实例分割模型已经学习得到存在缺陷的局部电路板的图像特征以及图像特征对应的缺陷类型，因此，将电路板的拍摄图像输入到经过训练的实例分割模型，输出的目标像素单元中呈现的缺陷电路板的像素单元，通过目标像素单元能够确定缺陷电路板的缺陷类型和缺陷位置。其中，缺陷类型可以为芯片焊接少锡、芯片焊接多锡、芯片焊接连锡、芯片安装错误等缺陷。但是本申请实施例中，被测电路板的缺陷类型可能还存在其余的情况，不限制于上述的缺陷类型。

在本申请的一个实施例中，实例分割模型可以通过深度卷积神经网络(DeepConvolutional Neural Network，简称DCNN)对训练样本图像进行训练得到，并且训练得到的实例分割模型已经学习得到存在缺陷的局部电路板的图像特征以及对应的缺陷类型，因此，将电路板对应的拍摄图像输入到实例分割模型后，根据实例分割模型的输出，可以确定缺陷电路板的缺陷类型和缺陷位置。

其中，用于训练的样本图像中存在标注区域，并且标注区域内展示的电路器件存在缺陷。

步骤103，根据目标像素单元在拍摄图像中的面积占比，对电路板进行缺陷检测。

需要说明的是，将电路板的拍摄图像输入实例分割模型后，输出的目标像素单元中呈现的局部电路板面积存在差异。可以将目标像素单元在拍摄图像中的面积占比，与设定判断条件进行匹配，以进一步确定电路板是否存在缺陷。这里的判断条件通常与用户需求的检测精度相关，若检测精度较低，判断条件可以设置较为宽松，反之检测精度较高，判断条件相应设置较为严苛。

作为第一种可能的实现方式，若检测精度较低，在对缺陷进行检测时，仅在目标像素单元在拍摄图像中的面积占比大于一定阈值时，识别电路板存在缺陷，从而焊接瑕疵等细小缺陷不会影响电路板的检测结果，仅在芯片安装错误等存在较大缺陷时，才会认为电路板存在缺陷。

作为第二种可能的实现方式，若检测精度较高，可以在进行缺陷检测时，进一步考虑缺陷类型，预先根据不同的缺陷类型，设置不同的参考面积占比，也就是说每一种缺陷类型都有其对应的参考面积占比。这里的参考面积占比，是根据实际检测出的每一种缺陷类型进行测试后得到的面积占比范围。

在本申请实施例中，可以首先根据目标像素单元呈现的局部电路板存在的缺陷类型，确定对应的参考面积占比，再通过计算得到目标像素单元在拍摄图像中的实际面积占比，判断目标像素单元在拍摄图像中的实际面积占比是否与参考面积占比匹配，即判断实际面积占比是否处于参考面积占比对应的范围值内。在确定该电路板存在缺陷后，进一步的，根据预先设置的不同缺陷类型对应的参考面积占比，确定该电路板存在的缺陷类型。

作为一种可能的情况，若目标像素单元在拍摄图像中的实际面积占比处于参考面积占比对应的范围内，则说明该电路板存在缺陷，进一步的，根据预先设置的不同缺陷类型对应的参考面积占比，确定该电路板存在的缺陷类型。

作为另一种可能的情况，若目标像素单元在拍摄图像中的实际面积占比小于参考面积占比，则说明该电路板未存在相应的缺陷类型。

由于参考了各缺陷类型对应的参考面积占比，对实例分割模型识别出的缺陷进行校验，仅在实际面积占比与识别出的缺陷类型对应的参考面积占比匹配的情况下，才确定该电路板存在缺陷，提高了缺陷检测的可靠性。

将电路板的拍摄图像输入实例分割模型后，输出的目标像素单元为至少两个，在执行第二种可能的实现方式之前，可以将连续分布的对应相同缺陷类型的至少两个目标像素单元合并为一个目标像素单元，通过计算合并后的一个目标像素单元在拍摄图像中的实际面积占比，以确定实际面积占比与其缺陷类型对应的参考面积占比是否匹配来确定电路板是否存在缺陷。

本申请实施例的电路板的缺陷检测方法，通过获取电路板的拍摄图像，将拍摄图像输入经过训练的实例分割模型，以获取实例分割模型输出的目标像素单元，目标像素单元是拍摄图像中呈现缺陷的像素单元；其中，实例分割模型已经学习得到存在缺陷的局部电路板的图像特征，以根据目标像素单元在拍摄图像中的面积占比，对电路板进行缺陷检测。由于实例分割模型已经学习得到存在缺陷的局部电路板的图像特征，因此，能够在拍摄图像中准确定位存在缺陷的目标像素单元，进而根据该目标像素单元在拍摄图像中的面积占比进一步进行校验以最终确定电路板是否存在缺陷，有助于提高被测电路板缺陷检测的精度和效率。

在本申请实施例一种可能的实现形式中，对于实例分割模型的训练可以采用经过标注的样本图像对实例分割模型，具体的模型训练过程参见图2，图2为本申请实施例提供的一种实例分割模型训练方法的流程示意图。

如图2所示，该模型训练方法可以包括以下步骤：

步骤201，获取样本图像。

其中，样本图像存在标注区域，标注区域内展示的电路器件存在缺陷。

本申请实施例中，样本图像是通过高精度摄像头对存在缺陷的样本电路板进行拍摄得到的。

需要说明的是，需要对多个存在不同缺陷类型的样本电路板进行拍摄以获取多个不同的样本图像对实例分割模型进行训练，以使被测电路板的拍摄图像输入实例分割模型后能够准确的确定是否存在缺陷，以及存在的缺陷类型和对应的缺陷位置。

步骤202，根据标注区域内展示的电路器件的缺陷类型，对样本图像进行标注。

本申请实施例中，获取的样本图像中均存在标注区域，并且标注区域内展示的电路器件存在有缺陷，因此，在获取到样本图像后，需要根据标注区域内展示的电路器件的缺陷类型，对样本图像进行标注。

可以理解为，在获取到样本图像后，确定样本图像中标注区域内展示的电路器件的缺陷类型，对于电路器件的同一缺陷类型，在样本图像中进行相同的标注，对于电路器件的不同的缺陷类型，对样本图像进行不同的标注，从而根据经过标注的样本图像对实例分割模型进行训练后，能够根据实例分割模型的输出确定存在缺陷的电路板的缺陷类型。

步骤203，采用经过标注的样本图像对实例分割模型进行训练。

本申请实施例中，将样本图像的已标注的电路板电路器件的缺陷类型作为模型训练的特征，将经过标注的样本图像输入到实例分割模型中，对该实例分割模型进行训练，进而根据输出的像素单元确定电路板的缺陷类型和缺陷位置。

需要解释的是，将样本图像的已标注的电路板的电路器件的缺陷类型作为模型训练的特征，是因为已标注的电路板能够清楚的表示出相应样本图像展示的电路板是否存在缺陷，以及缺陷类型和缺陷位置，从而将已标注的电路板的电路器件的缺陷类型作为特征对实例分割模型进行训练，将被测电路板的拍摄图像输入到实例分割模型后，能够根据输出的像素单元，确定被测电路板是否存在缺陷，以及存在的缺陷类型和缺陷位置。

进一步的，将训练后的实例分割模型通过小流量上线的方式，逐步取代正在线上运行的实例分割模型，从而达到实例分割模型随业务动态扩展泛化的目的。

作为一种示例，参见图3，可以通过目标检测深度卷积神经网络(Mask RegionsConvolutional Neural Network，以下简称Mask R-CNN)对实例分割模型进行训练，图3为本申请实施例中提供的一种用于实例分割的Mask R-CNN网络框架示意图。其中，Mask R-CNN是在卷积神经网络的目标检测网络(Faster Regions Convolutional NeuralNetwork，以下简称Faster R-CNN)的基础上增加了实例分割的网络分支。如图3中通过Faster R-CNN网络对输入图像进行特征图的提取，利用基于二分插值的算法将特征图还原到原图大小，对每一个像素进行预测其所属的目标对象，进一步，将每一个元素的预测的目标对象与真实对象做交叉熵运算，得到其损失，然后将该损失与Faster R-CNN的损失结合到一起，做组合训练，进而对实例分割模型参数进行优化训练。

进一步的，将电路板的拍摄图像输入通过训练后的实例分割模型后，该实例分割模型能够在拍摄图像中框选出每个电路器件，然后确定每一个电路器件是否存在异常，从而确定该电路板是否存在缺陷。

作为一种可能的情况，参见图4，图4为本申请实施例提供的一种Faster R-CNN算法的结构示意图。其中，Faster R-CNN算法是一种卷积神经网络的目标检测方法，如图4所示，Faster R-CNN算法首先利用分类模型的卷积操作，得到输入图像对应的特征图像，然后利用候选区域网络(Region Proposal Network，以下简称RPN)在卷积特征上的通过两层卷积(3×3和1×1卷积)，输出两个分支。其中，一个分支用于判断每个锚盒是否包含了目标物体，另一个分支输出每个锚盒对应的候选区域的4个坐标。如果输入图像的某一区域内包含有目标物体，则在卷积网络进行特征提取，然后预测其目标物体类别和边界盒子；如果不包含目标物体，则不进行分类。这样，将三个网络分支的损失结合到一起，做组合训练，从而对模型参数进行优化。

需要说明的是，图3中所示的Mask R-CNN网络和图4中所示的Faster R-CNN网络的具体优化过程均可以参考相关技术，本申请实施例中不再赘述。

本申请实施例中，通过获取样本图像，其中，样本图像存在标注区域，标注区域内展示的电路器件存在缺陷；根据标注区域内展示的电路器件的缺陷类型，对样本图像进行标注，采用经过标注的样本图像对实例分割模型进行训练。由此，通过标注的样本图像对实例分割模型的训练，能够实现将输入图像输入经过训练的实例分割模型后，能够根据实例分割模型的输出，准确的确定被测电路板是否存在缺陷信息，以及缺陷类型和位置，从而提高了电路板检测的准确度。

本申请实施例中，在图1所述实施例的基础上，根据实例分割模型的输出，确定被测电路板的缺陷信息后，进一步的根据被测电路板的缺陷信息判断该被测电路板是否存在缺陷。

作为一种可能的情况，在图1所述实施例的基础上，根据实例分割模型输出目标像素单元在拍摄图像中的面积占比确定被测电路板是否存在缺陷后，可以根据电路板的拍摄图像以及人工标注的指示信息生成训练样本，进而采用训练样本对实例分割模型进行训练。下面结合图5进行详细说明，图5为本申请实施例提供的另一种电路板的缺陷检测方法的流程示意图。

如图5所示，在前一实施例的步骤103之后还包括以下步骤：

步骤301，判断被测电路板是否存在缺陷。

本申请实施例中，将被测电路板的拍摄图像输入经过训练的实例分割模型后，根据实例分割模型输出的目标像素单元在拍摄图像中的面积占比，以确定被测电路板是否存在缺陷。若电路板存在缺陷，则执行步骤302至步骤305；若电路板不存在缺陷，则执行步骤306至步骤308。

步骤302，在控制界面展示存在缺陷的电路板的拍摄图像。

本申请实施例中，将被测电路板的拍摄图像输入经过训练的实例分割模型后，根据实例分割模型输出的目标像素单元在拍摄图像中的面积占比，确定被测电路板存在缺陷后，可以确定被测电路板的缺陷类型以及缺陷位置。因此，当确定被测电路板存在缺陷后，在控制界面展示被测电路板的拍摄图像。

本申请实施例中，当根据实例分割模型输出的目标像素单元在拍摄图像中的面积占比确定被测电路板存在缺陷时，可以通过对生产线进行控制，以将存在缺陷的被测电路板置于设定区域内。

举例来说，当根据实例分割模型输出的目标像素单元在拍摄图像中的面积占比确定出正在生产中的电路板存在缺陷时，可以控制机械臂从生产线中取出该电路板，还可以控制传送带将该电路板传送至设定位置，以便于分离正常电路板和异常电路板，以对存在缺陷的电路板集中处理。此处分离异常电路板的方式仅作为一种示例，具体的分离方式根据实际的生产线来确定。

在分离正常电路板和异常电路板时，也可以根据电路板的缺陷类型，预先设定不同的区域，以将存在不同缺陷类型的电路板置于不同的区域，以便于采用不同的处理方式对存在不同缺陷类型的电路板进行处理。也可以将存在缺陷的电路板置于同一区域中进行集中处理。具体地处理方式根据实际情况而定，本申请实施例中对此不作限定。

作为另一种可能的情况，当根据实例分割模型输出的目标像素单元在拍摄图像中的面积占比确定出被测电路板存在缺陷时，可以出发预设的报警系统，以将存在缺陷的被测电路板置于设定区域内，也可以将被测电路板的缺陷信息存储至生产数据库中，以对生产数据库进行更新，从而根据更新后生产数据库中的数据对实例分割模型进行训练。

步骤303，获取对拍摄图像人工标注的缺陷指示信息。

其中，缺陷指示信息，缺陷信息用于指示在控制界面展示的拍摄图像对应的电路板存在的缺陷类型和缺陷位置。

本申请实施例中，当电路板存在缺陷时，在控制界面展示拍摄图像后，能够获取到对拍摄图像进行人工标注的缺陷指示信息。

举例来说，假设对被测电路板进行人工缺陷类型标注后，有缺陷类型A、缺陷类型B、缺陷类型C。通过被测电路板的拍摄图像能够获取到该电路板存在的缺陷类型为缺陷类型B以及对应的缺陷位置。

步骤304，根据拍摄图像和缺陷指示信息，生成第一训练样本。

本申请实施例中，根据拍摄图像和缺陷指示信息生成的第一训练样本后，该训练样本的样本图像已经标注了缺陷指示信息，即样本图像中已标注该训练样本存在缺陷，以及缺陷类型和缺陷位置。

步骤305，采用第一训练样本对实例分割模型进行训练。

本申请实施例中，采用第一训练样本对实例分割模型进行训练的方法可以参见上述实施例中所述的实例分割模型训练方法，在此不再赘述。

需要说明的是，根据存在缺陷的电路板的拍摄图像和人工标注的缺陷指示信息生成训练样本，以对实例分割模型进行训练后，继续循环执行步骤101，以实现在电路板检测过程中对实例分割模型参数的优化以及对模型实时更新，从而提高了电路板检测的精度。

步骤306，从不存在缺陷的电路板中选取部分电路板，在控制界面展示选取的部分电路板的拍摄图像。

本申请实施例中，为了避免对存在缺陷的电路板进行过度学习，导致模型训练偏差，在根据实例分割模型输出的目标像素单元在拍摄图像中的面积占比确定对应的电路板不存在缺陷后，从已经确定的不存在缺陷的被测电路板中选取部分电路板，进一步，在控制界面展示选取的部分电路板的拍摄图像。

需要说明的是，由于生产过程中不存在缺陷的被测电路板的数量会很多，如果逐一将不存在缺陷的被测电路板的拍摄图像在控制界面展示以及人工检测将会是一个庞大的工程，因此，只需要选取部分不存在缺陷的电路板展示，以便人工复检即可。

步骤307，对选取的部分电路板，获取相应拍摄图像人工标注的未存在缺陷的指示信息。

本申请实施例中，对从不存在缺陷的电路板中选取经过人工复检确认的部分电路板，获取相应拍摄图像人工标注的未存在缺陷的指示信息，即获取相应拍摄图像中人工标注的不存在缺陷的标志。

步骤308，根据拍摄图像和未存在缺陷的指示信息，生成第二训练样本，以采用第二训练样本对实例分割模型进行训练。

本申请实施例中，根据从不存在缺陷的电路板中选取部分电路板的拍摄图像和未存在缺陷的指示信息，生成第二训练样本，以采用生成的第二训练样本对实例分割模型进行训练。

需要说明的是，采用第二训练样本对实例分割模型进行训练的过程也可以参考上述实施例中对实例分割模型训练的方法，在此不再赘述。

本申请实施例中，根据从不存在缺陷的电路板中选取部分电路板的拍摄图像和未存在缺陷的指示信息，生成第二训练样本，以采用生成的第二训练样本对实例分割模型进行训练后，继续循环执行步骤101，以实现在电路板检测过程中对实例分割模型参数的优化以及对模型实时更新，从而提高了电路板检测的精度。

本申请实施例中，根据实例分割模型输出目标像素单元在拍摄图像中的面积占比确定被测电路板是否存在缺陷后，当确定电路板存在缺陷后，在控制界面展示存在缺陷的电路板的拍摄图像，获取对拍摄图像人工标注的缺陷指示信息，根据拍摄图像和缺陷指示信息，生成第一训练样本，采用第一训练样本对实例分割模型进行训练，当确定电路板不存在缺陷后，从不存在缺陷的电路板中选取部分电路板，在控制界面展示选取的部分电路板的拍摄图像，对选取的部分电路板，获取相应拍摄图像人工标注的未存在缺陷的指示信息，根据拍摄图像和未存在缺陷的指示信息，生成第二训练样本，以采用第二训练样本对实例分割模型进行训练。由此，通过电路板对应的拍摄图像和人工标注的指示信息生成的训练样本对实例分割模型进行训练，能够实现对实例分割模型的实时更新，从而提高了电路板检测的精度。

作为本申请实施例的一种可能的实现方式，在图5所述实施例的基础上，根据实例分割模型输出的目标像素单元在拍摄图像中的面积占比确定被测电路板存在缺陷后，可以根据目标像素单元确定存在缺陷的电路器件在电路板中的实际位置，下面结合图6进行详细说明，图6为本申请实施例提供的又一种电路板的缺陷检测方法的流程示意图。

如图6所示，在前一实施例的步骤301之后，还包括以下步骤：

步骤401，若电路板存在缺陷，确定目标像素单元在拍摄图像中的相对位置。

本申请实施例中，将被测电路板的拍摄图像输入经过训练的实例分割模型后，根据实例分割模型输出的目标像素单元在拍摄图像中的面积占比，确定被测电路板存在缺陷后，可以确定目标像素单元在拍摄图像中的相对位置。

举例来说，假如将某一电路板的拍摄图像输入经过训练的实例分割模型后，根据实例分割模型输出的目标像素单元在拍摄图像中的面积占比，确定该电路板的某一电路器件存在焊接时缺锡的缺陷，则可以确定目标像素单元在拍摄图像中的相对位置，也就是呈现缺陷的像素单元在拍摄图像中的相对位置。

步骤402，根据相对位置，确定存在缺陷的电路器件在电路板中的实际位置。

本申请实施例中，在存在缺陷的电路板的拍摄图像中确定了目标像素单元的相对位置后，可以根据相对位置，确定存在缺陷的电路器件在电路板中的实际位置。

举例来说，如果电路板的缺陷类型为焊接时缺锡，在电路板的拍摄图像中确定了呈现缺陷的像素单元的相对位置后，根据该相对位置，可以在电路板中确定存在焊接时缺锡的电路器件的实际位置。

本申请实施例中，通过实例分割模型输出的目标像素单元在拍摄图像中的面积占比确定电路板存在缺陷时，确定目标像素单元在拍摄图像中的相对位置，根据相对位置，确定存在缺陷的电路器件在电路板中的实际位置。由此，根据存在缺陷的电路器件在电路板中的实际位置对电路板的生产过程进行控制，从而提高了电路板缺陷检测缺陷位置定位的准确度。

为了实现上述实施例，本申请还提出一种电路板的缺陷检测装置。

图7为本申请实施例提供的一种电路板的缺陷检测装置的结构示意图。

如图7所示，该电路板的缺陷检测装置100包括：获取模块110、处理模块120以及检测模块130。

获取模块110，用于获取电路板的拍摄图像。

处理模块120，用于将拍摄图像输入经过训练的实例分割模型，以获取实例分割模型输出的目标像素单元，目标像素单元是拍摄图像中呈现缺陷的像素单元；其中，实例分割模型已经学习得到存在缺陷的局部电路板的图像特征。

检测模块130，用于根据目标像素单元在拍摄图像中的面积占比，对所述电路板进行缺陷检测。

作为一种可能的情况，实例分割模型还学习得到存缺陷的局部电路板的图像特征对应的缺陷类型，用于输出目标像素单元的缺陷类型；检测模块130，包括：

第一确定单元，用于根据目标像素单元呈现的局部电路板存在的缺陷类型，确定对应的参考面积占比。

第二确定单元，用于若目标像素单元在拍摄图像中的实际面积占比与参考面积占比匹配，确定电路板存在缺陷。

作为另一种可能的情况，检测模块130，还包括：

合并单元，用于若目标像素单元为至少两个，将连续分布的对应相同缺陷类型的至少两个目标像素单元合并为一个目标像素单元。

作为另一种可能的情况，缺陷检测装置100，还包括：

第二获取模块，用于获取样本图像，其中，样本图像存在标注区域，标注区域内展示的电路器件存在缺陷。

标注模块，用于根据标注区域内展示的电路器件的缺陷类型，对样本图像进行标注。

第一训练模块，用于采用经过标注的样本图像对实例分割模型进行训练。

作为另一种可能的情况，缺陷检测装置100，还包括：

第一展示模块，用于若电路板存在缺陷，在控制界面展示拍摄图像。

第二获取模块，用于获取对拍摄图像人工标注的缺陷指示信息。

第一生成模块，用于根据拍摄图像和缺陷指示信息，生成第一训练样本。

第二训练模块，用于采用第一训练样本对实例分割模型进行训练。

作为另一种可能的情况，缺陷检测装置100，还包括：

第二展示模块，用于从不存在缺陷的电路板中选取部分电路板，在控制界面展示选取的部分电路板的拍摄图像。

第三获取模块，用于对选取的部分电路板，获取相应拍摄图像人工标注的未存在缺陷的指示信息。

第二生成模块，用于根据拍摄图像和未存在缺陷的指示信息，生成第二训练样本，以采用第二训练样本对实例分割模型进行训练。

作为另一种可能的情况，缺陷检测装置100，还包括：

第一确定模块，用于若电路板存在缺陷，确定目标像素单元在拍摄图像中的相对位置。

第二确定模块，用于根据相对位置，确定存在缺陷的电路器件在电路板中的实际位置。

作为另一种可能的情况，缺陷检测装置100，还包括：

控制模块，用于若电路板存在缺陷，对生产线进行控制，以将存在缺陷的电路板置于设定区域内。

需要说明的是，前述对电路板的缺陷检测方法实施例的解释说明也适用于该实施例的电路板的缺陷检测装置，此处不再赘述。

本申请实施例的电路板的缺陷检测装置，通过获取电路板的拍摄图像，将拍摄图像输入经过训练的实例分割模型，以获取实例分割模型输出的目标像素单元，目标像素单元是拍摄图像中呈现缺陷的像素单元；其中，实例分割模型已经学习得到存在缺陷的局部电路板的图像特征，以根据目标像素单元在拍摄图像中的面积占比，对电路板进行缺陷检测。由于实例分割模型已经学习得到存在缺陷的局部电路板的图像特征，因此，能够在拍摄图像中准确定位存在缺陷的目标像素单元，进而根据该目标像素单元在拍摄图像中的面积占比进一步进行校验以最终确定电路板是否存在缺陷，有助于提高被测电路板缺陷检测的精度和效率。

为了实现上述实施例，本申请还提出一种计算机设备，包括：包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述实施例中所述的电路板的缺陷检测方法。

为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例中所述的电路板的缺陷检测方法。

图8示出了适于用来实现本申请实施方式的示例性计算机设备的框图。图8显示的计算机设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图8所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。

计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。

计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图8所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的缺陷检测方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (18)

1.一种电路板的缺陷检测方法，其特征在于，所述方法包括以下步骤：

获取电路板的拍摄图像；

将所述拍摄图像输入经过训练的实例分割模型，以获取所述实例分割模型输出的目标像素单元，所述目标像素单元是所述拍摄图像中呈现缺陷的像素单元；其中，所述实例分割模型已经学习得到存在缺陷的局部电路板的图像特征；

根据所述目标像素单元在所述拍摄图像中的面积占比，对所述电路板进行缺陷检测。

2.根据权利要求1所述的缺陷检测方法，其特征在于，所述实例分割模型还学习得到存在缺陷的局部电路板的图像特征对应的缺陷类型，用于输出所述目标像素单元的缺陷类型；

所述根据所述目标像素单元在所述拍摄图像中的面积占比，对所述电路板进行缺陷检测，包括：

根据所述目标像素单元呈现的局部电路板存在的缺陷类型，确定对应的参考面积占比；

若所述目标像素单元在所述拍摄图像中的实际面积占比与所述参考面积占比匹配，确定所述电路板存在缺陷。

3.根据权利要求2所述的缺陷检测方法，其特征在于，所述若所述目标像素单元在所述拍摄图像中的实际面积占比与所述参考面积占比匹配，确定所述电路板存在缺陷之前，还包括：

若所述目标像素单元为至少两个，将连续分布的对应相同缺陷类型的至少两个目标像素单元合并为一个目标像素单元。

4.根据权利要求1所述的缺陷检测方法，其特征在于，所述将所述拍摄图像输入经过训练的实例分割模型之前，还包括：

获取样本图像，其中，所述样本图像存在标注区域，所述标注区域内展示的电路器件存在缺陷；

根据所述标注区域内展示的电路器件的缺陷类型，对所述样本图像进行标注；

采用经过标注的所述样本图像对所述实例分割模型进行训练。

5.根据权利要求1-4任一项所述的缺陷检测方法，其特征在于，所述根据所述目标像素单元在所述拍摄图像中的面积占比，对所述电路板进行缺陷检测之后，还包括：

若所述电路板存在缺陷，在控制界面展示所述拍摄图像；

获取对所述拍摄图像人工标注的缺陷指示信息；

根据所述拍摄图像和所述缺陷指示信息，生成第一训练样本；

采用所述第一训练样本对所述实例分割模型进行训练。

6.根据权利要求1-4任一项所述的缺陷检测方法，其特征在于，所述根据所述目标像素单元在所述拍摄图像中的面积占比，对所述电路板进行缺陷检测之后，还包括：

从不存在缺陷的电路板中选取部分电路板，在控制界面展示选取的部分电路板的拍摄图像；

对选取的部分电路板，获取相应拍摄图像人工标注的未存在缺陷的指示信息；

根据所述拍摄图像和所述未存在缺陷的指示信息，生成第二训练样本，以采用所述第二训练样本对所述实例分割模型进行训练。

7.根据权利要求1-4任一项所述的缺陷检测方法，其特征在于，所述根据所述目标像素单元在所述拍摄图像中的面积占比，对所述电路板进行缺陷检测之后，还包括：

若所述电路板存在缺陷，确定所述目标像素单元在所述拍摄图像中的相对位置；

根据所述相对位置，确定存在缺陷的电路器件在所述电路板中的实际位置。

8.根据权利要求1-4任一项所述的缺陷检测方法，其特征在于，所述根据所述目标像素单元在所述拍摄图像中的面积占比，对所述电路板进行缺陷检测之后，还包括：

若所述电路板存在缺陷，对生产线进行控制，以将存在缺陷的所述电路板置于设定区域内。

9.一种电路板的缺陷检测装置，其特征在于，所述装置包括：

获取模块，用于获取电路板的拍摄图像；

处理模块，用于将所述拍摄图像输入经过训练的实例分割模型，以获取所述实例分割模型输出的目标像素单元，所述目标像素单元是所述拍摄图像中呈现缺陷的像素单元；其中，所述实例分割模型已经学习得到存在缺陷的局部电路板的图像特征；

检测模块，用于根据所述目标像素单元在所述拍摄图像中的面积占比，对所述电路板进行缺陷检测。

10.根据权利要求9所述的缺陷检测装置，其特征在于，所述实例分割模型还学习得到存缺陷的局部电路板的图像特征对应的缺陷类型，用于输出所述目标像素单元的缺陷类型；所述检测模块，包括：

第一确定单元，用于根据所述目标像素单元呈现的局部电路板存在的缺陷类型，确定对应的参考面积占比；

第二确定单元，用于若所述目标像素单元在所述拍摄图像中的实际面积占比与所述参考面积占比匹配，确定所述电路板存在缺陷。

11.根据权利要求10所述的缺陷检测装置，其特征在于，所述检测模块，还包括：

合并单元，用于若所述目标像素单元为至少两个，将连续分布的对应相同缺陷类型的至少两个目标像素单元合并为一个目标像素单元。

12.根据权利要求9所述的缺陷检测装置，其特征在于，所述缺陷检测装置，还包括：

第二获取模块，用于获取样本图像，其中，所述样本图像存在标注区域，所述标注区域内展示的电路器件存在缺陷；

标注模块，用于根据所述标注区域内展示的电路器件的缺陷类型，对所述样本图像进行标注；

第一训练模块，用于采用经过标注的所述样本图像对所述实例分割模型进行训练。

13.根据权利要求9-12任一项所述的缺陷检测装置，其特征在于，所述缺陷检测装置，还包括：

第一展示模块，用于若所述电路板存在缺陷，在控制界面展示所述拍摄图像；

第二获取模块，用于获取对所述拍摄图像人工标注的缺陷指示信息；

第一生成模块，用于根据所述拍摄图像和所述缺陷指示信息，生成第一训练样本；

第二训练模块，用于采用所述第一训练样本对所述实例分割模型进行训练。

14.根据权利要求9-12任一项所述的缺陷检测装置，其特征在于，所述缺陷检测装置，还包括：

第二展示模块，用于从不存在缺陷的电路板中选取部分电路板，在控制界面展示选取的部分电路板的拍摄图像；

第三获取模块，用于对选取的部分电路板，获取相应拍摄图像人工标注的未存在缺陷的指示信息；

第二生成模块，用于根据所述拍摄图像和所述未存在缺陷的指示信息，生成第二训练样本，以采用所述第二训练样本对所述实例分割模型进行训练。

15.根据权利要求9-12任一项所述的缺陷检测装置，其特征在于，所述缺陷检测装置，还包括：

第一确定模块，用于若所述电路板存在缺陷，确定所述目标像素单元在所述拍摄图像中的相对位置；

第二确定模块，用于根据所述相对位置，确定存在缺陷的电路器件在所述电路板中的实际位置。

16.根据权利要求9-12任一项所述的缺陷检测装置，其特征在于，所述缺陷检测装置，还包括：

控制模块，用于若所述电路板存在缺陷，对生产线进行控制，以将存在缺陷的所述电路板置于设定区域内。

17.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-8中任一所述的电路板的缺陷检测方法。

18.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的电路板的缺陷检测方法。