CN113096130B - 物件缺陷的检测方法、装置 - Google Patents

Abstract

本发明提供一种物件缺陷的检测方法、装置，方法包括：获取包含多个样本图像的样本图像集；确定每个边界框对应的像素面积；根据各个边界框的像素面积，将样本图像集划分为多种样本图像；基于每种样本图像训练得到实例分割模型；获取待检测的物件图像；将待检测的物件图像分别输入多个实例分割模型，以检测出物件图像中的缺陷类别及缺陷所在的边界框；响应于检测出的缺陷是真实缺陷，获取检测出的缺陷类别及边界框。由此，将样本图像进行分类后构建多个实例分割模型，通过多个实例分割模型对物件缺陷进行检测，且可以保证得到的缺陷为真实缺陷，提高了缺陷检出率，降低了误检率，工业实用性较高。

Description

物件缺陷的检测方法、装置

技术领域

本发明涉及工业检测技术领域，具体涉及一种物件缺陷的检测方法和一种物件缺陷的检测装置。

背景技术

目前，对工业现场物件表面的缺陷进行检测的方案越来越重要。

相关技术之中，在工业现场通常通过一个缺陷检测模型检测物件的缺陷，然而，缺陷具有类别丰富且跨度大的特点，因此，就会导致物件缺陷的检出率较低、误检率较高的问题，工程实用性低。

发明内容

本发明为解决上述技术问题之一，提出了如下技术方案。

本发明第一方面实施例提出了一种物件缺陷的检测方法，包括：获取包含多个样本图像的样本图像集，其中，每个所述样本图像包含缺陷类别及缺陷所在的边界框；确定每个所述边界框对应的像素面积；根据各个所述边界框的所述像素面积，将所述样本图像集划分为多种样本图像；基于每种所述样本图像训练得到实例分割模型，以得到多个实例分割模型；响应于缺陷检测请求，获取待检测的物件图像；将所述待检测的物件图像分别输入所述多个实例分割模型，以检测出所述物件图像中的缺陷类别及缺陷所在的边界框；响应于检测出的所述缺陷是真实缺陷，获取检测出的所述缺陷类别及所述边界框。

另外，根据本发明上述实施例的物件缺陷的检测方法还可以具有如下附加的技术特征。

根据本发明的一个实施例，所述多种样本图像包括：第一类样本图像、第二类样本图像及第三类样本图像；所述根据各个所述边界框的所述像素面积，将所述样本图像集划分为多种样本图像，包括：响应于所述边界框的所述像素面积小于或者等于第一阈值，将所述边界框所在的样本图像划分为所述第一类样本图像；响应于所述边界框的所述像素面积大于第一阈值、且小于第二阈值，将所述边界框所在的样本图像划分为所述第二类样本图像，其中，所述第一阈值小于所述第二阈值；响应于所述边界框的所述像素面积大于或者等于第二阈值，将所述边界框所在的样本图像划分为所述第三类样本图像。

根据本发明的一个实施例，所述基于每种所述样本图像训练得到实例分割模型，以得到多个实例分割模型，包括：对所述第一类样本图像进行第一裁剪处理，基于所述第一裁剪处理后的所述第一类样本图像，训练得到所述第一类样本图像对应的第一实例分割模型；对所述第二类样本图像进行第二裁剪处理，基于所述第二裁剪处理后的所述第二类样本图像，训练得到所述第二类样本图像对应的第二实例分割模型，其中，所述第二裁剪处理与所述第一裁剪处理不同；对所述第三类样本图像进行缩小处理，基于所述缩小处理后的所述第三类样本图像，训练得到所述第三类样本图像对应的第三实例分割模型。

根据本发明的一个实施例，物件缺陷的检测方法，还包括：对所述多个实例分割模型进行测试，得到多个实例分割模型的测试结果；响应于所述测试结果不满足预设条件，基于所述测试结果对应的样本图像进行模型训练，得到目标检测模型；将所述待检测的物件图像输入所述目标检测模型，以检测出所述物件图像中的目标缺陷及所述目标缺陷所在的边界框。

根据本发明的一个实施例，在所述响应于检测出的所述缺陷是真实缺陷之前，还包括：确定所述边界框的坐标信息；根据所述坐标信息对所述物件图像进行抠图处理，以得到抠图图像；将所述抠图图像输入训练好的二分类模型，以确定所述检测出的所述缺陷是否为真实缺陷。

根据本发明的一个实施例，所述二分类模型，通过以下步骤训练得到：将所述多个实例分割模型输出的真实缺陷作为正样本；将所述多个实例分割模型输出的误检缺陷作为负样本；基于所述正样本及所述负样本，训练得到所述二分类模型。

本发明第二方面实施例提出了一种物件缺陷的检测装置，包括：第一获取模块，用于获取包含多个样本图像的样本图像集，其中，每个所述样本图像包含缺陷类别及缺陷所在的边界框；第一确定模块，用于确定每个所述边界框对应的像素面积；第一划分模块，用于根据各个所述边界框的所述像素面积，将所述样本图像集划分为多种样本图像；第一训练模块，用于基于每种所述样本图像训练得到实例分割模型，以得到多个实例分割模型；第二获取模块，用于响应于缺陷检测请求，获取待检测的物件图像；第一检测模块，用于将所述待检测的物件图像分别输入所述多个实例分割模型，以检测出所述物件图像中的缺陷类别及缺陷所在的边界框；第三获取模块，用于响应于检测出的所述缺陷是真实缺陷，获取检测出的所述缺陷类别及所述边界框。

另外，根据本发明上述实施例的物件缺陷的检测装置还可以具有如下附加的技术特征。

根据本发明的一个实施例，所述多种样本图像包括：第一类样本图像、第二类样本图像及第三类样本图像；所述第一划分模块，具体用于：响应于所述边界框的所述像素面积小于或者等于第一阈值，将所述边界框所在的样本图像划分为所述第一类样本图像；响应于所述边界框的所述像素面积大于第一阈值、且小于第二阈值，将所述边界框所在的样本图像划分为所述第二类样本图像，其中，所述第一阈值小于所述第二阈值；响应于所述边界框的所述像素面积大于或者等于第二阈值，将所述边界框所在的样本图像划分为所述第三类样本图像。

根据本申请的一个实施例，所述第一训练模块，包括：第一训练单元，用于对所述第一类样本图像进行第一裁剪处理，基于所述第一裁剪处理后的所述第一类样本图像，训练得到所述第一类样本图像对应的第一实例分割模型；第二训练单元，用于对所述第二类样本图像进行第二裁剪处理，基于所述第二裁剪处理后的所述第二类样本图像，训练得到所述第二类样本图像对应的第二实例分割模型，其中，所述第二裁剪处理与所述第一裁剪处理不同；第三训练单元，用于对所述第三类样本图像进行缩小处理，基于所述缩小处理后的所述第三类样本图像，训练得到所述第三类样本图像对应的第三实例分割模型。

根据本申请的一个实施例，物件缺陷的检测装置，还包括：第一测试模块，用于对所述多个实例分割模型进行测试，得到多个实例分割模型的测试结果；第二训练模块，用于响应于所述测试结果不满足预设条件，基于所述测试结果对应的样本图像进行模型训练，得到目标检测模型；第二检测模块，用于将所述待检测的物件图像输入所述目标检测模型，以检测出所述物件图像中的目标缺陷及所述目标缺陷所在的边界框。

本发明实施例的技术方案，将样本图像进行分类后构建多个实例分割模型，通过多个实例分割模型对物件缺陷进行检测，且可以保证得到的缺陷为真实缺陷，提高了缺陷检出率，降低了误检率，工业适用性较高。

附图说明

图1为本发明实施例的物件缺陷的检测方法的流程图。

图2为本发明一个实施例的通过模型对物件图像进行缺陷检测的原理示意图。

图3为本发明实施例的物件缺陷的检测装置的方框示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例的物件缺陷的检测方法的流程图。

需要说明的是，本发明实施例的物件缺陷的检测方法的执行主体可以为工业现场的电子设备，具体的，电子设备可以是但不限于计算机、移动终端，该方法的应用场景可以是工业生产现场等需要对工业物件进行缺陷检测场景中。其中，物件可以是工业用物件，例如工业电脑、上位机等。

如图1所示，该物件缺陷的检测方法包括以下步骤S101至S107。

S101，获取包含多个样本图像的样本图像集，其中，每个样本图像包含缺陷类别及缺陷所在的边界框。

其中，样本图像可以是存在缺陷的工业物件的图像，本发明实施例中可获取尽可能多的具有缺陷的样本图像，用于训练实例分割模型。

需要说明的是，在对物件（可以是工业生产线上的工件，例如电脑盖板）进行缺陷检测时，可以利用实例分割模型进行缺陷的检测，实例分割模型可以是尽可能多的样本图像训练得到的。本发明实施例中，为了解决缺陷样本少的问题，可以获取大量的样本图像，得到样本训练集，且可以确保每一个样本图像中包含缺陷及缺陷所在的边界框。

具体地，在对工业物件的缺陷检测之前，可通过相关技术中的各种可行性方式获取包含多个样本图像的样本图像集，由于目的是检测出物件上的缺陷，因此，样本图像需包含缺陷及缺陷所在的边界框（可以用于表征缺陷在样本图像中的位置或者轮廓）。

S102，确定每个边界框对应的像素面积。

其中，边界框对应的像素面积，可以用来表征该边界框内的缺陷的尺寸大小。应当理解，不同的样本图像可能具有不同大小的缺陷，也即每缺陷的尺寸可能不同，例如缺陷为黑点时，尺寸较小，缺陷为刀纹时缺陷较大。

需要说明的是，相关技术中采用一个检测模型进行缺陷检测的方式，由于其检测模型是根据训练样本笼统得训练得到的，因此检测具有笼统性，检测准确率较低，为了解决该问题，本发明实施例将进行训练的样本图像进行分类，从而后续根据分类后的样本图像训练出的检测模型，可以减少或者避免笼统性检测导致的检测准确度低的现象。

具体地，在获取到样本图像集之后，可以将样本图像集中的多个样本图像进行分类，分类依据可以是缺陷的类别，例如缺陷的尺寸、缺陷的样式，缺陷的严重程度等，从而得到多种样本图像。

具体来说，在获取到样本图像之后，可以聚类统计所有样本图像中全类别缺陷所在的边界框的像素面积。其中，像素面积越大，缺陷的尺寸越大；像素面积越小，缺陷的尺寸越小。

S103，根据各个边界框的像素面积，将样本图像集划分为多种样本图像。

在确定出各个边界框对应的像素面积之后，可根据像素面积的大小将边界框所在的样本图像进行分组，得到多种样本图像。

之后，可将每种样本图像作为输入，将与输入的样本图像对应的缺陷类别和缺陷所在的边界框（缺陷轮廓位置）作为输出，训练得到一个实例分割模型。

由此，根据缺陷的尺寸进行样本图像的划分，进而根据划分后的样本图像训练得到实例分割模型，可以检测出不同类别、不同尺寸的缺陷，进一步提高了缺陷检出率。

S104，基于每种样本图像训练得到实例分割模型，以得到多个实例分割模型。

具体地，在得到多种样本图像之后，可分别基于多种样本图像训练得到每种样本图像对应的实例分割模型。具体而言，对于每种样本图像中的多个样本图像而言，可将样本图像作为输入，将与输入的样本图像对应的缺陷类别和缺陷所在的边界框（缺陷轮廓位置）作为输出，训练得到一个实例分割模型，如此，即可得到与多种样本图像一一对应的实例分割模型，即得到多种实例分割模型。

需要说明的是，训练好的实例分割模型，其在本发明实施例中的功能可以是用于检测并识别物件图像中的缺陷，其输入为物件图像，输出为该图像中包含的缺陷类别即缺陷所在的边界框。

S105，响应于缺陷检测请求，获取待检测的物件图像。

本发明实施例，可将用于指示对物件缺陷进行检测的请求称为缺陷检测请求。

其中，待检测的物件图像，可以理解为需要进行缺陷检测的工业物件的图像。

具体地，在接收到缺陷检测请求时，可通过相关技术中的任何可取方式获取待检测的物件图像。

S106，将待检测的物件图像分别输入多个实例分割模型，以检测出物件图像中的缺陷类别及缺陷所在的边界框。

具体地，在获取到待检测的物件图像之后，将待检测的物件图像分别输入多个实例分割模型，进而每个实例分割模型输出该物件图像中的缺陷类别及缺陷所在的边界框。

由于通过构建多种实例分割模型对物件缺陷进行检测，因此检出效果优于笼统的通过一个模型检测全类别的缺陷，可以提高缺陷检测的准确率、降低误检率。

S107，响应于检测出的缺陷是真实缺陷，获取检测出的缺陷类别及边界框。

其中，真实缺陷，可以是指在物件本体上真实存在的缺陷，例如划痕、染色等。

需要说明的是，由于缺陷检测是在物件图像上进行的（而不是直接在物件本体上），因此为了避免误检（例如将图像本身的缺陷误检为物件的缺陷），在实例分割模型输出缺陷类别及缺陷所在的边界框之后，即在完成物件图像的缺陷检测之后，可判断实例分割模型输出的缺陷是否为真实缺陷，如果是，则将模型输出的缺陷保留，如果不是真实缺陷（例如在获取物件图像之后，对图像的染色等），则可剔除模型输出的缺陷类别。

本发明实施例的物件缺陷的检测方法，将样本图像进行分类后构建多个实例分割模型，通过多个实例分割模型对物件缺陷进行检测，且可以判断检出的缺陷是否为真实缺陷。由此，提高了缺陷检出率，降低了误检率，具有较高的工业实用性。

在划分样本图像时，当划分后的样本图像为两种样本图像时，对应的实例分割模型有两种；当划分后的样本图像为三种样本图像时，对应的示例分割模型有三种，即：样本图像的划分种类与实例分割模型一一对应。

在本发明的一个示例中，多种样本图像可包括第一类样本图像、第二类样本图像及第三类样本图像。

该实例中，上述步骤S103可包括：响应于边界框的像素面积小于或者等于第一阈值，将边界框所在的样本图像划分为第一类样本图像；响应于边界框的像素面积大于第一阈值、且小于第二阈值，将边界框所在的样本图像划分为第二类样本图像，其中，第一阈值小于第二阈值；响应于边界框的像素面积大于或者等于第二阈值，将边界框所在的样本图像划分为第三类样本图像。

其中，第一阈值、第二阈值可以是分别表征样本图像中的小缺陷与中等缺陷之间的临界值（缺陷的尺寸值）、中等缺陷与大缺陷之间的临界值（缺陷的尺寸值）。

具体地，在确定出边界框的像素面积之后，可将该像素面积分别与第一阈值、第二阈值进行比较，如果像素面积小于或者等于第一阈值，那么将边界框所在的样本图像划分为第一类样本图像，进而第一类样本图像中包含的缺陷均为小缺陷（如黑白点）；如果像素面积大于第一阈值、且小于第二阈值，那么将边界框所在的样本图像划分为第二类样本图像，进而第二类样本图像中包含的缺陷均为中等缺陷（如刮伤、异色）；如果像素面积大于或者等于第二阈值，那么将边界框所在的样本图像划分为第三类样本图像，进而第三类样本图像中包含的缺陷均为大缺陷（如刀纹、面花）。

需要说明的是，本发明实施例中在进行模型训练时，是将样本图像作为输入，将输入的样本图像对应的缺陷类别和缺陷所在的边界框（或者缺陷轮廓位置）作为输出，训练得到实例分割模型。因此，在基于样本图像进行模型训练之前，可以先对样本图像进行处理，以获取样本图像中的缺陷类别及缺陷所在的边界框，例如裁剪处理、缩放处理等等，进而将获取到的缺陷类别及缺陷所在的边界框作为输出，进行模型训练。

即进一步地，上述步骤S104，可包括：对第一类样本图像进行第一裁剪处理，基于第一裁剪处理后的第一类样本图像，训练得到第一类样本图像对应的第一实例分割模型；对第二类样本图像进行第二裁剪处理，基于第二裁剪处理后的第二类样本图像，训练得到第二类样本图像对应的第二实例分割模型，其中，第二裁剪处理与第一裁剪处理不同；对第三类样本图像进行缩小处理，基于缩小处理后第三类样本图像，训练得到第三类样本图像对应的第三实例分割模型。

其中，第一裁剪处理，可以理解为了获取第一类样本图像中的缺陷类别及缺陷所在的边界框，对第一类样本图像进行的裁剪处理；第二裁剪处理，可以理解为了获取第二类样本图像中的缺陷类别及缺陷所在的边界框，对第二类样本图像进行的裁剪处理；缩小处理，可以理解为了获取第三类样本图像中的缺陷类别及缺陷所在的边界框，对第三类样本图像做出的缩小宽高的处理。

具体而言，在基于第一类样本图像构建第一实例分割模型（应用于检测小缺陷）时，由于原始样本图像尺寸太大、小缺陷（例如黑白点）在原始样本图像中的像素占比很小，需要对原始样本图像中存在的小缺陷进行第一裁剪处理（例如裁剪为512*512像素点的小缺陷），并调整先验框的大小以更好的拟合小缺陷边界框，再将第一类样本图像作为输入，将裁剪得到的小缺陷及小缺陷所在的边界框作为输出送入实例分割模型训练，以得到第一实例分割模型。

在基于第二类样本图像构建第二实例分割模型（用于检测中等缺陷）时，由于原始样本图像尺寸太大、中等缺陷（例如刮伤）在原始样本图像中的像素占比较小，需要对原始样本图像中存在的中等缺陷进行第二裁剪处理（例如裁剪为1024*1024像素点的中等缺陷），并调整先验框的大小以更好的拟合中等缺陷边界框，再将第二类样本图像作为输入，将裁剪得到的中等缺陷及中等缺陷所在的边界框作为输出送入实例分割模型训练，以得到第二实例分割模型。

在基于第三类样本图像构建第三实例分割模型（用于检测大缺陷）时，由于大缺陷（例如面花）在原始样本图像中的像素占比较大，为了保证缺陷的完整性，需要将第三类样本图像的宽高缩小（例如缩小两倍）之后送入实例分割模型训练，以得到第三实例分割模型。

也就是说，根据缺陷尺寸将样本缺陷划分为小缺陷、中等缺陷及大缺陷三类，在基于小缺陷训练得到用于检测并识别小缺陷的第一实例分割模型、基于中等缺陷训练得到用于检测并识别中等缺陷的第二实例分割模型、基于大缺陷训练得到用于检测并识别大缺陷的第三实例分割模型。由此，通过多任务多模型融合检测的方式实现工业物件的缺陷检测，提高了检测效果。

需要说明的是，在训练好多个实例分割模型之后，为了进一步避免实例分割模型在检测缺陷时发生漏检（尤其是漏检严重缺陷）的现象，可对训练好的实例分割模型进行测试，根据测试结果可以确定多个实例分割模型的检测效果。在测试结果表明检测效果较差时，可基于漏检的缺陷类别进行模型训练，得到目标检测模型，以检测多个在实例分割模型漏检的缺陷类别及缺陷轮廓位置。

即在本发明的一个实施例中，物件缺陷的检测方法，还可包括：对多个实例分割模型进行测试，得到多个实例分割模型的测试结果；响应于测试结果不满足预设条件，基于测试结果对应的样本图像进行模型训练，得到目标检测模型；将待检测的物件图像输入目标检测模型，以检测出物件图像中的目标缺陷及目标缺陷所在的边界框。

其中，预设条件，可以理解为表征实例分割模型的检测效果达标或者效果较好（例如漏检率、误检率几乎为零等）的条件。该预设条件可以根据实际需求具体标定。

其中，目标缺陷，可以是指目标检测模型在物件图像上检测并识别出的缺陷。

具体地，在训练好多个实例分割模型之后，可对该每个实例分割模型进行测试，得到每个实例分割模型的测试结果，之后，可判断侧是结果是否满足预设条件，在测试结果不满足预设条件时，基于测试结果对应的样本图像进行模型训练，即：以不满足预设条件的测试结果对应的样本图像为输入、输入的样本图像对应的缺陷类别及缺陷为输出，进行神经网络训练，得到目标检测模型。

也就是说，目标检测模型的训练数据的确定依赖于多个实例分割模型的测试结果，目标检测模型用于召回多个实例分割模型漏检的缺陷（例如严重缺陷），可以理解为多个实例分割模型的补丁缺陷。

比如，如果在对多个实例分割模型进行测试时，某几个类型的缺陷在测试集上漏失率高于5%，那么基于这几个类型所在的样本图像、样本图像中的缺陷类别及缺陷位置进行补充训练，得到针对这几个类型的缺陷的目标检测模型。

在需要检测待检测的物件图像中给的缺陷时，可将物件图像输入训练好的目标检测模型，使得目标检测模型输出多个实例分割模型漏检的缺陷及缺陷所在的边界框，该缺陷与实例分割模型检测出的缺陷均为物件图像中所包含的所有缺陷。

之后，可执行上述步骤S107，即在所有缺陷为真实缺陷的情况下，获取物件图像中的所有缺陷类别及缺陷边界框。

由此，在多个实例分割模型的基础上，补充训练得到了目标检测模型，可以避免缺陷检测的漏检，保证了缺陷检测的准确性、完整性。

在本发明的一个实施例中，在上述步骤S107之前，还可包括：确定边界框的坐标信息；根据坐标信息对物件图像进行抠图处理，以得到抠图图像；将抠图图像输入训练好的二分类模型，以确定检测出的缺陷是否为真实缺陷。

其中，二分类模型，可通过以下步骤训练得到：将多个实例分割模型输出的真实缺陷作为正样本；将多个实例分割模型输出的误检缺陷作为负样本；基于正样本及负样本，训练得到二分类模型。

具体地，二分类模型的训练数据为多个实例分割模型的输出数据，其中，多个实例分割模型推理检测得到的真实缺陷作为二分类模型的正样本，多个实例分割模型推理检测得到的误检缺陷作为二分类模型的负样本，基于正样本及负样本，训练得到二分类模型。

在多个实例分割模型及目标检测模型输出缺陷的边界框及缺陷类别信息之后，可确定边界框在样本图像中的坐标信息，进而根据该坐标信息对物件图像进行抠图，得到抠图图像，可将抠图图像统一大小后输入训练好的二分类模型，以使二分类模型判定检测出的缺陷是否为真实缺陷，若是，则保留该缺陷对应的模型输出结果，若不是，则剔除该条输出结果，从而实现物件缺陷的检测及判定。

由此，根据二分类模型对检测出的缺陷进行进一步地判定，保证了最终得到的物件的缺陷是真实缺陷，保证了缺陷的真实性，更加适用于工业现场，工业适用性高。

下面以检测工业现场的电脑盖板的缺陷为例，描述本发明实施例的物件缺陷的检测方法。

首先，进行实例分割模型、目标检测模型及二分类模型的构建，构建步骤为：

1）聚类统计所有训练样本中全类别缺陷的边界矩形框的像素面积分布及长宽比分布；2）基于上述步骤获得的像素面积分布信息对缺陷进行分组，按照面积大小将缺陷分组为小缺陷（如黑白点）、中等缺陷（如刮伤、异色）、大缺陷（如刀纹、面花）；3）如图2所示，构建用于检测识别小缺陷的第一实例分割模型1、用于检测识别中等缺陷的第二实例分割模型2、用于检测识别大缺陷的第三实例分割模型3、用于召回主模型（即第一实例分割模型1、第二实例分割模型2及第三实例分割模型3）漏检严重缺陷的目标检测模型4，以及用于判断模型输出结果真假的二分类模型5。

具体地，步骤3）的具体实施方式可为：

构建第一实例分割模型1时，由于原图像尺寸太大、黑白点缺陷很小，需要对原图中存在的黑白点缺陷进行裁图（裁图为512*512像素），并调整先验框的大小以更好的拟合小缺陷边界框，再送入实例分割模型训练。

构建第二实例分割模型2时，基于同样的原因，对中等缺陷裁图（1024*1024像素）送入神经网络训练；不同于上述中、小缺陷深度模型的构建，图像中的大缺陷占原图的像素占比非常大，为了保证缺陷的完整性，需要对原图宽高缩小两倍之后送入实例分割模型训练。

目标检测模型4的训练数据的确定依赖于主模型的测试结果，比如某几个类型的缺陷在测试集上漏失率高于5%（百分之五），对这几个类型的缺陷进行补充训练，得到目标检测模型4。

二分类模型5的训练数据为主模型的输出数据，其中，主模型推理检测得到的真实缺陷作为二分类模型5的正样本，主模型推理检测得到的误检缺陷作为二分类模型5的负样本。

之后，通过训练好的第一实例分割模型1、第二实例分割模型2、第三实例分割模型3及目标检测模型4对电脑盖板图像中的缺陷进行识别并检测，再根据检测出的边界框坐标信息，对电脑盖板图像进行抠图，将抠图图像的尺寸统一大小（如64*64像素）之后送入二分类模型5中的判定该缺陷是否为真实缺陷，若是，则保留该缺陷对应的输出结果，若不是，则剔除该条输出结果。

本发明实施例统计研究数据特征，对数据分组，以更好的构建多模型对不同尺寸的缺陷分组检测，检出效果优于笼统的通过一个模型检测全类别缺陷。且针对不同任务类型，创建了实例分割、目标检测、二分类不同任务的网络结构应对单任务模型部分缺陷漏失率高、部分缺陷误检率的不足。

由此，本发明实施例对电脑盖板的缺陷进行检测时，通过构建多模型对不同尺寸的缺陷进行分组检测，检出效果明显优于笼统的通过一个模型检测全类别缺陷，又创建了实例分割、目标检测、二分类不同任务的网络结构应对单任务模型部分缺陷漏失率高、部分缺陷误检率高的不足，多任务网络相辅相成，互为补充，有效提高了电脑盖板缺陷检出率并保证误检率在一个较低的水平，具有极大的工程实用价值。

对应上述实施例的物件缺陷的检测方法，本发明还提出一种物件缺陷的检测装置。

图3为本发明实施例的物件缺陷的检测装置的方框示意图。

如图3所示，该物件缺陷的检测装置100包括：第一获取模块110、第一确定模块120、第一划分模块130、第一训练模块140、第二获取模块150、第一检测模块160及第三获取模块170。

其中，第一获取模块110，用于获取包含多个样本图像的样本图像集，其中，每个样本图像包含缺陷类别及缺陷所在的边界框；第一确定模块120，用于确定每个边界框对应的像素面积；第一划分模块130，用于根据各个边界框的像素面积，将样本图像集划分为多种样本图像；第一训练模块140，用于基于每种样本图像训练得到实例分割模型，以得到多个实例分割模型；第二获取模块150，用于响应于缺陷检测请求，获取待检测的物件图像；第一检测模块160，用于将待检测的物件图像分别输入多个实例分割模型，以检测出物件图像中的缺陷类别及缺陷所在的边界框；第三获取模块170，用于响应于检测出的缺陷是真实缺陷，获取检测出的缺陷类别及边界框。

在本发明的一个实施例中，多种样本图像包括第一类样本图像、第二类样本图像及第三类样本图像；第一划分模块130，具体可用于：响应于边界框的像素面积小于或者等于第一阈值，将边界框所在的样本图像划分为第一类样本图像；响应于边界框的像素面积大于第一阈值、且小于第二阈值，将边界框所在的样本图像划分为第二类样本图像，其中，第一阈值小于第二阈值；响应于边界框的像素面积大于或者等于第二阈值，将边界框所在的样本图像划分为第三类样本图像。

在本发明的一个实施例中，第一训练模块140，可包括：第一训练单元，用于对第一类样本图像进行第一裁剪处理，基于第一裁剪处理后的第一类样本图像，训练得到第一类样本图像对应的第一实例分割模型；第二训练单元，用于对第二类样本图像进行第二裁剪处理，基于第二裁剪处理后的第二类样本图像，训练得到第二类样本图像对应的第二实例分割模型，其中，第二裁剪处理与第一裁剪处理不同；第三训练单元，用于对第三类样本图像进行缩小处理，基于缩小处理后的第三类样本图像，训练得到第三类样本图像对应的第三实例分割模型。

在本发明的一个实施例中，物件缺陷的检测装置100，还可包括：第一测试模块，用于对多个实例分割模型进行测试，得到多个实例分割模型的测试结果；第二训练模块，用于响应于测试结果不满足预设条件，基于测试结果对应的样本图像进行模型训练，得到目标检测模型；第二检测模块，用于将待检测的物件图像输入目标检测模型，以检测出物件图像中的目标缺陷及目标缺陷所在的边界框。

在本发明的一个实施例中，物件缺陷的检测装置100，还可包括：第二确定模块，用于确定边界框的坐标信息；第一处理模块，用于根据坐标信息对物件图像进行抠图处理，以得到抠图图像；第三确定模块，用于将抠图图像输入训练好的二分类模型，以确定检测出的缺陷是否为真实缺陷。

在本发明的一个实施例中，物件缺陷的检测装置100，还可包括第三训练模块，第三训练模块用于：将多个实例分割模型输出的真实缺陷作为正样本；将多个实例分割模型输出的误检缺陷作为负样本；基于正样本及负样本，训练得到二分类模型。

需要说明的是，该物件缺陷的检测装置的具体实施方式可参见上述物件缺陷的检测方法的具体实施方式，为避免冗余，此处不再详细赘述。

本发明实施例的物件缺陷的检测装置，将样本图像进行分类后构建多个实例分割模型，通过多个实例分割模型对物件缺陷进行检测，且可以保证检出的缺陷为真实缺陷，提高了缺陷检出率，降低了误检率，具有较高的工业实用性。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (3)

1.一种物件缺陷的检测方法，其特征在于，包括以下步骤：

获取包含多个样本图像的样本图像集，其中，每个所述样本图像包含缺陷类别及缺陷所在的边界框；

确定每个所述边界框对应的像素面积；

根据各个所述边界框的所述像素面积，将所述样本图像集划分为多种样本图像；

基于每种所述样本图像训练得到实例分割模型，以得到多个实例分割模型；

响应于缺陷检测请求，获取待检测的物件图像；

将所述待检测的物件图像分别输入所述多个实例分割模型，以检测出所述物件图像中的缺陷类别及缺陷所在的边界框；

响应于检测出的所述缺陷是真实缺陷，获取检测出的所述缺陷类别及所述边界框；

其中，在所述响应于检测出的所述缺陷是真实缺陷之前，还包括：

确定所述边界框的坐标信息；

根据所述坐标信息对所述物件图像进行抠图处理，以得到抠图图像；

将所述抠图图像输入训练好的二分类模型，以确定所述检测出的所述缺陷是否为真实缺陷；

所述检测方法，还包括：

对所述多个实例分割模型进行测试，得到多个实例分割模型的测试结果；

响应于所述测试结果不满足预设条件，基于所述测试结果对应的样本图像进行模型训练，得到目标检测模型；

将所述待检测的物件图像输入所述目标检测模型，以检测出所述物件图像中的目标缺陷及所述目标缺陷所在的边界框；

其中，所述多种样本图像包括：第一类样本图像、第二类样本图像及第三类样本图像；

所述根据各个所述边界框的所述像素面积，将所述样本图像集划分为多种样本图像，包括：

响应于所述边界框的所述像素面积小于或者等于第一阈值，将所述边界框所在的样本图像划分为所述第一类样本图像；

响应于所述边界框的所述像素面积大于第一阈值、且小于第二阈值，将所述边界框所在的样本图像划分为所述第二类样本图像，其中，所述第一阈值小于所述第二阈值；

响应于所述边界框的所述像素面积大于或者等于第二阈值，将所述边界框所在的样本图像划分为所述第三类样本图像；

所述基于每种所述样本图像训练得到实例分割模型，以得到多个实例分割模型，包括：

对所述第一类样本图像进行第一裁剪处理，基于所述第一裁剪处理后的所述第一类样本图像，训练得到所述第一类样本图像对应的第一实例分割模型；

对所述第二类样本图像进行第二裁剪处理，基于所述第二裁剪处理后的所述第二类样本图像，训练得到所述第二类样本图像对应的第二实例分割模型，其中，所述第二裁剪处理与所述第一裁剪处理不同；

对所述第三类样本图像进行缩小处理，基于所述缩小处理后的所述第三类样本图像，训练得到所述第三类样本图像对应的第三实例分割模型。

2.根据权利要求1所述的物件缺陷的检测方法，其特征在于，所述二分类模型，通过以下步骤训练得到：

将所述多个实例分割模型输出的真实缺陷作为正样本；

将所述多个实例分割模型输出的误检缺陷作为负样本；

基于所述正样本及所述负样本，训练得到所述二分类模型。

3.一种物件缺陷的检测装置，其特征在于，包括：

第一获取模块，用于获取包含多个样本图像的样本图像集，其中，每个所述样本图像包含缺陷类别及缺陷所在的边界框；

第一确定模块，用于确定每个所述边界框对应的像素面积；

第一划分模块，用于根据各个所述边界框的所述像素面积，将所述样本图像集划分为多种样本图像；

第一训练模块，用于基于每种所述样本图像训练得到实例分割模型，以得到多个实例分割模型；

第二获取模块，用于响应于缺陷检测请求，获取待检测的物件图像；

第一检测模块，用于将所述待检测的物件图像分别输入所述多个实例分割模型，以检测出所述物件图像中的缺陷类别及缺陷所在的边界框；

第三获取模块，用于响应于检测出的所述缺陷是真实缺陷，获取检测出的所述缺陷类别及所述边界框；

第二确定模块，用于确定所述边界框的坐标信息；

第一处理模块，用于根据所述坐标信息对所述物件图像进行抠图处理，以得到抠图图像；

第三确定模块，用于将所述抠图图像输入训练好的二分类模型，以确定所述检测出的所述缺陷是否为真实缺陷；

还包括：

第一测试模块，用于对所述多个实例分割模型进行测试，得到多个实例分割模型的测试结果；

第二训练模块，用于响应于所述测试结果不满足预设条件，基于所述测试结果对应的样本图像进行模型训练，得到目标检测模型；

第二检测模块，用于将所述待检测的物件图像输入所述目标检测模型，以检测出所述物件图像中的目标缺陷及所述目标缺陷所在的边界框；

其中，所述多种样本图像包括：第一类样本图像、第二类样本图像及第三类样本图像；

所述第一划分模块，具体用于：

响应于所述边界框的所述像素面积小于或者等于第一阈值，将所述边界框所在的样本图像划分为所述第一类样本图像；

响应于所述边界框的所述像素面积大于第一阈值、且小于第二阈值，将所述边界框所在的样本图像划分为所述第二类样本图像，其中，所述第一阈值小于所述第二阈值；

响应于所述边界框的所述像素面积大于或者等于第二阈值，将所述边界框所在的样本图像划分为所述第三类样本图像；

所述第一训练模块，包括：

第一训练单元，用于对所述第一类样本图像进行第一裁剪处理，基于所述第一裁剪处理后的所述第一类样本图像，训练得到所述第一类样本图像对应的第一实例分割模型；

第二训练单元，用于对所述第二类样本图像进行第二裁剪处理，基于所述第二裁剪处理后的所述第二类样本图像，训练得到所述第二类样本图像对应的第二实例分割模型，其中，所述第二裁剪处理与所述第一裁剪处理不同；

第三训练单元，用于对所述第三类样本图像进行缩小处理，基于所述缩小处理后的所述第三类样本图像，训练得到所述第三类样本图像对应的第三实例分割模型。

Images