CN118037719A - 产品缺陷检测方法、设备及存储介质 - Google Patents

Abstract

本申请公开了一种产品缺陷检测方法、设备及存储介质，涉及图像处理技术领域。该方法包括：通过非监督网络模型确定待检测图像的所有缺陷预警区域，其中，非监督网络模型采用正常产品图像样本训练得到；以及，通过缺陷检测模型确定待检测图像的所有缺陷区域，其中，缺陷检测模型采用标注有缺陷区域的缺陷产品图像样本对初始缺陷检测模型训练得到；基于所有缺陷预警区域和所有缺陷区域进行过滤操作，得到过滤后的缺陷预警区域；当过滤后的缺陷预警区域中包括不满足排废指标的缺陷预警区域时，对过滤后的缺陷预警区域进行缺陷漏失检测，以确定待检测图像中的产品是否为缺陷产品。避免出现产品缺陷的漏检，提高产品缺陷检测结果的准确性。

Description

产品缺陷检测方法、设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种产品缺陷检测方法、设备及存储介质。

背景技术

为了保证产品出厂质量，需要在产品生产过程中进行缺陷检测。产品缺陷检测是指利用各种技术和方法来检测制造过程中或产品生产中存在的缺陷或问题。这种检测可以帮助制造商在产品出厂前及时识别和解决问题，提高产品质量和客户满意度。

近年来，随着深度学习技术的日益发展，诸多厂家已经开始使用深度学习进行产品的缺陷检测，例如，将采集到的产品图像输入缺陷检测框架，利用分类网络对产品图像中的缺陷类型进行分类，以及利用定位检测网络对产品图像中每种类型的缺陷位置进行定位，将得到的分类结果和检测结果输入判断网络，判断出产品是否存在缺陷。

但是，相关技术中采用的缺陷检测模型依赖标注有缺陷的产品图像进行训练，导致其只能用于识别一些已知的产品缺陷，对于一些未见或者少见的产品缺陷存在漏检的情况，导致产品缺陷检测结果不准确，严重影响产品质量。

发明内容

本申请实施例通过提供一种产品缺陷检测方法、设备及存储介质，旨在避免出现产品缺陷的漏检，提高产品缺陷检测结果的准确性，进而提高产品质量。

本申请实施例提供一种产品缺陷检测方法，所述产品缺陷检测方法包括：

通过非监督网络模型确定待检测图像的所有缺陷预警区域，其中，所述非监督网络模型采用正常产品图像样本训练得到；以及，

通过缺陷检测模型确定所述待检测图像的所有缺陷区域，其中，所述缺陷检测模型采用标注有缺陷区域的缺陷产品图像样本对初始缺陷检测模型训练得到；

基于所述所有缺陷预警区域和所述所有缺陷区域进行过滤操作，得到过滤后的缺陷预警区域；

当所述过滤后的缺陷预警区域中包括不满足排废指标的缺陷预警区域时，对所述过滤后的缺陷预警区域进行缺陷漏失检测，以确定所述待检测图像中的产品是否为缺陷产品。

可选地，所述基于所述所有缺陷预警区域和所述所有缺陷区域进行过滤操作，得到过滤后的缺陷预警区域的步骤包括：

对所述所有缺陷预警区域和所述所有缺陷区域分别进行连通操作，得到各个连通后的缺陷预警区域和各个连通后的缺陷区域；

对各个所述连通后的缺陷区域分别进行图像形态学操作处理，得到各个所述连通后的缺陷区域对应的处理区域；

确定各个所述连通后的缺陷预警区域分别与各个所述处理区域的交并比，所述交并比用于表示连通后的缺陷预警区域与处理区域之间的重合程度；

基于所述交并比，从所有所述连通后的缺陷预警区域中确定所述过滤后的缺陷预警区域。

可选地，所述对各个所述连通后的缺陷区域分别进行图像形态学操作处理，得到各个所述连通后的缺陷区域对应的处理区域的步骤包括：

确定各个所述连通后的缺陷区域对应的最小包围盒；

根据各个所述连通后的缺陷区域对应的最小包围盒的宽度和第一预设系数，确定各个所述连通后的缺陷区域对应的第一结构元素；

以及，根据各个所述连通后的缺陷区域对应的最小包围盒的宽度和第二预设系数，确定各个所述连通后的缺陷区域对应的第二结构元素，其中，所述第一预设系数大于所述第二预设系数；

采用所述第一结构元素分别进行对应的连通后的缺陷区域的膨胀处理，得到各个膨胀处理后的缺陷区域；

采用所述第二结构元素分别进行对应的膨胀处理后的缺陷区域的腐蚀处理，得到各个所述连通后的缺陷区域对应的处理区域；

所述基于所述交并比，从所有所述连通后的缺陷预警区域中确定所述过滤后的缺陷预警区域的步骤包括：

将交并比大于预设交并比的连通后的缺陷预警区域进行删除，将删除后剩余的连通后的缺陷预警区域确定为所述过滤后的缺陷预警区域。

可选地，所述对所述过滤后的缺陷预警区域进行缺陷漏失检测，以确定所述待检测图像中的产品是否为缺陷产品的步骤包括：

根据所述过滤后的缺陷预警区域截取子图，生成子图集合；

确定所述子图集合中的每张子图与预设正常产品图像的差异度；

根据所述差异度与预设差异度，确定每张子图的判断结果；

根据每张子图的判断结果，确定所述待检测图像中的产品是否为缺陷产品。

可选地，所述根据所述过滤后的缺陷预警区域截取子图，生成子图集合的步骤包括：

确定每个过滤后的缺陷预警区域对应的最小包围盒；

在所述每个过滤后的缺陷预警区域对应的最小包围盒内按照固定间隔生成种子点，得到每个最小包围盒对应的种子点集合；

遍历所有种子点集合内的种子点，若该种子点落在缺陷预警区域内，保留该种子点并继续遍历其他种子点，若该种子点不在缺陷预警区域内，删除该种子点，得到保留的种子点；

对所有保留的种子点分别求取重心，并以重心为中心点生成每个保留的种子点对应的搜索区域；

根据每个保留的种子点对应的搜索区域得到子图，根据每个保留的种子点对应的子图生成子图集合。

可选地，所述根据所述差异度与预设差异度，确定每张子图的判断结果的步骤包括：

当所述子图的差异度小于或等于预设差异度时，确定该子图的判断结果为第一判断结果；

当所述子图的差异度大于所述预设差异度时，确定该子图的判断结果为第二判断结果。

可选地，所述根据每张子图的判断结果，确定所述待检测图像中的产品是否为缺陷产品的步骤包括：

若每张子图的判断结果均为第一判断结果时，确定所述待检测图像中的产品为正常产品；

或者，若存在子图的判断结果为第二判断结果时，确定所述待检测图像中的产品为缺陷产品。

可选地，所述产品缺陷检测方法，还包括：

检测所述所有缺陷区域中是否存在满足排废指标的缺陷区域；

若否，执行所述基于所述所有缺陷预警区域和所述所有缺陷区域进行过滤操作，得到过滤后的缺陷预警区域的步骤；

若是，将所述待检测图像对应的产品确定为缺陷产品。

此外，为实现上述目的，本申请还提供了一种产品缺陷检测设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的产品缺陷检测程序，所述产品缺陷检测程序被所述处理器执行时实现上述的产品缺陷检测方法的步骤。

此外，为实现上述目的，本申请还提供了一种计算机可读存储介质，其上存储有产品缺陷检测程序，所述产品缺陷检测程序被处理器执行时实现上述的产品缺陷检测方法的步骤。

本申请实施例提供了一种产品缺陷检测方法、设备及存储介质的技术方案，通过非监督网络模型确定待检测图像的所有缺陷预警区域，并通过缺陷检测模型确定待检测图像的所有缺陷区域；进而基于所有缺陷预警区域和所有缺陷区域进行过滤操作，得到过滤后的缺陷预警区域；当过滤后的缺陷预警区域中包括不满足排废指标的缺陷预警区域时，对过滤后的缺陷预警区域进行缺陷漏失检测，以确定待检测图像中的产品是否为缺陷产品。依据非监督网络模型的特性，无需使用标注数据进行训练，经过非监督网络模型能够推理出待检测图像中一些未知的产品缺陷即缺陷预警区域，并且当过滤后的缺陷预警区域中包括不满足排废指标的缺陷预警区域时，表示过滤后的缺陷预警区域可能存在缺陷漏检的情况，因此，对过滤后的缺陷预警区域进一步进行缺陷漏失检测，能够避免产品缺陷的漏检测，提高产品缺陷检测结果的准确性，进而提高产品质量。

附图说明

图1为本申请产品缺陷检测方法一实施例的流程示意图；

图2为本申请产品缺陷检测方法另一实施例的流程示意图；

图3为本申请产品缺陷检测方法又一实施例的流程示意图；

图4为本申请实施例方案涉及的硬件运行环境的结构示意图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明，上述附图只是一个实施例图，而不是发明的全部。

具体实施方式

为了更好地理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整地传达给本领域的技术人员。

针对相关技术中只能用于识别一些已知的产品缺陷，对于一些未见或者少见的产品缺陷存在漏检的情况，导致产品缺陷检测结果不准确的问题。本申请提出了一种产品缺陷检测方法，主要技术方案包括：通过非监督网络模型确定待检测图像的所有缺陷预警区域，其中，所述非监督网络模型采用正常产品图像样本训练得到；以及，通过缺陷检测模型确定所述待检测图像的所有缺陷区域，其中，所述缺陷检测模型采用标注有缺陷区域的缺陷产品图像样本对初始缺陷检测模型训练得到；基于所述所有缺陷预警区域和所述所有缺陷区域进行过滤操作，得到过滤后的缺陷预警区域；当所述过滤后的缺陷预警区域中包括不满足排废指标的缺陷预警区域时，对所述过滤后的缺陷预警区域进行缺陷漏失检测，以确定所述待检测图像中的产品是否为缺陷产品。依据非监督网络模型的特性，无需使用标注数据进行训练，经过非监督网络模型能够推理出待检测图像中一些未知的产品缺陷即缺陷预警区域，并且当过滤后的缺陷预警区域中包括不满足排废指标的缺陷预警区域时，表示过滤后的缺陷预警区域可能存在缺陷漏检的情况，因此，对过滤后的缺陷预警区域进一步进行缺陷漏失检测，能够避免产品缺陷的漏检测，提高产品缺陷检测结果的准确性，进而提高产品质量。

以下将对本申请的产品缺陷检测方法的具体实施过程进行详细介绍。

如图1所示，在本申请的一实施例中，本申请的产品缺陷检测方法应用于产品缺陷检测设备，所述产品缺陷检测设备可以是手机、电脑等智能终端设备。本申请的产品缺陷检测方法，还包括以下步骤：

步骤S110，通过非监督网络模型确定待检测图像的所有缺陷预警区域，其中，所述非监督网络模型采用正常产品图像样本训练得到。

由于原料成分、设备使用情况、加工工艺以及人工操作等因素的影响，产品表面不可避免地会出现亮点、白点、划伤、掉漆、凹印等外观缺陷，因此，需要进行产品缺陷检测。

可选地，本申请所指的产品可以是电子器件、精密器件或者其他对外观有要求的任意产品。

可选地，可通过设置于不同位置的摄像头采集不同角度的产品图像，将不同位置采集的产品图像进行拼接，从而得到产品的待检测图像。还可以只采集指定位置的产品的图像作为待检测图像。由于产品缺陷形态特征，可采用多相机多光源组合方式进行产品图像采集。可根据产品的缺陷类型确定光源的类型和光源的摆放位置，根据光源的类型、光源的摆放位置和摄像装置的摆放位置确定产品的拍摄方式，进而基于所述拍摄方式采集产品的待检测图像。例如，光源的类型包括球形光源和条形光源。在光源的类型为球形光源时，光源与摄像装置在垂直方向相对设置，光源垂直于摄像装置的光轴，通过光源与摄像装置的设置方式，可以对产品的大部分缺陷例如亮印、掉漆、白点、划伤、异物等进行拍摄，从而采集产品的待检测图像。在光源的类型为条形光源时，条形光源的数量可根据实际情况进行设置，且条形光源的摆放位置可以是在摄像装置与产品中间，且位于摄像装置的左右两侧。对于一些类似压痕，压伤，刺伤、凹凸点等采用条形光不同角度反射下拍照，从而采集产品的待检测图像。

可选地，还可采用光学传感器、X光传感器、超声传感器等传感器进行数据采集，形成按照XY坐标紧密排列的数据矩阵，这种数据矩阵中的每个元素代表了在对应的XY坐标位置处传感器所测得的数值或信息，由这个数据矩阵确定待检测图像。

可选地，可在接收到图像采集指令时，采集产品的待检测图像；还可定时或实时地采集产品的待检测图像。还可将采集的产品的待检测图像传输至服务器进行存储，在后续需要进行产品缺陷检测时，从服务器获取对应的图像进行分析。

可选地，非监督网络模型主要功能为对待检测图像进行处理，并输出所有可能为缺陷的区域即缺陷预警区域。本申请的非监督网络即通过学习正常产品图像样本，实现检测样本异常区域的网络。其包括两个阶段，分别为训练阶段和推理阶段。在训练阶段，非监督网络需要收集待检测产品的正常产品图像样本，并将正常产品图像样本输入到网络的训练集中。经过人工神经网络训练得到非监督网络模型。推理阶段需要将待检测图像输入非监督网络模型，通过非监督网络模型进行判别，得到所有缺陷预警区域。

在非监督网络模型的训练过程中，通常会使用一种称为自编码器的神经网络结构。自编码器是一种无监督学习的神经网络模型，其目标是学习如何有效地将输入的正常产品图像样本进行编码和解码，从而实现数据的降维和重构。以下是训练非监督网络模型的一般步骤：

首先，收集大量的正常产品图像样本作为训练数据集。确保图像数据集的质量和代表性，以便训练出的模型能够对正常产品图像有较好的泛化能力。

其次，选择合适的自编码器结构，例如基础的自编码器、稀疏自编码器、去噪自编码器等。自编码器包括编码器（用于将输入数据编码为隐藏表示）和解码器（用于将隐藏表示解码为重构数据）两部分。

接着，使用正常产品图像样本训练自编码器模型。训练过程中，通过最小化重构误差（即输入图像与解码输出图像之间的差异）来优化模型参数。

接着，训练完成后，可以使用验证集或者部分训练数据来评估模型的性能。通常会计算重构误差或者其他指标来评估模型对正常产品图像的重构能力。

最后，训练完成的自编码器模型可以用于异常检测。当输入一个新的待检测图像时，通过比较输入的待检测图像和自编码器的重构输出，可以判断待检测图像是否异常或者与正常产品图像有明显差异，若存在差异，输出存在差异的缺陷预警区域。

由于非监督网络模型基本要求为输入待检测图像，输出可能为缺陷的区域集合。指标上要求输出无漏检，以此实现所有缺陷区域的预警。由于此时并未判定这些区域即为真实缺陷区域，故将非监督网络模型所输出的所有区域规定命名为缺陷预警区域。

步骤S120，通过缺陷检测模型确定所述待检测图像的所有缺陷区域，其中，所述缺陷检测模型采用标注有缺陷区域的缺陷产品图像样本对初始缺陷检测模型训练得到。

可选地，缺陷检测模型主要功能为通过对待检测图像进行处理，输出待检测图像中所有缺陷区域及每个缺陷区域对应的缺陷类型。缺陷检测模型具体实现分为训练阶段和推理阶段。在训练阶段，要求收集缺陷产品图像样本，并对缺陷产品图像样本中的缺陷区域及缺陷区域对应的缺陷类型进行标注，形成缺陷样本数据集。通过将缺陷样本数据集输入到初始缺陷检测模型训练得到缺陷检测网络模型。在推理阶段，将待检测图像输入到缺陷检测模型，通过网络推理得到待检图像的缺陷区域及其具体的缺陷类型。

可选地，每个待检测图像中识别得到的缺陷预警区域和缺陷区域可能存在一个甚至多个。

本申请通过采用非监督网络模型对待检测图像进行处理，能够识别得到一些少见或未见到的缺陷区域，并将其视为缺陷预警区域。同时采用缺陷检测模型对待检测图像进行处理，得到所有已知的缺陷区域。即能实现对已知缺陷区域的识别，又能实现对少见或未见到的缺陷区域进行识别，提高缺陷区域的识别准确性。

步骤S130，基于所述所有缺陷预警区域和所述所有缺陷区域进行过滤操作，得到过滤后的缺陷预警区域。

由于缺陷预警区域实际上为疑似缺陷区域，为了避免误检以及漏检的情况，本申请对所有的缺陷预警区域和所述所有缺陷区域进行过滤操作，得到过滤后的缺陷预警区域。

可选地，在得到所有缺陷预警区域和所有缺陷区域之后，将所有缺陷预警区域和所有缺陷区域输入到缺陷综合判定模块，通过缺陷综合判定模块按照缺陷处理逻辑进行缺陷判定，输出所有可能漏失的缺陷区域，即得到过滤后的缺陷预警区域，以便于后续缺陷漏失检测。

步骤S140，当所述过滤后的缺陷预警区域中包括不满足排废指标的缺陷预警区域时，对所述过滤后的缺陷预警区域进行缺陷漏失检测，以确定所述待检测图像中的产品是否为缺陷产品。

可选地，排废指标可以是根据实际情况制定的指标。排废指标可以是缺陷预警区域的数量、缺陷预警区域的缺陷类型、缺陷预警区域的尺寸等。不同产品类型对应的排废指标不同，例如，产品类型为精密器件的排废指标比产品类型为普通器件的排废指标的数量更多且更加精细。例如，当过滤后的缺陷预警区域的数量小于预设数量时，确定该缺陷预警区域为不满足排废指标的缺陷预警区域。或者，当过滤后的缺陷预警区域的尺寸小于预设尺寸时，确定该缺陷预警区域为不满足排废指标的缺陷预警区域。或者，当过滤后的缺陷预警区域的缺陷类型不是预设缺陷类型时，确定该缺陷预警区域为不满足排废指标的缺陷预警区域。或者，当存在过滤后的缺陷预警区域的数量小于预设数量、过滤后的缺陷预警区域的尺寸小于预设尺寸或者当过滤后的缺陷预警区域的缺陷类型不是预设缺陷类型中的至少一个时，确定该缺陷预警区域为不满足排废指标的缺陷预警区域。

可选地，当所述过滤后的缺陷预警区域中包括不满足排废指标的缺陷预警区域时，表示过滤后的缺陷预警区域中可能存在一些漏失的缺陷，为了提高缺陷检测精度，避免出现缺陷漏检的情况，对过滤后的缺陷预警区域进行缺陷漏失检测，以避免产品出现缺陷漏检测的情况，提高产品的检测精度。

可选地，当所述过滤后的缺陷预警区域中包括不满足排废指标的缺陷预警区域时，对所述过滤后的缺陷预警区域进行缺陷漏失检测。若过滤后的缺陷预警区域中包括满足排废指标的缺陷预警区域，则直接确定待检测图像中的产品为缺陷产品，不对该过滤后的缺陷预警区域进行缺陷漏失检测。

本实施例根据上述技术方案，通过非监督网络模型确定待检测图像的所有缺陷预警区域，并通过缺陷检测模型确定待检测图像的所有缺陷区域；进而基于所有缺陷预警区域和所有缺陷区域进行过滤操作，得到过滤后的缺陷预警区域；当过滤后的缺陷预警区域中包括不满足排废指标的缺陷预警区域时，对过滤后的缺陷预警区域进行缺陷漏失检测，以确定待检测图像中的产品是否为缺陷产品。依据非监督网络模型的特性，无需使用标注数据进行训练，经过非监督网络模型能够推理出待检测图像中一些未知的产品缺陷即缺陷预警区域，并且当过滤后的缺陷预警区域中包括不满足排废指标的缺陷预警区域时，表示过滤后的缺陷预警区域可能存在缺陷漏检的情况，因此，对过滤后的缺陷预警区域进一步进行缺陷漏失检测，能够避免产品缺陷的漏检测，提高产品缺陷检测结果的准确性，进而提高产品质量。

基于上述实施例，在本申请的一实施例中，步骤S130包括：

步骤S131，对所述所有缺陷预警区域和所述所有缺陷区域分别进行连通操作，得到各个连通后的缺陷预警区域和各个连通后的缺陷区域。

可选地，连通操作是图像处理中常用的操作，用于识别和标记图像中相互连接的像素区域，这个过程通常用于对象检测、分割和特征提取等应用。针对每一缺陷区域，对于缺陷区域进行连通操作，以得到一系列独立的缺陷区域，即得到各个连通后的缺陷区域。针对每一缺陷预警区域，进行连通到左，以得到一系列独立的缺陷预警区域，即得到各个连通后的缺陷预警区域。

不管是缺陷区域还是缺陷预警区域，均可采用以下方式进行连通操作，连通操作过程具体包括：在区域连通操作之前，需要定义像素之间的连接规则，通常使用4-邻接或8-邻接来定义像素之间的连接关系。4-邻接表示一个像素与它的上下左右四个相邻像素相连，而8-邻接还包括对角线方向的像素。从图像的左上角开始，按行扫描每个像素。对于每个像素，检查其与相邻像素的连接关系，根据定义的连接规则确定是否属于同一区域。根据像素的连接关系，对属于同一区域的像素进行标记。可以使用不同的标记值来表示不同的区域，或者使用相同的标记值表示同一区域的像素。在某些情况下，可能会出现重叠的区域。需要对重叠的区域进行合并，以确保每个区域都被正确标记。对标记过的区域进行后处理，例如去除面积较小的区域、合并相邻的区域等操作，以得到最终的连通后的缺陷预警区域，或者连通后的缺陷区域。

本申请通过上述的连通操作，可以帮助将待检测图像中的不同对象或物体分割出来，从而实现对象的检测和识别。通过标记连通区域，可以得到每个对象的边界信息，为后续的分析和处理提供基础。

步骤S132，对各个所述连通后的缺陷区域分别进行图像形态学操作处理，得到各个所述连通后的缺陷区域对应的处理区域。

可选地，图像形态学操作包括膨胀操作和腐蚀操作。可根据实际情况对各个连通后的缺陷区域分别先进行膨胀操作后再进行腐蚀操作，得到各个连通后的缺陷区域对应的处理区域。也可对各个连通后的缺陷区域分别先进行腐蚀操作后再进行膨胀操作，得到各个连通后的缺陷区域对应的处理区域。

可选地，确定各个所述连通后的缺陷区域对应的最小包围盒。根据各个所述连通后的缺陷区域对应的最小包围盒的宽度和第一预设系数，确定各个所述连通后的缺陷区域对应的第一结构元素。根据各个所述连通后的缺陷区域对应的最小包围盒的宽度和第二预设系数，确定各个所述连通后的缺陷区域对应的第二结构元素，其中，所述第一预设系数大于所述第二预设系数。采用所述第一结构元素分别进行对应的连通后的缺陷区域的膨胀处理，得到各个膨胀处理后的缺陷区域。采用所述第二结构元素分别进行对应的膨胀处理后的缺陷区域的腐蚀处理，得到各个所述连通后的缺陷区域对应的处理区域。

其中，所述第一预设系数可设置为0.2，第一预设系数可设置为0.1。

其中，连通后的缺陷区域为二值图像，白色表示所需膨胀的区域，黑色表示背景或不需膨胀的区域。

在对连通后的缺陷区域进行膨胀处理时，将第一结构元素从连通后的缺陷区域的每个像素位置开始滑动，如果第一结构元素与连通后的缺陷区域中的白色像素完全匹配（即覆盖），则将该像素置为白色。这个过程可以理解为第一结构元素在连通后的缺陷区域上膨胀并留下痕迹。根据需要，可以多次重复膨胀操作来进一步扩大亮区域，每次膨胀操作都会使亮区域扩大。最后展示各个膨胀处理后的缺陷区域，其中，膨胀处理后的缺陷区域中的亮区域相对于膨胀前来说被扩大了。

对所述膨胀处理后的缺陷区域进行腐蚀处理的目的在于缩小膨胀处理后的缺陷区域中的亮区域（白色区域）或者去除膨胀处理后的缺陷区域图像中的小的白色噪点。在对膨胀处理后的缺陷区域进行腐蚀处理时，可先定义第二结构元素，接着使用定义的第二结构元素对膨胀处理后的缺陷区域进行腐蚀操作，最后得到腐蚀处理后的处理区域。可选地，所述膨胀处理后的缺陷区域为二值图像，其中，白色表示所需腐蚀的区域，黑色表示背景或不需腐蚀的区域。腐蚀操作同样需要定义一个第二结构元素，它是一个规定形状和大小的模板。常见的第二结构元素包括方形、圆形或十字形。第二结构元素的选择取决于所需腐蚀的效果。将第二结构元素从膨胀处理后的缺陷区域的每个像素位置开始滑动，如果第二结构元素与膨胀处理后的缺陷区域中的白色像素完全匹配（即覆盖），则将该像素保留为白色。否则将其置为黑色。这个过程可以理解为第二结构元素在膨胀处理后的缺陷区域上腐蚀并留下痕迹。根据需要，可以多次重复腐蚀操作来进一步缩小亮区域。每次腐蚀操作都会使亮区域缩小。最后，展示腐蚀后的处理区域，其中亮区域相对于腐蚀前的缺陷区域来说被缩小了。

步骤S133，确定各个所述连通后的缺陷预警区域分别与各个所述处理区域的交并比，所述交并比用于表示连通后的缺陷预警区域与处理区域之间的重合程度。

可选地，针对每个连通后的缺陷预警区域，将每个连通后的缺陷预警区域分别和处理区域进行像素级的逻辑与运算，得到它们的交集面积。将每个连通后的缺陷预警区域和处理区域进行像素级的逻辑或运算，得到它们的并集面积。最后，根据交集面积和并集面积的比值得到各个连通后的缺陷预警区域和处理区域之间的交并比。如果交并比接近1，表示缺陷预警区域和处理区域高度重合，即两者的位置和形状非常相似。如果交并比接近0，表示缺陷预警区域和处理区域几乎没有重叠，即两者的位置和形状差异很大。通过计算交并比，可以评估缺陷预警区域和处理区域之间的相似度，从而帮助确定缺陷预警区域是否被正确处理或处理效果如何。

步骤S134，基于所述交并比，从所有所述连通后的缺陷预警区域中确定所述过滤后的缺陷预警区域。

可选地，对每一个独立的缺陷预警区域，计算其与所有处理区域的交并比，若交并比大于预设值，则将该独立的缺陷预警区域去除，将剩余的缺陷预警区域确定为过滤后的缺陷预警区域。按照上述方法重复，直到所有独立的缺陷预警区域都被处理区域进行了去重操作，剩余的独立缺陷预警区域即为过滤后的缺陷预警区域。通过计算目标在不同帧之间的交并比，可以判断目标是否保持一致或发生了变化。

本实施例根据上述技术方案，通过先对所有缺陷预警区域和所有缺陷区域分别进行连通操作，得到各个连通后的缺陷预警区域和各个连通后的缺陷区域，从而将待检测图像中的不同对象或物体分割出来，从而实现对象的检测和识别；接着，对各个所述连通后的缺陷区域分别进行图像形态学操作处理，得到各个所述连通后的缺陷区域对应的处理区域，从而增强区域的边缘和轮廓。最后，确定交并比，并基于所述交并比，从所有所述连通后的缺陷预警区域中确定所述过滤后的缺陷预警区域，从而计算缺陷目标在不同帧之间的交并比，可以判断目标是否保持一致或发生了变化，对与处理区域重叠的缺陷预警区域进行去重和过滤，使得过滤后的缺陷预警区域更加准确，且提高后续缺陷漏失检测的准确性和效率。

基于上述实施例，在本申请的一实施例中，步骤S140包括：

步骤S141，根据所述过滤后的缺陷预警区域截取子图，生成子图集合。

可选地，对于所有过滤后的缺陷预警区域，需要根据缺陷预警区域进行子图截图。

可选地，根据所述过滤后的缺陷预警区域截取子图，生成子图集合的具体过程可如图2所示。确定每个过滤后的缺陷预警区域对应的最小包围盒。在所述每个过滤后的缺陷预警区域对应的最小包围盒内按照固定间隔生成种子点，得到每个最小包围盒对应的种子点集合。遍历所有种子点集合内的种子点，若该种子点落在缺陷预警区域内，保留该种子点并继续遍历其他种子点，若该种子点不在缺陷预警区域内，删除该种子点，得到保留的种子点。对所有保留的种子点分别求取重心，并以重心为中心点生成每个保留的种子点对应的搜索区域。根据每个保留的种子点对应的搜索区域得到子图，根据每个保留的种子点对应的子图生成子图集合。

可选地，对所有种子点求取重心，并以重心为中心点，生成一个以重心为中心点，长宽值固定的矩形搜索区域，并将该区域放入搜索区域集合中。根据生成的搜索区域，截取图像区块，生成子图，并将子图放入子图集合。

可选地，保留的种子点生成新的种子点集合。根据每个保留的种子点对应的子图生成子图集合包括：遍历新的种子点集合内的种子点，并计算其是否落在搜索区域内。如果该种子点在搜索区域内，则剔除该种子点。如果其未落在搜索区域内，则以该种子点为中心，生成一个以该种子点为中心点，长宽值固定的矩形搜索区域，并将该区域放入搜索区域集合中。如果有新的搜索区域生成，根据生成的搜索区域，截取图像区块，生成子图，并将子图放入子图集合。重复操作直到所有种子点都被剔除。

步骤S142，确定所述子图集合中的每张子图与预设正常产品图像的差异度。

可选地，得到子图集合后，对子图集合中的每一张缺陷子图，通过距离度量网络进行推理，并得到该缺陷子图与预设正常产品图像之间的差异度。

可选地，通过均方误差计算该缺陷子图与预设正常产品图像之间的差异度，具体为：计算缺陷子图与预设正常产品图像中每个像素的差值的平方，并对所有这些平方差值求平均，均方误差越小表示缺陷子图与预设正常产品图像越相似。

可选地，还可使用交叉熵、卡方检验等方法对缺陷子图与预设正常产品图像进行直方图比较，通过比较两幅图像的颜色直方图来衡量它们之间的相似度。

步骤S143，根据所述差异度与预设差异度，确定每张子图的判断结果。

可选地，每张子图的判断结果包括第一判断结果或第二判断结果。其中，第一判断结果为正常，第二判断结果为异常。

步骤S144，根据每张子图的判断结果，确定所述待检测图像中的产品是否为缺陷产品。

可选地，当所述子图的差异度小于或等于预设差异度时，确定该子图的判断结果为第一判断结果。当所述子图的差异度大于所述预设差异度时，确定该子图的判断结果为第二判断结果。

可选地，若每张子图的判断结果均为第一判断结果时，确定所述待检测图像中的产品为正常产品。若存在子图的判断结果为第二判断结果时，确定所述待检测图像中的产品为缺陷产品。

可选地，还可当子图的差异度大于预设差异度，且子图中的缺陷类型为预设类型，以及子图中的缺陷数量大于预设数量时，确定该子图为异常。否则，当子图的差异度小于或等于预设差异度，或子图中的缺陷类型不是预设类型，或者子图中的缺陷数量小于预设数量时，确定该子图为正常。

本实施例根据上述技术方案，由于采用了根据所述过滤后的缺陷预警区域截取子图，生成子图集合，确定所述子图集合中的每张子图与预设正常产品图像的差异度，接着每张子图与预设正常产品图像的差异度和预设差异度确定每张子图的判断结果，最后根据每张子图的判断结果确定待检测图像中的产品是否为缺陷产品的技术手段，由子图和预设正常产品图像的差异度与预设差异度进行比较，检测待检测图像中的产品是否为缺陷产品，提高产品缺陷的检测精度。

基于上述各实施例，在本申请一实施例中，参照图3，本申请的产品缺陷检测方法，还包括：

步骤S110，通过非监督网络模型确定待检测图像的所有缺陷预警区域，其中，所述非监督网络模型采用正常产品图像样本训练得到。

步骤S120，通过缺陷检测模型确定所述待检测图像的所有缺陷区域，其中，所述缺陷检测模型采用标注有缺陷区域的缺陷产品图像样本对初始缺陷检测模型训练得到。

步骤S210，检测所述所有缺陷区域中是否存在满足排废指标的缺陷区域。

可选地，排废指标可以是根据实际情况制定的指标。排废指标可以是缺陷区域的数量、缺陷区域的缺陷类型、缺陷区域的尺寸等。不同产品类型对应的排废指标不同，例如，产品类型为精密器件的排废指标比产品类型为普通器件的排废指标的数量更多且更加精细。例如，当过滤后的缺陷区域的数量小于预设数量时，确定该缺陷区域为不满足排废指标的缺陷区域。或者，当过滤后的缺陷区域的尺寸小于预设尺寸时，确定该缺陷区域为不满足排废指标的缺陷区域。或者，当过滤后的缺陷区域的缺陷类型不是预设缺陷类型时，确定该缺陷区域为不满足排废指标的缺陷区域。或者，当存在过滤后的缺陷区域的数量小于预设数量、过滤后的缺陷区域的尺寸小于预设尺寸或者当过滤后的缺陷区域的缺陷类型不是预设缺陷类型中的至少一个时，确定该缺陷区域为不满足排废指标的缺陷区域。

若否，执行步骤S130，所述基于所述所有缺陷预警区域和所述所有缺陷区域进行过滤操作，得到过滤后的缺陷预警区域；以及步骤S140，当所述过滤后的缺陷预警区域中包括不满足排废指标的缺陷预警区域时，对所述过滤后的缺陷预警区域进行缺陷漏失检测，以确定所述待检测图像中的产品是否为缺陷产品。

若是，执行步骤S220，将所述待检测图像对应的产品确定为缺陷产品，不进行后续操作，提高缺陷检测效率。

在其他实施例中，还可使用二维图像数据采集设备，对产品的表面进行拍照，得到产品表面的二维图像数据；利用三维点云数据采集设备，对产品表面进行扫描，得到产品表面的三维点云数据；将三维点云数据与二维图像数据进行坐标映射投影；建立融合数据集，对融合数据集进行数据标注，对二维图像使用最小矩形框包围标注，对三维点云使用最小包围矩形体标注，对二维图像与三维点云中同一处缺陷进行标记；将融合数据集送入缺陷检测模型训练，并根据缺陷检测模型自动生成产品表面缺陷信息，可以更精确的检测到真实缺陷的方法，降低错误检测与检测漏失。该检测方法可以作为第一实施例中产品缺陷检测方法的辅助，以验证第一实施例中的产品缺陷检测结果的准确性。

本申请实施例提供了产品缺陷检测方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

如图4所示，图4为本申请实施例方案涉及的产品缺陷检测设备的硬件运行环境的结构示意图。该产品缺陷检测设备可以包括：处理器1001，例如CPU，存储器1005，用户接口1003，网络接口1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏、输入单元比如键盘，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图4中示出的产品缺陷检测设备结构并不构成对产品缺陷检测设备限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图4所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及产品缺陷检测程序。其中，操作系统是管理和控制产品缺陷检测设备硬件和软件资源的程序，产品缺陷检测程序以及其他软件或程序的运行。

在图4所示的产品缺陷检测设备中，用户接口1003主要用于连接终端，与终端进行数据通信；网络接口1004主要用于后台服务器，与后台服务器进行数据通信；处理器1001可以用于调用存储器1005中存储的产品缺陷检测程序。

在本实施例中，产品缺陷检测设备包括：存储器1005、处理器1001及存储在所述存储器上并可在所述处理器上运行的产品缺陷检测程序，其中：

处理器1001调用存储器1005中存储的产品缺陷检测程序时，执行以下操作：

通过非监督网络模型确定待检测图像的所有缺陷预警区域，其中，所述非监督网络模型采用正常产品图像样本训练得到；以及，

通过缺陷检测模型确定所述待检测图像的所有缺陷区域，其中，所述缺陷检测模型采用标注有缺陷区域的缺陷产品图像样本对初始缺陷检测模型训练得到；

基于所述所有缺陷预警区域和所述所有缺陷区域进行过滤操作，得到过滤后的缺陷预警区域；

当所述过滤后的缺陷预警区域中包括不满足排废指标的缺陷预警区域时，对所述过滤后的缺陷预警区域进行缺陷漏失检测，以确定所述待检测图像中的产品是否为缺陷产品。

基于同一发明构思，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有产品缺陷检测程序，所述产品缺陷检测程序被处理器执行时实现如上所述的产品缺陷检测方法的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

由于本申请实施例提供的存储介质，为实施本申请实施例的方法所采用的存储介质，故而基于本申请实施例所介绍的方法，本领域所属人员能够了解该存储介质的具体结构及变形，故而在此不再赘述。凡是本申请实施例的方法所采用的存储介质都属于本申请所欲保护的范围。

需要说明的是，在本文中，术语“ 包括”、“ 包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“ 包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，电视，或者网络设备等)执行本申请各个实施例所述的方法。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种产品缺陷检测方法，其特征在于，所述产品缺陷检测方法包括：

通过非监督网络模型确定待检测图像的所有缺陷预警区域，其中，所述非监督网络模型采用正常产品图像样本训练得到；以及，

通过缺陷检测模型确定所述待检测图像的所有缺陷区域，其中，所述缺陷检测模型采用标注有缺陷区域的缺陷产品图像样本对初始缺陷检测模型训练得到；

基于所述所有缺陷预警区域和所述所有缺陷区域进行过滤操作，得到过滤后的缺陷预警区域；

当所述过滤后的缺陷预警区域中包括不满足排废指标的缺陷预警区域时，对所述过滤后的缺陷预警区域进行缺陷漏失检测，以确定所述待检测图像中的产品是否为缺陷产品。

2.如权利要求1所述的产品缺陷检测方法，其特征在于，所述基于所述所有缺陷预警区域和所述所有缺陷区域进行过滤操作，得到过滤后的缺陷预警区域的步骤包括：

对所述所有缺陷预警区域和所述所有缺陷区域分别进行连通操作，得到各个连通后的缺陷预警区域和各个连通后的缺陷区域；

对各个所述连通后的缺陷区域分别进行图像形态学操作处理，得到各个所述连通后的缺陷区域对应的处理区域；

确定各个所述连通后的缺陷预警区域分别与各个所述处理区域的交并比，所述交并比用于表示连通后的缺陷预警区域与处理区域之间的重合程度；

基于所述交并比，从所有所述连通后的缺陷预警区域中确定所述过滤后的缺陷预警区域。

3.如权利要求2所述的产品缺陷检测方法，其特征在于，所述对各个所述连通后的缺陷区域分别进行图像形态学操作处理，得到各个所述连通后的缺陷区域对应的处理区域的步骤包括：

确定各个所述连通后的缺陷区域对应的最小包围盒；

根据各个所述连通后的缺陷区域对应的最小包围盒的宽度和第一预设系数，确定各个所述连通后的缺陷区域对应的第一结构元素；

以及，根据各个所述连通后的缺陷区域对应的最小包围盒的宽度和第二预设系数，确定各个所述连通后的缺陷区域对应的第二结构元素，其中，所述第一预设系数大于所述第二预设系数；

采用所述第一结构元素分别进行对应的连通后的缺陷区域的膨胀处理，得到各个膨胀处理后的缺陷区域；

采用所述第二结构元素分别进行对应的膨胀处理后的缺陷区域的腐蚀处理，得到各个所述连通后的缺陷区域对应的处理区域；

所述基于所述交并比，从所有所述连通后的缺陷预警区域中确定所述过滤后的缺陷预警区域的步骤包括：

将交并比大于预设交并比的连通后的缺陷预警区域进行删除，将删除后剩余的连通后的缺陷预警区域确定为所述过滤后的缺陷预警区域。

4.如权利要求1所述的产品缺陷检测方法，其特征在于，所述对所述过滤后的缺陷预警区域进行缺陷漏失检测，以确定所述待检测图像中的产品是否为缺陷产品的步骤包括：

根据所述过滤后的缺陷预警区域截取子图，生成子图集合；

确定所述子图集合中的每张子图与预设正常产品图像的差异度；

根据所述差异度与预设差异度，确定每张子图的判断结果；

根据每张子图的判断结果，确定所述待检测图像中的产品是否为缺陷产品。

5.如权利要求4所述的产品缺陷检测方法，其特征在于，所述根据所述过滤后的缺陷预警区域截取子图，生成子图集合的步骤包括：

确定每个过滤后的缺陷预警区域对应的最小包围盒；

在所述每个过滤后的缺陷预警区域对应的最小包围盒内按照固定间隔生成种子点，得到每个最小包围盒对应的种子点集合；

遍历所有种子点集合内的种子点，若该种子点落在缺陷预警区域内，保留该种子点并继续遍历其他种子点，若该种子点不在缺陷预警区域内，删除该种子点，得到保留的种子点；

对所有保留的种子点分别求取重心，并以重心为中心点生成每个保留的种子点对应的搜索区域；

根据每个保留的种子点对应的搜索区域得到子图，根据每个保留的种子点对应的子图生成子图集合。

6.如权利要求4所述的产品缺陷检测方法，其特征在于，所述根据所述差异度与预设差异度，确定每张子图的判断结果的步骤包括：

当所述子图的差异度小于或等于预设差异度时，确定该子图的判断结果为第一判断结果；

当所述子图的差异度大于所述预设差异度时，确定该子图的判断结果为第二判断结果。

7.如权利要求4或6所述的产品缺陷检测方法，其特征在于，所述根据每张子图的判断结果，确定所述待检测图像中的产品是否为缺陷产品的步骤包括：

若每张子图的判断结果均为第一判断结果时，确定所述待检测图像中的产品为正常产品；

或者，若存在子图的判断结果为第二判断结果时，确定所述待检测图像中的产品为缺陷产品。

8.如权利要求1所述的产品缺陷检测方法，其特征在于，所述产品缺陷检测方法，还包括：

检测所述所有缺陷区域中是否存在满足排废指标的缺陷区域；

若否，执行所述基于所述所有缺陷预警区域和所述所有缺陷区域进行过滤操作，得到过滤后的缺陷预警区域的步骤；

若是，将所述待检测图像对应的产品确定为缺陷产品。

9.一种产品缺陷检测设备，其特征在于，所述产品缺陷检测设备包括：存储器、处理器及存储在所述存储器上并在所述处理器上运行的产品缺陷检测程序，所述产品缺陷检测程序被所述处理器执行时实现如权利要求1-8中任一项所述的产品缺陷检测方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有产品缺陷检测程序，所述产品缺陷检测程序被处理器执行时实现权利要求1-8中任一项所述的产品缺陷检测方法的步骤。