CN114648480A - 表面缺陷检测方法、装置及系统 - Google Patents

Abstract

本申请实施例公开了一种表面缺陷检测方法、装置及系统，属于深度学习技术领域。在本申请实施例中，如果通过神经网络缺陷分割模型检测确定待检测图像中不存在已知缺陷类别的表面缺陷，那么通过神经网络缺陷特征提取模型来提取待检测图像的图像特征，得到待对比特征，如果待对比特征与正常数据表示特征之间的相似度较小，则确定待检测图像中存在未知缺陷类别的表面缺陷，也即是，本方案能够检测未知缺陷类别的表面缺陷，提高了检测的精准度。

Description

表面缺陷检测方法、装置及系统

技术领域

本申请实施例涉及深度学习技术领域，特别涉及一种表面缺陷检测方法、装置及系统。

背景技术

表面缺陷是指物体外观上的瑕疵，表面缺陷具有种类繁多、形态多变、位置不固定以及背景纹理多样化等特点，表面缺陷检测是工业领域质量控制的重要环节，要求表面缺陷检测的精准度越高越好。

相关技术中的深度学习神经网络只能检测出已知缺陷类别的表面缺陷，对于实际检测中遇到的新类别的缺陷，也即对于未知缺陷类别的表面缺陷，则无法有效检测出。

发明内容

本申请实施例提供了一种表面缺陷检测方法、装置及系统，能够检测未知缺陷类别的表面缺陷，提高检测的精准度。所述技术方案如下：

一方面，提供了一种表面缺陷检测方法，所述方法包括：

获取待检测图像；

将所述待检测图像输入神经网络缺陷分割模型，输出第一检测结果，所述神经网络缺陷分割模型用于检测已知缺陷类别的表面缺陷；

如果所述第一检测结果为所述待检测图像不存在所述已知缺陷类别的表面缺陷，则将所述待检测图像输入神经网络缺陷特征提取模型，输出待对比特征，所述待对比特征为所述待检测图像的图像特征；

如果所述待对比特征与正常数据表示特征之间的相似度小于相似度阈值，则确定所述待检测图像存在未知缺陷类别的表面缺陷，所述正常数据表示特征是基于无表面缺陷的图像的图像特征生成的。

可选地，所述确定所述待检测图像存在未知缺陷类别的表面缺陷之后，还包括：

根据所述待对比特征与所述正常数据表示特征之间的相似度，以及图像特征矩阵与图像像素矩阵之间的映射关系，确定所述待检测图像中存在的表面缺陷的缺陷位置。

可选地，所述将所述待检测图像输入神经网络缺陷分割模型，输出第一检测结果之前，还包括：

获取第一数据集，所述第一数据集包括已知缺陷类别的缺陷图像以及对应的第一标注信息，所述第一标注信息为表示缺陷类别的标注信息，所述第一数据集还包括无表面缺陷的图像以及对应的第二标注信息，所述第二标注信息为表示无表面缺陷的标注信息；

根据所述第一数据集，训练得到所述神经网络缺陷分割模型。

可选地，所述将所述待检测图像输入神经网络缺陷特征提取模型，输出待对比特征之前，还包括：

获取第二数据集，所述第二数据集包括已知物体类别的图像以及对应的第三标注信息，所述第三标注信息为表示物体类别的标注信息；

根据所述第二数据集，训练得到所述神经网络缺陷特征提取模型。

可选地，所述如果所述待对比特征与正常数据表示特征之间的相似度小于相似度阈值，则确定所述待检测图像存在未知缺陷类别的表面缺陷之前，还包括：

获取至少一个第一样本图像，所述至少一个第一样本图像无表面缺陷；

将所述至少一个第一样本图像输入所述神经网络缺陷特征提取模型，输出所述至少一个第一样本图像的图像特征；

将所述至少一个第一样本图像的图像特征作为所述正常数据表示特征。

可选地，所述如果所述待对比特征与正常数据表示特征之间的相似度小于相似度阈值，则确定所述待检测图像存在未知缺陷类别的表面缺陷之前，还包括：

获取多个第二样本图像，所述多个第二样本图像无表面缺陷；

将所述多个第二样本图像输入所述神经网络缺陷特征提取模型，输出所述多个第二样本图像的图像特征；

对所述多个第二样本图像的图像特征进行聚类，得到多组正常数据特征；

从所述多组正常数据特征中的每组正常数据特征中选择至少一个图像特征，得到所述正常数据表示特征。

可选地，所述将所述待检测图像输入神经网络缺陷特征提取模型，输出待对比特征之后，还包括：

如果所述待对比特征与所述正常数据表示特征之间的相似度大于或等于所述相似度阈值，则确定所述待检测图像无表面缺陷。

另一方面，提供了一种表面缺陷检测装置，所述装置包括：

第一获取模块，用于获取待检测图像；

检测模块，用于将所述待检测图像输入神经网络缺陷分割模型，输出第一检测结果，所述神经网络缺陷分割模型用于检测已知缺陷类别的表面缺陷；

第一处理模块，用于如果所述第一检测结果为所述待检测图像不存在所述已知缺陷类别的表面缺陷，则将所述待检测图像输入神经网络缺陷特征提取模型，输出待对比特征，所述待对比特征为所述待检测图像的图像特征；

第一确定模块，用于如果所述待对比特征与正常数据表示特征之间的相似度小于相似度阈值，则确定所述待检测图像存在未知缺陷类别的表面缺陷，所述正常数据表示特征是基于无表面缺陷的图像的图像特征生成的。

可选地，所述装置还包括：

第二确定模块，用于根据所述待对比特征与所述正常数据表示特征之间的相似度，以及图像特征矩阵与图像像素矩阵之间的映射关系，确定所述待检测图像中存在的表面缺陷的缺陷位置。

可选地，所述装置还包括：

第二获取模块，用于获取第一数据集，所述第一数据集包括已知缺陷类别的缺陷图像以及对应的第一标注信息，所述第一标注信息为表示缺陷类别的标注信息，所述第一数据集还包括无表面缺陷的图像以及对应的第二标注信息，所述第二标注信息为表示无表面缺陷的缺陷信息；

第一训练模块，用于根据所述第一数据集，训练得到所述神经网络缺陷分割模型。

可选地，所述装置还包括：

第三获取模块，用于获取第二数据集，所述第二数据集包括已知物体类别的图像以及对应的第三标注信息，所述第三标注信息为表示物体类别的标注信息；

第二训练模块，用于根据所述第二数据集，训练得到所述神经网络缺陷特征提取模型。

可选地，所述装置还包括：

第四获取模块，用于获取至少一个第一样本图像，所述至少一个第一样本图像无表面缺陷；

第二处理模块，还用于将所述至少一个第一样本图像输入所述神经网络缺陷特征提取模型，输出所述至少一个第一样本图像的图像特征；

第三确定模块，用于将所述至少一个第一样本图像的图像特征作为所述正常数据表示特征。

可选地，所述装置还包括：

第五获取模块，用于获取多个第二样本图像，所述多个第二样本图像无表面缺陷；

第三处理模块，用于将所述多个第二样本图像输入所述神经网络缺陷特征提取模型，输出所述多个第二样本图像的图像特征；

聚类模块，用于对所述多个第二样本图像的图像特征进行聚类，得到多组正常数据特征；

第四确定模块，用于从所述多组正常数据特征中的每组正常数据特征中选择至少一个图像特征，得到所述正常数据表示特征。

可选地，所述装置还包括：

第五确定模块，用于如果所述待对比特征与所述正常数据表示特征之间的相似度大于或等于所述相似度阈值，则确定所述待检测图像无表面缺陷。

另一方面，提供了一种表面缺陷检测系统，所述表面缺陷检测系统包括相机和至少一个处理器；

所述相机，用于拍摄待检测物体的至少一个表面，作为待检测图像；

所述至少一个处理器，用于获取所述待检测图像，实现上述所述表面缺陷检测方法的步骤。

可选地，所述表面缺陷检测系统还包括传送装置，所述传送装置用于传输所述待检测物体；

所述相机用于在所述传送装置传输所述待检测物体的过程中，拍摄所述待检测物体。

另一方面，提供了一种计算机设备，所述计算机设备包括处理器、通信接口、存储器和通信总线，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信，所述存储器用于存放计算机程序，所述处理器用于执行所述存储器上所存放的程序，以实现上述所述表面缺陷检测方法的步骤。

另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述所述表面缺陷检测方法的步骤。

另一方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述所述的表面缺陷检测方法的步骤。

本申请实施例提供的技术方案至少可以带来以下有益效果：

在本申请实施例中，如果通过神经网络缺陷分割模型检测确定待检测图像中不存在已知缺陷类别的表面缺陷，那么通过神经网络缺陷特征提取模型来提取待检测图像的图像特征，得到待对比特征，如果待对比特征与正常数据表示特征之间的相似度较小，则确定待检测图像中存在未知缺陷类别的表面缺陷，也即是，本方案能够检测未知缺陷类别的表面缺陷，提高了检测的精准度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种表面缺陷检测系统的系统架构图；

图2是本申请实施例提供的一种表面缺陷检测方法的流程图；

图3是本申请实施例提供的另一种表面缺陷检测方法的流程图；

图4是本申请实施例提供的一种训练检测模型的方法示意图；

图5是本申请实施例提供的一种正常数据特征建模的方法示意图；

图6是本申请实施例提供的一种表面缺陷检测装置的结构示意图；

图7是本申请实施例提供的一种终端的结构示意图；

图8是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

首先对本申请实施例提供的表面缺陷检测方法所涉及的系统架构进行介绍。

图1是本申请实施例提供的一种表面缺陷检测系统的系统架构图，该表面缺陷检测系统用于实现本申请实施例提供的表面缺陷检测方法。参见图1，该系统包括相机101和至少一个处理器102。

该至少一个处理器102为计算机设备中的处理器，相机101和该计算机设备中的该至少一个处理器102以无线或有线方式连接以进行通信。相机101用于拍摄待检测物体的图像，作为待检测设备，发送给该至少一个处理器102。该计算机设备作为待检测设备，通过该至少一个处理器102进行表面缺陷检测。

在一些实施例中，该至少一个处理器102为相机101中的处理器，相机101作为检测设备，拍摄待检测物体的图像，作为待检测图像，进行表面缺陷检测。

可选地，该系统还包括传送装置，传送装置用于传输待检测物体。在一种场景中，传送装置在传输待检测物体的过程中，相机101拍摄待检测物体，通过检测设备检测表面缺陷。传送装置如传送带、传输车、传输机等，待检测物体如工厂生产的金属零件、玻璃器具、纸张等产品。这样，在传输待检测物体的过程中，检测存在表面缺陷的物体，也即检出残次品，保证产品质量。

接下来对本申请实施例提供的表面缺陷检测方法进行详细的解释说明。

图2是本申请实施例提供的一种表面缺陷检测方法的流程图，以该方法应用于表面缺陷检测设备(简称为检测设备)为例进行介绍。请参考图2，该方法包括如下步骤。

步骤201：获取待检测图像。

在本申请实施例中，检测设备获取待检测图像，待检测图像是指需要检测是否存在表面缺陷的物体的图像。例如，工业生产的器具、纸张等物体的图像。

示例性地，检测设备存储有待检测图像，或者，检测设备接收其他设备发送的待检测图像，例如，工业相机将采集的物体的图像发送给检测设备，检测设备将接收到的图像作为待检测图像。

步骤202：将待检测图像输入神经网络缺陷分割模型，输出第一检测结果，神经网络缺陷分割模型用于检测已知缺陷类别的表面缺陷。

在本申请实施例中，检测设备中部署有神经网络缺陷分割模型，神经网络缺陷分割模型是一种深度学习模型，神经网络缺陷分割模型用于检测已知缺陷类别的表面缺陷。检测设备将待检测图像输入神经网络缺陷分割模型，输出第一检测结果。

示例性地，假设待检测图像存在已知缺陷类别的表面缺陷，则第一检测结果为该待检测图像存在已知缺陷类别的表面缺陷。假设待检测图像不存在已知缺陷类别的表面缺陷，则第一检测结果为该待检测图像不存在已知缺陷类别的表面缺陷。

步骤203：如果第一检测结果为待检测图像不存在已知缺陷类别的表面缺陷，则将待检测图像输入神经网络缺陷特征提取模型，输出待对比特征，待对比特征为待检测图像的图像特征。

在本申请实施例中，检测设备中还部署有神经网络缺陷特征提取模型，神经网络缺陷特征提取模型是一种深度学习模型，神经网络缺陷特征提取模型用于提取图像特征。如果第一检测结果为待检测图像不存在已知缺陷类别的表面缺陷，则检测设备将待检测图像输入神经网络缺陷特征提取模型，输出待对比特征，待对比特征为待检测图像的图像特征。

步骤204：如果待对比特征与正常数据表示特征之间的相似度小于相似度阈值，则确定待检测图像存在未知缺陷类别的表面缺陷，正常数据表示特征是基于无表面缺陷的图像的图像特征生成的。

在本申请实施例中，检测设备中存储有正常数据表示特征，正常数据表示特征是基于无表面缺陷的图像的图像特征生成的，例如，正常数据表示特征包括通过神经网络缺陷特征提取模型对无表面缺陷的图像处理得到的图像特征。检测设备通过神经网络缺陷特征提取模型提取出待对比特征之后，计算待对比特征与正常数据表示特征之间的相似度，如果待对比特征与正常数据表示特征之间的相似度小于相似度阈值，则检测设备确定该待检测图像存在未知缺陷类别的表面缺陷。

其中，计算待对比特征与正常数据表示特征之间的相似度的方法有很多，例如采用特征之间的欧式距离相似度计算方法、采用特征之间的马氏距相似度计算方法、采用特征之间的余弦距离相似度计算方法等，本申请实施例对此不作限定。

在本申请实施例中，正常数据表示特征包括一个或多个无表面缺陷的图像的图像特征。检测设备计算待对比特征与正常数据表示特征包括的每个图像特征之间的相似度，得到一个或多个相似度，如果该一个或多个相似度中的至少一个相似度小于第一相似度阈值，则检测设备确定待检测图像存在未知缺陷类别的表面缺陷。或者，如果该一个或多个相似度的平均值小于第二相似度阈值，则检测设备确定待检测图像存在未知缺陷类别的表面缺陷。其中，第一相似度阈值和第二相似度阈值相同或不同。

在本申请实施例中，如果待对比特征与正常数据表示特征之间的相似度大于或等于相似度阈值，则检测设备确定待检测图像无表面缺陷。

示例性地，检测设备计算待对比特征与正常数据表示特征包括的每个图像特征之间的相似度，得到一个或多个相似度，如果该一个或多个相似度均大于或等于第一相似度阈值，则检测设备确定待检测图像无表面缺陷。或者，如果该一个或多个相似度的平均值大于或等于第二相似度阈值，则检测设备确定待检测图像无表面缺陷。

可选地，在本申请实施例中，如果待检测图像存在未知缺陷类别的表面缺陷，那么检测设备还能够检测出待检测图像中存在的未知缺陷类别的表面缺陷的位置，也即检测确定待检测图像中存在的表面缺陷的缺陷位置。

在本申请实施例中，检测设备通过对比待对比特征与正常数据表示特征，确定待检测图像的缺陷位置。例如，检测设备根据待对比特征与正常数据表示特征之间的相似度，以及图像特征矩阵与图像像素矩阵之间的映射关系，确定待检测图像中存在的表面缺陷的缺陷位置。

在一种实现方式中，图像特征矩阵与图像像素矩阵之间存在一定的映射关系，图像像素矩阵是指图像的像素值组成的矩阵，图像特征矩阵是通过神经网络缺陷特征提取模型对图像像素矩阵下采样得到的矩阵，也即神经网络缺陷特征提取模型提取出的图像特征以矩阵形式表示为图像特征矩阵。

示例性地，假设本申请实施例中神经网络缺陷特征提取模型基于卷积神经网络构建，提取的图像特征包括C个通道的特征，图像像素矩阵为100*100的矩阵，图像像素矩阵通过神经网络缺陷特征提取模型进行四倍下采样后得到图像特征矩阵为25*25个C维特征的特征阵列，该特征阵列为一个三阶张量，可以理解为25*25的图像特征矩阵的每个位置为一个C维向量，每个位置对应图像像素矩阵中的一个4*4区域。例如，25*25的图像特征矩阵中第一个位置对应100*100的图像像素矩阵的第一个4*4区域。那么，25*25的待对比特征矩阵中每个位置的C维向量与25*25的正常数据特征矩阵中对应位置的C维向量之间的相似度，决定了图像像素矩阵中对应的4*4区域是否存在表面缺陷。

检测设备计算待对比特征矩阵与正常数据特征矩阵中相同位置的元素之间的相似度，如果某相同位置的元素之间的相似度小于相似度阈值，也即检测设备检测到缺陷特征位置，缺陷特征位置是指待对比特征矩阵中特征相似度低于相似度阈值的位置。然后，检测设备根据图像特征矩阵与图像像素矩阵之间的映射关系，从待对比图像对应的图像像素矩阵中，确定与缺陷特征位置对应的图像像素位置，作为检测到的待检测图像存在的表面缺陷的缺陷位置。其中，待对比特征矩阵是指待检测图像对应的图像特征矩阵，正常数据特征矩阵是指正常数据表示特征对应的图像特征矩阵。

示例性地，假设待检测图像对应的图像像素矩阵的大小为100*100，待对比特征矩阵与正常数据特征矩阵的均为25*25个C维特征的三阶张量，检测设备计算出待对比特征矩阵中第一个位置的C维向量与正常数据特征矩阵中第一个位置的C维向量之间的相似度，如果该相似度小于相似度阈值，则检测设备根据图像特征矩阵与图像像素矩阵之间的映射关系，确定待检测图像对应的图像像素矩阵中第一个4*4区域所在的图像位置即为缺陷位置。

图3是本申请实施例提供的另一种表面缺陷检测方法的流程图。参见图3，以待检测图像为工业相机实时拍摄的图像为例，检测设备具有已知缺陷检测和未知缺陷检测两个功能，检测设备中部署训练好的模型，包括神经网络缺陷分割模型和神经网络缺陷特征提取模型。其中，神经网络缺陷分割模型用于实现已知缺陷检测的功能，也即检测已知缺陷类别的表面缺陷，检测设备中还存储有正常数据表示特征，神经网络缺陷特征提取模型和正常数据表示特征结合用于实现未知缺陷检测的功能，也即检测未知缺陷类别的表面缺陷。

已知缺陷检测的过程包括：检测设备将工业相机实时拍摄的图像输入神经网络缺陷分割模型，如果检测到表面缺陷，输出已知缺陷检测结果，也即输出待检测图像存在的表面缺陷的缺陷类别。如果未检测到表面缺陷，则进行未知缺陷检测。

未知缺陷检测的过程包括：检测设备将工业相机实时拍摄的该图像输入神经网络缺陷特征提取模型，输出实时图像特征，也即输出待检测图像的图像特征。之后，检测设备将实时图像特征与正常数据表示特征进行特征相似度对比，输出未知缺陷检测结果。例如，如果实时图像特征与正常数据表示特征之间的相似度小于相似度阈值，则未知缺陷检测结果为该图像存在未知缺陷类别的表面缺陷，并在该图像上标出缺陷位置。如果实时图像特征与正常数据表示特征之间的相似度大于或等于相似度阈值，则未知缺陷检测结果为该图像无表面缺陷，也即该图像为无表面缺陷的正常图像，该图像对应的物体为正常物体。

由上述可知，在本申请实施例中，检测设备能够通过神经网络缺陷分割模型初步检测已知缺陷类别的表面缺陷，通过神经网络缺陷特征提取模型以及正常数据表示特征来进一步检测待检测图像中是否存在未知缺陷类别的表面缺陷，也即本方案能够有效检测未知缺陷类别的表面缺陷，提高了检测的精准度。

以上介绍了检测设备根据检测模型以及正常数据表示特征来检测表面缺陷的过程，其中，检测模型包括神经网络缺陷分割模型和神经网络缺陷特征提取模型。需要说明的是，在本申请实施例中，检测设备中部署的神经网络缺陷分割模型为经过训练的一个深度学习模型，接下来介绍训练得到神经网络缺陷分割模型的一种实现方式。

在本申请实施例中，检测设备获取第一数据集，根据第一数据集，训练得到神经网络缺陷分割模型。其中，第一数据集包括已知缺陷类别的缺陷图像以及对应的第一标注信息，第一标注信息为表示缺陷类别的标注信息，缺陷图像是指存在表面缺陷的图像，第一数据集还包括无表面缺陷的图像以及对应的第二标注信息，第二标注信息为表示无表面缺陷的标注信息。

也即是，获取一部分存在已知缺陷类别的缺陷图像，获取另一部分无表面缺陷的正常图像，正常图像是指无表面缺陷的图像，对缺陷图像存在的已知缺陷类别进行标注，得到缺陷图像对应的第一标注信息，第一标注信息为对应的缺陷类别，将正常图像标注为无表面缺陷。

示例性地，假设本申请实施例中的图像大小为100*100像素，缺陷图像和正常图像对应的标注信息也用100*100的矩阵进行表示，例如，以100*100的全零矩阵表示无表面缺陷，也即正常图像对应的标注信息为100*100的全零矩阵，以100*100的非全零矩阵表示存在表面缺陷，也即缺陷图像对应的标注信息为100*100的非全零矩阵。也即是，在本申请实施例中，用与图像大小相同的全零矩阵作为正常图像的标注信息，用与图像大小相同的非全零矩阵作为缺陷图像的标注信息。

其中，在非全零矩阵中以不同的数值表示不同的缺陷类别，例如，数值为1表示第一类已知缺陷、数值为2表示第二类已知缺陷，数值为3表示第三类已知缺陷。另外，非全零矩阵中非零元素所在的位置即为存在表面缺陷的图像局部位置，例如，非全零矩阵的第一行元素非零，表示图像中的第一行像素所在位置存在表面缺陷。如果非全零矩阵中第一行前3个元素的数值为1，表示图像中第一行像素中的前3个像素所在位置存在第一类已知缺陷。

基于前述示例，可选地，第一检测结果以与图像大小相同的矩阵表示，第一检测结果可以称为结果矩阵。检测设备将待检测图像输入神经网络缺陷特征提取模型后，输出与图像大小相同的结果矩阵，检测设备根据该结果矩阵即能确定待检测图像中是否存在已知缺陷类别的表面缺陷，以及缺陷位置。例如，如果该结果矩阵为非全零矩阵，则检测设备确定待检测图像存在已知缺陷类别的表面缺陷，且根据该结果矩阵中非全零的元素所在的位置以及数值，确定待检测图像中存在的表面缺陷的缺陷类别以及缺陷位置。

在本申请实施例中，检测设备中部署的神经网络缺陷特征提取模型也为经过训练的一个深度学习模型，接下来介绍训练得到神经网络缺陷特征提取模型的一种实现方式。

在本申请实施例中，检测设备获取第二数据集，根据第二数据集，训练得到神经网络缺陷特征提取模型。其中，第二数据集包括已知物体类别的图像以及对应的第三标注信息，第三标注信息为表示物体类别的标注信息。

示例性地，检测设备获取大量具有物体类别标注的公开数据集，作为第二数据集，根据包括大量数据的第二数据集训练得到神经网络缺陷特征提取模型，第二数据集包括的数据越丰富，训练得到的神经网络缺陷特征提取模型提取图像特征的效果越好。

检测设备训练得到神经网络缺陷特征提取模型的一种实现方式为：首先，检测设备基于卷积神经网络构建神经网络分类模型，构建的神经网络分类模型包括卷积层、池化层、全连接层、softmax层等，检测设备根据第二数据集训练神经网络分类模型，训练得到的神经网络分类模型的输出是物体类别。由于神经网络分类模型在前向推理过程中逐层计算提取图像特征，最后通过全连接层和softmax层输出物体类别，因此，为了得到能够输出图像特征的神经网络缺陷特征提取模型，检测设备将训练得到的神经网络分类模型的最后的全连接层、softmax层拆除，即得到能够输出图像特征的神经网络缺陷特征提取模型。

需要说明的是，本申请实施例并不限定构建神经网络缺陷特征提取模型所采用的深度学习技术、深度学习框架等。

图4是本申请实施例提供的一种训练检测模型的方法示意图，其中，检测模型包括神经网络分割模型和神经网络缺陷特征提取模型。参见图4，检测模型的训练过程包括采集训练数据、构建及训练神经网络。

采集训练数据的过程包括：工业相机将采集的图像数据发送给计算机设备，计算机设备为检测设备，通过检测设备对有缺陷物体的图像数据标注缺陷标签，也即是，标注已知缺陷类别的缺陷图像，得到缺陷图像对应的标注信息，标注信息为对应的缺陷类别。通过检测设备对正常物体的图像数据标注为无表面缺陷，也即是，标注无表面缺陷的正常图像，得到正常图像对应的标注信息，标注信息为无表面缺陷。

构建及训练神经网络的过程为：通过检测设备构建分割模型(初始化的神经网络缺陷分割模型)，根据工业相机采集的训练数据训练分割模型，得到经过训练的神经网络缺陷分割模型。通过检测设备构建分类模型(初始化的神经网络分类模型)，根据大量具有类别标注的公开数据集训练分类模型，得到经过训练的神经网络缺陷特征提取模型。

接下来介绍检测设备确定正常数据表示特征两种实现方式。

第一种实现方式：检测设备获取至少一个第一样本图像，该至少一个第一样本图像无表面缺陷，检测设备将该至少一个第一样本图像输入神经网络缺陷特征提取模型，输出该至少一个第一样本图像的图像特征，检测设备将该至少一个第一样本图像的图像特征作为正常数据表示特征。

也即是，检测设备获取一些正常物体的图像数据，通过神经网络缺陷特征提取模型提取这些图像数据的图像特征，将提取的图像特征作为正常数据表示特征。

示例性地，由前述可知，第一数据集中包括无表面缺陷的正常图像，那么检测设备可以从第一数据集中获取至少一个正常图像，作为至少一个第一样本图像。例如，检测设备从第一数据集包括的正常图像中随机选择一定比例或一定数量的图像作为至少一个第一样本图像，或者，检测设备将第一数据集包括的正常图像均作为第一样本图像。

也即是，检测设备先从第一数据集中选择需要提取图像特征的正常图像，再对选择的正常图像提取图像特征，作为正常数据表示特征。

可选地，检测设备将第一数据集包括的所有正常图像输入神经网络缺陷特征提取模型，输出第一数据集包括的所有正常图像的图像特征。之后，检测设备从第一数据集包括的所有正常图像的图像特征中随机选择一定比例或一定数量的图像特征，作为正常数据表示特征，或者，检测设备将第一数据集包括的所有正常图像的图像特征作为正常数据表示特征。

也即是，检测设备先对第一数据集包括的所有正常图像提取图像特征，再从提取的所有图像特征中随机选择一定比例或者选择全部，作为正常数据表示特征。

第二种实现方式：检测设备获取多个第二样本图像，该多个第二样本图像无表面缺陷，检测设备将该多个第二样本图像输入神经网络缺陷特征提取模型，输出该多个第二样本图像的图像特征。检测设备对该多个第二样本图像的图像特征进行聚类，得到多组正常数据特征，之后，从该多组正常数据特征中的每组正常数据特征中选择至少一个图像特征，得到正常数据表示特征。

也即是，检测设备获取一些正常物体的图像数据，通过神经网络缺陷特征提取模型提取这些图像数据的图像特征，对提取的图像特征进行聚类，得到多组正常数据特征，再从每组正常数据特征中选择一定比例或一定数量的图像特征，作为正常数据表示特征。这样，检测设备得到的正常数据表示特征的种类丰富，且更加具有代表性。

示例性地，由前述可知，第一数据集包括无表面缺陷的正常图像，那么检测设备可以将第一数据集包括的所有正常图像作为多个第二样本图像，对该多个第二样本图像提取图像特征，对提取的所有图像特征进行聚类，得到多组正常表示特征。检测设备再从每组正常数据特征中选择一定数量或一定比例的图像特征，作为正常数据表示特征。

当然，检测设备也可以先从第一数据集中选择一定比例或一定数量的正常图像，作为多个第二样本图像，之后再通过特征提取、聚类和筛选，得到正常数据表示特征。

由前述对确定正常数据表示特征的第一种实现方式和第二种实现方式的介绍可知，假设检测设备是根据第一数据集包括的正常图像来确定的正常数据表示特征，那么检测设备均可以先对第一数据集包括的所有正常图像提取图像特征，之后，根据一种筛选机制，从提取的所有图像特征中筛选确定正常数据表示特征。其中，筛选机制为：随机选择一定比例或一定数量的图像特征，或者，选择全部图像特征，或者，对所有图像特征进行聚类，从每一类图像特征中选择一定比例或一定数据的图像特征。

需要说明的是，检测设备对图像特征进行聚类所采用的聚类算法有很多，例如K-均值聚类算法、均值偏移聚类算法、基于密度的聚类算法、基于层次的聚类算法等，本申请实施例对此不作限定。

在本申请实施例中，检测设备确定正常数据表示特征的过程可以理解为正常数据特征建模的过程，图5是本申请实施例提供一种正常数据特征建模的方法示意图，接下来参照图5对该过程再次进行说明。

参见图5，检测设备将正常物体的图像数据输入神经网络缺陷特征提取模型，输出正常数据特征，例如，将第一数据集包括的所有正常图像输入神经网络缺陷特征提取模型，输出所有正常图像的图像特征。之后，检测设备选择一种筛选机制从正常数据特征中筛选得到正常数据表示特征。

综上所述，在本申请实施例中，如果通过神经网络缺陷分割模型检测确定待检测图像中不存在已知缺陷类别的表面缺陷，那么通过神经网络缺陷特征提取模型来提取待检测图像的图像特征，得到待对比特征，如果待对比特征与正常数据表示特征之间的相似度较小，则确定待检测图像中存在未知缺陷类别的表面缺陷，也即是，本方案能够检测未知缺陷类别的表面缺陷，提高了检测的精准度。

上述所有可选技术方案，均可按照任意结合形成本申请的可选实施例，本申请实施例对此不再一一赘述。

图6是本申请实施例提供的一种表面缺陷检测装置600的结构示意图，该表面缺陷检测装置600可以由软件、硬件或者两者的结合实现成为计算机设备的部分或者全部，该计算机设备可以为上述实施例中的检测设备。请参考图6，该装置600包括：第一获取模块601、检测模块602、第一处理模块603和第一确定模块604。

第一获取模块601，用于获取待检测图像；

检测模块602，用于将待检测图像输入神经网络缺陷分割模型，输出第一检测结果，神经网络缺陷分割模型用于检测已知缺陷类别的表面缺陷；

第一处理模块603，用于如果第一检测结果为待检测图像不存在已知缺陷类别的表面缺陷，则将待检测图像输入神经网络缺陷特征提取模型，输出待对比特征，待对比特征为待检测图像的图像特征；

第一确定模块604，用于如果待对比特征与正常数据表示特征之间的相似度小于相似度阈值，则确定待检测图像存在未知缺陷类别的表面缺陷，正常数据表示特征是基于无表面缺陷的图像的图像特征生成的。

可选地，该装置600还包括：

第二确定模块，用于根据待对比特征与正常数据表示特征之间的相似度，以及图像特征矩阵与图像像素矩阵之间的映射关系，确定待检测图像中存在的表面缺陷的缺陷位置。

可选地，该装置600还包括：

第二获取模块，用于获取第一数据集，第一数据集包括已知缺陷类别的缺陷图像以及对应的第一标注信息，第一标注信息为表示缺陷类别的标注信息，第一数据集还包括无表面缺陷的图像以及对应的第二标注信息，第二标注信息为表示无表面缺陷的标注信息；

第一训练模块，用于根据第一数据集，训练得到神经网络缺陷分割模型。

可选地，装置还包括：

第三获取模块，用于获取第二数据集，第二数据集包括已知物体类别的图像以及对应的第三标注信息，第三标注信息为表示物体类别的标注信息；

第二训练模块，用于根据第二数据集，训练得到神经网络缺陷特征提取模型。

可选地，该装置600还包括：

第四获取模块，用于获取至少一个第一样本图像，至少一个第一样本图像无表面缺陷；

第二处理模块，还用于将至少一个第一样本图像输入神经网络缺陷特征提取模型，输出至少一个第一样本图像的图像特征；

第三确定模块，用于将至少一个第一样本图像的图像特征作为正常数据表示特征。

可选地，该装置600还包括：

第五获取模块，用于获取多个第二样本图像，多个第二样本图像无表面缺陷；

第三处理模块，用于将多个第二样本图像输入神经网络缺陷特征提取模型，输出多个第二样本图像的图像特征；

聚类模块，用于对多个第二样本图像的图像特征进行聚类，得到多组正常数据特征；

第四确定模块，用于从多组正常数据特征中的每组正常数据特征中选择至少一个图像特征，得到正常数据表示特征。

可选地，该装置600还包括：

第五确定模块，用于如果待对比特征与正常数据表示特征之间的相似度大于或等于相似度阈值，则确定待检测图像无表面缺陷。

在本申请实施例中，如果通过神经网络缺陷分割模型检测确定待检测图像中无已知缺陷类别的表面缺陷，那么通过神经网络缺陷特征提取模型来提取待检测图像的图像特征，得到待对比特征，如果待对比特征与正常数据表示特征之间的相似度较小，则确定待检测图像中存在未知缺陷类别的表面缺陷，也即是，本方案能够检测未知缺陷类别的表面缺陷，提高了检测的精准度。

需要说明的是：上述实施例提供的表面缺陷检测装置在检测表面缺陷时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的表面缺陷检测装置与表面缺陷检测方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图7示出了本申请一个示例性实施例提供的终端700的结构框图。该终端700可以是：智能手机、平板电脑、笔记本电脑或台式电脑。终端700还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。可选地，该终端700为上述实施例中的检测设备。

通常，终端700包括有：处理器701和存储器702。

处理器701可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器701可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器701可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器701还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器701所执行以实现本申请中方法实施例提供的表面缺陷检测方法。

在一些实施例中，终端700还可选包括有：外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地，外围设备包括：射频电路704、显示屏705、摄像头组件706、音频电路707、定位组件708和电源709中的至少一种。

外围设备接口703可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中，处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上；在一些其他实施例中，处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路704用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路704包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路704还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏705用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时，显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时，显示屏705还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏705可以为一个，设置在终端700的前面板；在另一些实施例中，显示屏705可以为至少两个，分别设置在终端700的不同表面或呈折叠设计；在另一些实施例中，显示屏705可以是柔性显示屏，设置在终端700的弯曲表面上或折叠面上。甚至，显示屏705还可以设置成非矩形的不规则图形，也即异形屏。显示屏705可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件706用于采集图像或视频。可选地，摄像头组件706包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件706还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器701进行处理，或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路707还可以包括耳机插孔。

定位组件708用于定位终端700的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件708可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。

电源709用于为终端700中的各个组件进行供电。电源709可以是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端700还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于：加速度传感器711、陀螺仪传感器712、压力传感器713、指纹传感器714、光学传感器715以及接近传感器716。

加速度传感器711可以检测以终端700建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器711可以用于检测重力加速度在三个坐标轴上的分量。处理器701可以根据加速度传感器711采集的重力加速度信号，控制显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器712可以检测终端700的机体方向及转动角度，陀螺仪传感器712可以与加速度传感器711协同采集用户对终端700的3D动作。处理器701根据陀螺仪传感器712采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器713可以设置在终端700的侧边框和/或显示屏705的下层。当压力传感器713设置在终端700的侧边框时，可以检测用户对终端700的握持信号，由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在显示屏705的下层时，由处理器701根据用户对显示屏705的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器714用于采集用户的指纹，由处理器701根据指纹传感器714采集到的指纹识别用户的身份，或者，由指纹传感器714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器701授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器714可以被设置终端700的正面、背面或侧面。当终端700上设置有物理按键或厂商Logo时，指纹传感器714可以与物理按键或厂商Logo集成在一起。

光学传感器715用于采集环境光强度。在一个实施例中，处理器701可以根据光学传感器715采集的环境光强度，控制显示屏705的显示亮度。具体地，当环境光强度较高时，调高显示屏705的显示亮度；当环境光强度较低时，调低显示屏705的显示亮度。在另一个实施例中，处理器701还可以根据光学传感器715采集的环境光强度，动态调整摄像头组件706的拍摄参数。

接近传感器716，也称距离传感器，通常设置在终端700的前面板。接近传感器716用于采集用户与终端700的正面之间的距离。在一个实施例中，当接近传感器716检测到用户与终端700的正面之间的距离逐渐变小时，由处理器701控制显示屏705从亮屏状态切换为息屏状态；当接近传感器716检测到用户与终端700的正面之间的距离逐渐变大时，由处理器701控制显示屏705从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图7中示出的结构并不构成对终端700的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

图8是根据一示例性实施例示出的一种表面缺陷检测装置的服务器结构示意图。该服务器800可以是后台服务器集群中的服务器，该服务器800可以是上述实施例中的检测设备。具体来讲：

服务器800包括中央处理单元(CPU)801、包括随机存取存储器(RAM)802和只读存储器(ROM)803的系统存储器804，以及连接系统存储器804和中央处理单元801的系统总线805。服务器800还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)806，和用于存储操作系统813、应用程序814和其他程序模块815的大容量存储设备807。

基本输入/输出系统806包括有用于显示信息的显示器808和用于用户输入信息的诸如鼠标、键盘之类的输入设备809。其中显示器808和输入设备809都通过连接到系统总线805的输入输出控制器810连接到中央处理单元801。基本输入/输出系统806还可以包括输入输出控制器810以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器810还提供输出到显示屏、打印机或其他类型的输出设备。

大容量存储设备807通过连接到系统总线805的大容量存储控制器(未示出)连接到中央处理单元801。大容量存储设备807及其相关联的计算机可读介质为服务器800提供非易失性存储。也就是说，大容量存储设备807可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。

不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器804和大容量存储设备807可以统称为存储器。

根据本申请的各种实施例，服务器800还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器800可以通过连接在系统总线805上的网络接口单元811连接到网络812，或者说，也可以使用网络接口单元811来连接到其他类型的网络或远程计算机系统(未示出)。

上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行。所述一个或者一个以上程序包含用于进行本申请实施例提供的表面缺陷检测方法的指令。

在一些实施例中，还提供了一种计算机可读存储介质，该存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中表面缺陷检测方法的步骤。例如，所述计算机可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。

值得注意的是，本申请实施例提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。

应当理解的是，实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。所述计算机指令可以存储在上述计算机可读存储介质中。

也即是，在一些实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述所述的表面缺陷检测方法的步骤。

应当理解的是，本文提及的“至少一个”是指一个或多个，“多个”是指两个或两个以上。在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。

以上所述为本申请提供的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (12)

1.一种表面缺陷检测方法，其特征在于，所述方法包括：

获取待检测图像；

将所述待检测图像输入神经网络缺陷分割模型，输出第一检测结果，所述神经网络缺陷分割模型用于检测已知缺陷类别的表面缺陷；

如果所述第一检测结果为所述待检测图像不存在所述已知缺陷类别的表面缺陷，则将所述待检测图像输入神经网络缺陷特征提取模型，输出待对比特征，所述待对比特征为所述待检测图像的图像特征；

如果所述待对比特征与正常数据表示特征之间的相似度小于相似度阈值，则确定所述待检测图像存在未知缺陷类别的表面缺陷，所述正常数据表示特征是基于无表面缺陷的图像的图像特征生成的。

2.根据权利要求1所述的方法，其特征在于，所述确定所述待检测图像存在未知缺陷类别的表面缺陷之后，还包括：

根据所述待对比特征与所述正常数据表示特征之间的相似度，以及图像特征矩阵与图像像素矩阵之间的映射关系，确定所述待检测图像中存在的表面缺陷的缺陷位置。

3.根据权利要求1所述的方法，其特征在于，所述将所述待检测图像输入神经网络缺陷分割模型，输出第一检测结果之前，还包括：

获取第一数据集，所述第一数据集包括已知缺陷类别的缺陷图像以及对应的第一标注信息，所述第一标注信息为表示缺陷类别的标注信息，所述第一数据集还包括无表面缺陷的图像以及对应的第二标注信息，所述第二标注信息为表示无表面缺陷的标注信息；

根据所述第一数据集，训练得到所述神经网络缺陷分割模型。

4.根据权利要求1所述的方法，其特征在于，所述将所述待检测图像输入神经网络缺陷特征提取模型，输出待对比特征之前，还包括：

获取第二数据集，所述第二数据集包括已知物体类别的图像以及对应的第三标注信息，所述第三标注信息为表示物体类别的标注信息；

根据所述第二数据集，训练得到所述神经网络缺陷特征提取模型。

5.根据权利要求1-4任一所述的方法，其特征在于，所述如果所述待对比特征与正常数据表示特征之间的相似度小于相似度阈值，则确定所述待检测图像存在未知缺陷类别的表面缺陷之前，还包括：

获取至少一个第一样本图像，所述至少一个第一样本图像无表面缺陷；

将所述至少一个第一样本图像输入所述神经网络缺陷特征提取模型，输出所述至少一个第一样本图像的图像特征；

将所述至少一个第一样本图像的图像特征作为所述正常数据表示特征。

6.根据权利要求1-4任一所述的方法，其特征在于，所述如果所述待对比特征与正常数据表示特征之间的相似度小于相似度阈值，则确定所述待检测图像存在未知缺陷类别的表面缺陷之前，还包括：

获取多个第二样本图像，所述多个第二样本图像无表面缺陷；

将所述多个第二样本图像输入所述神经网络缺陷特征提取模型，输出所述多个第二样本图像的图像特征；

对所述多个第二样本图像的图像特征进行聚类，得到多组正常数据特征；

从所述多组正常数据特征中的每组正常数据特征中选择至少一个图像特征，得到所述正常数据表示特征。

7.根据权利要求1-4任一所述的方法，其特征在于，所述将所述待检测图像输入神经网络缺陷特征提取模型，输出待对比特征之后，还包括：

如果所述待对比特征与所述正常数据表示特征之间的相似度大于或等于所述相似度阈值，则确定所述待检测图像无表面缺陷。

8.一种表面缺陷检测装置，其特征在于，所述装置包括：

第一获取模块，用于获取待检测图像；

检测模块，用于将所述待检测图像输入神经网络缺陷分割模型，输出第一检测结果，所述神经网络缺陷分割模型用于检测已知缺陷类别的表面缺陷；

第一处理模块，用于如果所述第一检测结果为所述待检测图像不存在所述已知缺陷类别的表面缺陷，则将所述待检测图像输入神经网络缺陷特征提取模型，输出待对比特征，所述待对比特征为所述待检测图像的图像特征；

第一确定模块，用于如果所述待对比特征与正常数据表示特征之间的相似度小于相似度阈值，则确定所述待检测图像存在未知缺陷类别的表面缺陷，所述正常数据表示特征是基于无表面缺陷的图像的图像特征生成的。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

第二确定模块，用于根据所述待对比特征与所述正常数据表示特征之间的相似度，以及图像特征矩阵与图像像素矩阵之间的映射关系，确定所述待检测图像中存在的表面缺陷的缺陷位置。

10.根据权利要求8所述的装置，其特征在于，所述装置还包括：

第二获取模块，用于获取第一数据集，所述第一数据集包括已知缺陷类别的缺陷图像以及对应的第一标注信息，所述第一标注信息为表示缺陷类别的标注信息，所述第一数据集还包括无表面缺陷的图像以及对应的第二标注信息，所述第一数据集包括的无表面缺陷的图像对应的标注信息为无表面缺陷，所述第二标注信息为表示无表面缺陷的标注信息；

第一训练模块，用于根据所述第一数据集，训练得到所述神经网络缺陷分割模型。

11.一种表面缺陷检测系统，其特征在于，所述表面缺陷检测系统包括相机和至少一个处理器；

所述相机，用于拍摄待检测物体的至少一个表面，作为待检测图像；

所述至少一个处理器，用于获取所述待检测图像，实现权利要求1-7任一所述方法的步骤。

12.根据权利要求11所述的系统，其特征在于，所述表面缺陷检测系统还包括传送装置，所述传送装置用于传输所述待检测物体

所述相机用于在所述传送装置传输所述待检测物体的过程中，拍摄所述待检测物体。

Images