CN114897806A - 缺陷检测方法、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种缺陷检测方法、电子设备及计算机可读存储介质。该方法包括：确定目标对象的待检测图像中的候选缺陷区域；对候选缺陷区域进行分类，得到缺陷分类结果；判断缺陷分类结果是否能够用于确定目标对象的缺陷类别；响应于缺陷分类结果不能用于确定目标对象的缺陷类别，将候选缺陷区域的特征与各候选缺陷类别的模板特征进行比对，以确定目标对象的缺陷类别。通过上述方式，能够提高目标对象的缺陷类别的准确度。

Description

缺陷检测方法、电子设备及计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，特别是涉及一种缺陷检测方法、电子设备及计算机可读存储介质。

背景技术

在工业领域，经常需要对材料、材料制成的产品表面进行缺陷检测。缺陷检测旨在确定检测对象的缺陷类别，缺陷检测的一种方法是通过人工检测，另一种方法是通过神经网络检测。其中，神经网络检测的方法由于效率高、还能够大大降低人力成本，被应用得非常广泛。

但是，现有通过神经网络实现缺陷检测的方法，得到的缺陷类别准确度不高。

发明内容

本申请提供一种缺陷检测方法、电子设备及计算机可读存储介质，能够解决现有的缺陷检测方法得到的缺陷类别准确度不高的问题。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种缺陷检测方法。该方法包括：确定目标对象的待检测图像中的候选缺陷区域；对候选缺陷区域进行分类，得到缺陷分类结果；判断缺陷分类结果是否能够用于确定目标对象的缺陷类别；响应于缺陷分类结果不能用于确定目标对象的缺陷类别，将候选缺陷区域的特征与各候选缺陷类别的模板特征进行比对，以确定目标对象的缺陷类别。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，该电子设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。

为解决上述技术问题，本申请采用的又一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质存储程序指令，程序指令能够被处理器执行，被执行时实现上述方法。

通过上述方式，本申请在缺陷分类结果不能用于确定目标对象的缺陷类别，即缺陷分类结果准确度不高的情况下，将各候选缺陷类别的模板特征视为各候选缺陷区域的特征的标准，将候选缺陷区域的特征与各候选缺陷类别的模板特征进行比对，以确定目标对象的缺陷类别。因此，即使分类依据的分类算法准确度不高，不能用于确定目标对象的类别，也能够通过与模板特征比对的方式确定目标对象的缺陷类别，提高确定的目标对象的缺陷类别的准确度。

附图说明

图1是本申请缺陷检测方法一实施例的流程示意图；

图2是图1中S14的具体流程示意图；

图3是本申请缺陷检测方法另一实施例的流程示意图；

图4是图3中S23的具体流程示意图；

图5是区域确定网络的训练方法一实施例的流程示意图；

图6是对比损失的获取流程示意图；

图7是区域确定网络的一结构示意图；

图8是分类网络的训练方法一实施例的流程示意图；

图9是本申请电子设备一实施例的结构示意图；

图10是本申请计算机可读存储介质一实施例的结构示意图；

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。

在介绍本申请提供的缺陷检测方法之前，先对相关技术中的缺陷检测方法及其缺陷进行说明：

相关技术中，获取对象的图像，直接利用分类网络对图像进行缺陷分类；或者从图像确定缺陷区域之后对缺陷区域分类，得到对象的缺陷类别。

经本申请发明人长期研究发现，相关技术中的缺陷检测方法得到的缺陷分类结果准确度不高。准确度不高的原因至少可以包括以下两种：

其中一种原因是分类依据的分类网络的分类准确度不高，使得分类网络得到的缺陷分类结果准确度不高。分类网络的分类准确度不高可能是由于分类网络本身的缺陷导致的；也可能是由于某缺陷类别的训练样本获取难度高，导致训练阶段用于训练分类网络的该缺陷类别的训练样本少，使得分类网络对该缺陷类别的分类能力不足。

其中另一种原因是缺陷类别无法被完全定义，当某缺陷类别首次出现还未被定义，且区别于已经被定义的缺陷类别时，无法对该未被定义的缺陷类别准确分类。

为此，本申请提供的缺陷检测方法如下：

图1是本申请缺陷检测方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例可以包括：

S11：确定目标对象的待检测图像中的候选缺陷区域。

本申请缺陷检测方法面向的对象是视觉可见物，可以是材料(如金属、硅片、塑料)，也可以是对材料加工得到的产物。为了便于理解，本申请后文，以硅片进行举例说明。

待检测图像可以为目标对象的原始图像本身，也可以为对原始图像切分得到的图像块(如尺寸为512*512的图像块)。例如，目标对象的缺陷细微的情况下，待检测图像为原始图像的图像块，以更好地定位目标对象的缺陷；目标对象的缺陷显著的情况下，待检测图像为原始图像。

在一些实施例中，可以对待检测图像进行缺陷检测，得到缺陷检测框，将缺陷检测框在待检测图像中对应的区域作为候选缺陷区域。

在一些实施例中，可以对待检测图像进行缺陷分割，得到缺陷连通域，作为候选缺陷区域，将缺陷连通域在待检测图像中对应的区域作为候选缺陷区域。

在一些实施例中，可以引入参考图像，在参考图像的辅助下，确定缺陷检测区域。具体来说，参考图像为目标对象无缺陷时获取到的，因此参考图像可以作为无缺陷的标准，可以获取待检测图像和参考图像间像素级的特征相似度，像素级的特征相似度包括待检测图像和参考图像之间对应像素点的特征相似度；将待检测图像中对应的特征相似度小于特征相似度阈值的像素点组成的区域，作为候选缺陷区域。

在一些实施例中，可以基于缺陷检测确定的候选缺陷区域，以及引入参考图像之后确定的候选缺陷区域，确定最终的候选缺陷区域(交集或者并集)。

在一些实施例中，可以基于缺陷分割确定的候选缺陷区域，以及引入参考图像之后确定的候选缺陷区域，确定最终的候选缺陷区域(交集或者并集)。

确定的候选缺陷区域可能有一个，也可能有多个。在一些实施例中，还可以将距离小于距离阈值的候选缺陷区域合并，将合并之后的候选缺陷区域用于后续处理。在一些实施例中，还可以对作为噪声的候选缺陷区域进行过滤，例如过滤掉面积小于面积阈值的候选缺陷区域，将过滤之后剩余的候选缺陷区域用于后续处理。

S12：对候选缺陷区域进行分类，得到缺陷分类结果。

对候选缺陷区域分类依据的可以是任何具有分类能力的分类网络实现的。分类网络可以提取候选缺陷区域的特征；基于候选缺陷区域的特征对候选缺陷区域分类，得到缺陷分类结果。缺陷分类结果可以包括候选缺陷区域属于各个候选缺陷类别的概率。

S13：判断缺陷分类结果是否能够用于确定目标对象的缺陷类别。

缺陷分类结果能够用于确定目标对象的缺陷类别的依据可以是候选缺陷区域属于各个候选缺陷类别的概率满足预设条件。预设条件可以为属于其中一候选缺陷类别的概率最大且大于概率阈值，或者可以为属于其中一候选缺陷类别的概率与属于其他各候选缺陷类别的概率的差值均大于差值阈值等等。由此，可以判断候选缺陷区域属于各个候选缺陷类别的概率是否满足预设条件；响应于不满足预设条件，判定缺陷分类结果不能用于确定目标对象的缺陷类别；响应于满足预设条件，判定缺陷分类结果能够用于确定目标对象的缺陷类别。

响应于缺陷分类结果不能用于确定目标对象的缺陷类别，执行S14；否则执行S15。

S14：将候选缺陷区域的特征与各候选缺陷类别的模板特征进行比对，以确定目标对象的缺陷类别。

各候选缺陷类别可以包括无缺陷类别和已被定义的各有缺陷类别。模板特征可以是通过标定得到的。例如，硅片的缺陷类别包括无缺陷、端面崩、倒角崩、端面污、纹路反、多片以及缺片等缺陷类别。候选缺陷类别的模板特征是存在该候选缺陷类别的模板区域的特征，是该候选缺陷类别下的特征的标准，模板区域与候选缺陷区域的尺寸一致。

在一些实施例中，可以获取候选缺陷区域的特征与各候选缺陷类别的模板特征的相似度(区域相似度)，将对应的区域相似度最大的候选缺陷类别，作为目标对象的缺陷类别。

结合参阅图2，在一些实施例中，S14可以包括以下子步骤：

S141：获取候选缺陷区域的特征与各候选缺陷类别的模板特征之间的区域相似度。

S142：判断在各候选缺陷类别中是否存在目标候选缺陷类别。

目标候选缺陷类别的模板特征对应的区域相似度满足相似度要求。

相似度要求可以为区域相似度最大且大于区域相似度阈值，或者可以为目标候选缺陷类别的区域相似度与其他各候选缺陷类别的区域相似度之间的相似度差值均大于相似度差值阈值等等。

响应于存在目标候选缺陷类别，执行S143；响应于不存在目标候选缺陷类别，执行S144。

S143：确定目标对象的缺陷类别为目标候选缺陷类别。

S144：确定目标对象的缺陷类别为待定类别。

不存在目标候选缺陷类别，意味着目标对象的缺陷类别未被定义，故将其确定为待定类别。

可以理解的是，相较于直接将对应的区域相似度最大的候选缺陷类别作为目标对象的缺陷类别的方式，S141～S144考虑了目标对象的缺陷类别未被定义的情况，准确度更高。

S15：基于缺陷分类结果确定目标对象的缺陷类别。

属于候选缺陷类别的概率越大，意味着候选缺陷区域属于该候选缺陷类别的可能性越大。由此，可以将前面提及的“其中一候选缺陷类别”作为目标对象的缺陷类别，即，将对应概率最大且大于阈值的候选缺陷类别作为目标对象的缺陷类别，或者将对应概率与其他各候选缺陷类别的概率的差值均大于差值阈值的候选缺陷类别，作为目标对象的缺陷类别。

通过本实施例的实施，本申请在缺陷分类结果不能用于确定目标对象的缺陷类别，即缺陷分类结果准确度不高的情况下，将各候选缺陷类别的模板特征视为各候选缺陷区域的特征的标准，将候选缺陷区域的特征与各候选缺陷类别的模板特征进行比对，以确定目标对象的缺陷类别。因此，即使分类依据的分类算法准确度不高，不能用于确定目标对象的类别，也能够通过与模板特征比对的方式确定目标对象的缺陷类别，提高确定的目标对象的缺陷类别的准确度。

图3是本申请缺陷检测方法另一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图3所示的流程顺序为限。本实施例是对S11的进一步扩展，以通过引入参考图像的方式确定候选缺陷区域。如图3所示，本实施例可以包括：

S21：获取待检测图像和参考图像间像素级的特征相似度。

参考图像是在目标对象无缺陷时获取到的。

所谓获取像素级的特征相似度，是指获取待检测图像和参考图像之间对应像素点的特征相似度，从而可以得到待检测图像和参考图像之间各像素点对之间的特征相似度。

可以提取参考图像的特征、待检测图像的特征，基于参考图像的特征和待检测图像的特征计算待检测图像和参考图像间像素级的特征相似度。

S22：对待检测图像进行像素级的缺陷分割，得到缺陷分割结果。

所谓像素级的缺陷分割，是指对待检测图像中各像素点进行缺陷分类，得到各像素点的缺陷分割结果。缺陷分割结果表征通过缺陷分割确定的候选缺陷区域的位置信息，其可以包括待检测图像中各像素点属于有候选缺陷区域的概率。

S23：基于特征相似度和缺陷分割结果，确定候选缺陷区域。

在一些实施例中，可以基于缺陷分割结果确定初始的候选缺陷区域，基于特征相似度对初始的候选缺陷区域进行修正，得到最终的候选缺陷区域。具体来说，可以将待检测图像中属于候选缺陷区域的概率大于概率阈值的像素点组成的区域，作为初始的候选缺陷区域；将初始的候选缺陷区域中，对应的特征相似度小于特征相似度阈值的像素点去除，得到最终的候选缺陷区域。

在一些实施例中，可以基于特征相似度确定初始的候选缺陷区域，基于缺陷分割结果对初始的候选缺陷区域进行修正。具体来说，可以将待检测图像中对应的特征相似度小于特征相似度阈值的像素点组成的区域，作为初始的候选缺陷区域；将初始的候选缺陷区域中，属于候选缺陷区域的概率大于概率阈值的像素点去除，得到最终的候选缺陷区域。

结合参阅图4，在一些实施例中，S23可以包括以下子步骤：

S231：基于特征相似度确定待检测图像的第一候选缺陷区域。

第一候选缺陷区域由待检测图像中对应的特征相似度小于特征相似度阈值的像素点组成。

S232：基于缺陷分割结果，确定待检测图像的第二候选缺陷区域。

可以将待检测图像中属于候选缺陷区域的概率大于概率阈值的像素点组成的区域，作为第二候选缺陷区域。

S233：获取第一候选缺陷区域和第二候选缺陷区域的相交区域，作为候选缺陷区域。

区别于其他实施例，本实施例中，在从待检测图像中确定候选缺陷区域的过程中，考虑了待检测图像与背景图像间像素级的特征相似度，即考虑了待检测图像与背景图像间背景像素点(即候选缺陷区域之外的像素点)的相关性，前景像素点(即候选缺陷区域的像素点)的差异性，因此即使候选缺陷区域之外的区域纹理存在干扰，通过特征相似度也能够在一定程度上将待检测图像中的候选缺陷区域与候选缺陷区域之外的区域区分开来。因此，通过本实施例的实施，能够提升最终确定的候选缺陷区域的准确性。

进一步地，在上述任一实施例的基础上，S11是通过区域确定网络实现的。区域确定网络的结构与候选缺陷区域的确定方式相适应。如果候选缺陷区域的确定方式是缺陷检测，区域确定网络是能够实现缺陷检测的神经网络；如果候选缺陷区域的确定方式是缺陷分割，区域确定网络是能够实现缺陷分割的神经网络；如果候选缺陷区域的确定方式引入参考图像，区域确定网络是能够获取像素级的特征相似度的神经网络。在一些实施例中，区域确定网络可以是Big-CNN，如ResNet，VGG等等。

如下以候选缺陷区域的确定方式是缺陷分割和引入参考图像为例，对区域确定网络的训练进行说明：

区域确定网络是通过训练样本对训练得到的，训练样本对包括样本对象的第一样本图像、第二样本图像，第一样本图像和第二样本图像中的至少一个标注有第一样本图像和第二样本图像间像素级的参考特征相似度，第一样本图像还标注有参考缺陷分割结果。

样本对象可以是与目标对象同类别的对象，也可以是与目标对象相近类别的对象。用于训练区域确定网络的训练样本对是批量的，单个训练样本对中的第一样本图像可以是样本对象无缺陷时获取到的，也可以是样本对象有缺陷时获取到的，第二样本图像可以是样本对象无缺陷时获取到的，也可以是样本对象有缺陷时获取到的。参考特征相似度中每个像素值可以表征第一样本图像和第二样本图像间对应像素点是否相似，例如参考特征相似度中表征相似的像素值为距离0，表征不相似的像素值为距离1。参考缺陷分割结果中每个像素值可以表征第一样本图像中对应像素点是否属于候选缺陷区域。在训练样本不足的情况下，可以通过数据增强(crop、resize、recolor)来生成更多的训练样本。

区域确定网络包括两个分支，其中一个分支用于获取第一样本图像和第二样本图像间像素级的第一样本特征相似度；另一个分支用于获取样本缺陷分割结果。两个分支可以单独训练，也可以合并训练。

图5是本申请区域确定网络的训练方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图5所示的流程顺序为限。本实施例中对分类网络两个分支合并训练，如图5所示，本实施例可以包括：

S31：获取第一样本图像和第二样本图像间像素级的第一样本特征相似度。

可以提取第一样本图像的特征、第二样本图像的特征，基于第一样本图像的特征和二样本图像的特征计算第一样本图像和第二样本图像间像素级的特征相似度。

第一样本特征相似度与前面提及的特征相似度类似，在此不赘述。

S32：对第一样本图像进行像素级的缺陷分割，得到样本缺陷分割结果。

样本缺陷分割结果与前面提及的缺陷分割结果类似，在此不赘述。

S33：基于第一样本特征相似度及参考特征相似度之间的差异、样本缺陷分割结果及参考语义分割结果之间的差异，调整区域确定网络的参数。

其中，可以基于第一样本特征相似度及参考特征相似度之间的差异，获取损失1(如距离度量损失)；以及基于样本缺陷分割结果及参考语义分割结果之间的差异获取损失2(如对比损失)；将损失1和损失2加权之后用于调整区域确定网络的参数，直至满足训练结束条件，训练结束条件可以是损失足够小、训练次数足够多、训练时间足够长等等。

结合参阅图6，对样本缺陷分割结果及参考语义分割结果之间对比损失的获取进行说明。x表示第一样本图像，y表示第二样本图像，x标注有参考特征相似度Y，将x和y映射至特征空间，得到x的特征f(x)、y的特征f(y)；获取f(x)和f(y)的欧式距离Dw(第一样本特征相似度)；基于Dw与Y之间的差异构建对比损失：

其中，m是大于0的边缘阈值(margin value)，常数。

通过对比损失对区域确定网络的训练，能够使得区域确定网络在应用过程提取的待检测图像/参考图像的特征中，属于候选缺陷区域的不同像素点间的特征相似度提高，属于候选缺陷区域的像素点和属于候选缺陷区域之外区域的像素点间的特征相似度降低，对后续特征相似度的计算、缺陷分割起到正向作用。

如下结合图7，以一个例子的形式，对区域确定网络确定候选缺陷区域进行详细说明：

区域确定网络包括两个分支，第一分支包括特征提取层、特征相似度获取层；第二分支与第一分支共享特征提取层，另外第二分支还包括缺陷分割层。

将待检测图像A和参考图像B送入区域确定网络；特征提取层提取A的特征a、B的特征b；特征提取层获取特征a和特征b间像素级的特征相似度；缺陷分割层对特征a进行像素级的缺陷分割，得到缺陷分割结果；将特征相似度和缺陷分割结果还原至A/B的尺寸；基于特征相似度的还原结果确定A中的第一候选缺陷区域，基于缺陷分割结果的还原结果确定A中的第二候选缺陷区域；将第一候选缺陷区域和第二候选缺陷区域的相交区域，作为候选缺陷区域1。

进一步地，在上述任一实施例的基础上，S12是基于分类网络实现的。分类网络可以但不限于是resnext50。分类网络是基于样本集训练得到的，样本集包括多张样本对象的第三样本图像，第三样本图像标注有参考缺陷分类结果。参考缺陷分类结果表征第三样本图像的缺陷类别。

对于分类网络的训练可以沿用前述第一样本图像/第二样本图像，即第三样本图像可以是第一样本图像/第二样本图像，也可以是其他样本图像。分类网络可以包括特征提取层和分类层(softmax层)，特征提取层用于提取第三样本图像的特征，分类层用于基于第三样本图像的特征对第三样本图像分类，得到样本对象的样本缺陷分类结果。可以基于第三样本图像的特征和样本缺陷分类结果中的至少一个，实现对分类网络的训练。

图8是本申请分类网络的训练方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图8所示的流程顺序为限。本实施例中通过第三样本图像的特征和样本缺陷分类结果两者实现对分类网络的训练，如图8所示，本实施例可以包括：

S41：提取各第三样本图像的特征。

S42：获得各第三样本图像的特征两两之间的第二样本特征相似度。

S43：基于同一参考缺陷分类结果下的第三样本图像的第二样本特征相似度、不同参考缺陷分类结果下的第三样本图像的第二样本特征相似度，确定第一损失。

即基于同一缺陷类别的第三样本图像的第二样本特征相似度，不同缺陷类别的第三样本图像的第二样本特征相似度，确定第一损失。

S44：对各第三样本图像的特征进行分类，得到各第三样本图像的样本缺陷分类结果。

样本缺陷分类结果与前述缺陷分类结果类似，在此不赘述。

S45：基于样本缺陷分类结果与参考缺陷分类结果的差异，确定第二损失。

S46：基于第一损失和第二损失，调整分类网络的参数。

第一损失可以是距离度量损失。在距离度量损失的约束下，能够使得分类网络提取到同缺陷类别的图像的特征的距离(类内距离)越来越小，不同缺陷类别的图像的特征的距离(类间距离)越来越大。

图9是本申请电子设备一实施例的结构示意图。如图9所示，该电子设备包括处理器21、与处理器21耦接的存储器22。

其中，存储器22存储有用于实现上述任一实施例的方法的程序指令；处理器21用于执行存储器22存储的程序指令以实现上述方法实施例的步骤。其中，处理器21还可以称为CPU(Central Processing Unit，中央处理单元)。处理器21可能是一种集成电路芯片，具有信号的处理能力。处理器21还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

图10是本申请计算机可读存储介质一实施例的结构示意图。如图10所示，本申请实施例的计算机可读存储介质30存储有程序指令31，该程序指令31被执行时实现本申请上述实施例提供的方法。其中，该程序指令31可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质30中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质30包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种缺陷检测方法，其特征在于，包括：

确定目标对象的待检测图像中的候选缺陷区域；

对所述候选缺陷区域进行分类，得到缺陷分类结果；

判断所述缺陷分类结果是否能够用于确定所述目标对象的缺陷类别；

响应于所述缺陷分类结果不能用于确定所述目标对象的缺陷类别，将所述候选缺陷区域的特征与各候选缺陷类别的模板特征进行比对，以确定所述目标对象的缺陷类别。

2.根据权利要求1所述的方法，其特征在于，所述缺陷分类结果包括所述候选缺陷区域属于各个候选缺陷类别的概率；所述判断所述缺陷分类结果是否能够用于确定所述目标对象的缺陷类别，包括：

判断所述候选缺陷区域属于各个候选缺陷类别的概率是否满足预设条件，所述预设条件为属于其中一候选缺陷类别的概率与属于其他各候选缺陷类别的概率的差值均大于差值阈值；

响应于不满足所述预设条件，判定所述缺陷分类结果不能用于确定所述目标对象的缺陷类别；

响应于满足所述预设条件，判定所述缺陷分类结果能够用于确定所述目标对象的缺陷类别。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

响应于所述缺陷分类结果能够用于确定所述目标对象的缺陷类别，将所述其中一候选缺陷类别作为所述目标对象的缺陷类别。

4.根据权利要求1所述的方法，其特征在于，所述将所述候选缺陷区域的特征与各候选缺陷类别的模板特征进行比对，以确定所述目标对象的缺陷类别，包括：

获取所述候选缺陷区域的特征与所述各候选缺陷类别的模板特征之间的区域相似度；

判断在所述各候选缺陷类别中是否存在目标候选缺陷类别，所述目标候选缺陷类别的模板特征对应的所述区域相似度满足相似度要求；

响应于存在所述目标候选缺陷类别，确定所述目标对象的缺陷类别为所述目标候选缺陷类别；

响应于不存在所述目标候选缺陷类别，确定所述目标对象的缺陷类别为待定类别。

5.根据权利要求1所述的方法，其特征在于，所述确定所述目标对象的待检测图像中的候选缺陷区域，包括：

获取所述待检测图像和参考图像间像素级的特征相似度，所述参考图像是在所述目标对象无缺陷时获取到的；

对所述待检测图像进行像素级的缺陷分割，得到缺陷分割结果，所述缺陷分割结果表征通过缺陷分割确定的所述候选缺陷区域的位置信息；

基于所述特征相似度和所述缺陷分割结果，确定所述候选缺陷区域。

6.根据权利要求5所述的方法，其特征在于，所述基于所述特征相似度和所述缺陷分割结果，确定所述候选缺陷区域，包括：

基于所述特征相似度确定所述待检测图像的第一候选缺陷区域，所述第一候选缺陷区域由所述待检测图像中对应的所述特征相似度小于特征相似度阈值的像素点组成；

基于所述缺陷分割结果，确定所述待检测图像的第二候选缺陷区域；

获取所述第一候选缺陷区域和所述第二候选缺陷区域的相交区域，作为所述候选缺陷区域。

7.根据权利要求5所述的方法，其特征在于，所述确定所述目标对象的待检测图像中的候选缺陷区域的步骤是基于区域确定网络实现的，所述区域确定网络是通过训练样本对训练得到的，所述训练样本对包括样本对象的第一样本图像、第二样本图像，所述第一样本图像和所述第二样本图像中的至少一个标注有所述第一样本图像和第二样本图像间像素级的参考特征相似度，所述第一样本图像还标注有参考缺陷分割结果。

8.根据权利要求7所述的方法，其特征在于，所述区域确定网络的训练步骤包括：

获取所述第一样本图像和所述第二样本图像间像素级的第一样本特征相似度；

对所述第一样本图像进行像素级的缺陷分割，得到样本缺陷分割结果；

基于所述第一样本特征相似度及所述参考特征相似度之间的差异、所述样本缺陷分割结果及所述参考语义分割结果之间的差异，调整所述区域确定网络的参数。

9.根据权利要求1所述的方法，其特征在于，所述对所述候选缺陷区域进行分类，得到缺陷分类结果的步骤是基于分类网络实现的，所述分类网络是基于样本集训练得到的，所述样本集包括多张样本对象的第三样本图像，所述第三样本图像标注有参考缺陷分类结果。

10.根据权利要求9所述的方法，其特征在于，所述分类网络的训练步骤包括：

提取各所述第三样本图像的特征；

获得各所述第三样本图像的特征两两之间的第二样本特征相似度；

基于同一所述参考缺陷分类结果下的所述第三样本图像的第二样本特征相似度、不同所述参考缺陷分类结果下的所述第三样本图像的第二样本特征相似度，确定第一损失；

对各所述第三样本图像的特征进行分类，得到各所述第三样本图像的样本缺陷分类结果；

基于所述样本缺陷分类结果与所述参考缺陷分类结果的差异，确定第二损失；

基于所述第一损失和所述第二损失，调整所述分类网络的参数。

11.一种电子设备，其特征在于，包括处理器、与所述处理器连接的存储器，其中，

所述存储器存储有程序指令；

所述处理器用于执行所述存储器存储的所述程序指令以实现权利要求1-10中任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储程序指令，所述程序指令能够被处理器执行，被执行时实现如权利要求1-10中任一项所述的方法。

Images