CN116091486B - 表面缺陷检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供了表面缺陷检测方法、装置、电子设备及存储介质；所述方法包括：对输入图像进行至少两次下采样操作，得到所述输入图像对应的N组特征图，N为所述下采样操作的次数；将第N次下采样操作得到的特征图输入神经网络的自注意力模块，得到所述输入图像对应的第N组特征图；利用特征金字塔网络对所述输入图像对应的N组特征图进行特征融合，得到融合尺度特征；所述神经网络包括所述特征金字塔网络；基于所述融合尺度特征，预测所述输入图像是否存在表面缺陷。如此，能够智能地检测输入图像对应的电子产品的表面缺陷，提高了表面缺陷的检测精度和检测效率。

Description

表面缺陷检测方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及表面缺陷检测方法、装置、电子设备及存储介质。

背景技术

随着电子制造业的快速发展和广泛使用，人们使用目标检测技术检测电子产品的表面缺陷逐渐成为目标检测技术的主流。但是现有的目标检测技术未针对电子产品的表面缺陷检测问题进行特性设计，表面缺陷的检测过程十分耗时且表面缺陷的检测精度较低，人们更希望能够减少表面缺陷的检测时间并提高表面缺陷的检测精度。

因此，如何智能地检测输入图像对应的电子产品的表面缺陷，以提高表面缺陷的检测精度和检测效率是一直追求的目标。

发明内容

本申请实施例提供了表面缺陷检测方法、装置、电子设备及存储介质。

根据本申请的第一方面，提供了一种表面缺陷检测方法，该方法包括：对输入图像进行至少两次下采样操作，得到所述输入图像对应的N组特征图，N为所述下采样操作的次数；将第N次下采样操作得到的特征图输入神经网络的自注意力模块，得到所述输入图像对应的第N组特征图；利用特征金字塔网络对所述输入图像对应的N组特征图进行特征融合，得到融合尺度特征；所述神经网络包括所述特征金字塔网络；基于所述融合尺度特征，预测所述输入图像是否存在表面缺陷。

根据本申请一实施方式，所述对输入图像进行至少两次下采样操作，得到所述输入图像对应的N组特征图，包括：获取预设的卷积核和预设的步长；基于所述预设的卷积核和所述预设的步长，对所述输入图像进行N次卷积，得到所述输入图像对应的N组特征图；基于所述输入图像对应的N组特征图，确定所述输入图像对应的卷积核；将所述预设的卷积核替换为所述输入图像对应的卷积核。

根据本申请一实施方式，所述将第N次下采样操作得到的特征图输入神经网络的自注意力模块，得到所述输入图像对应的第N组特征图，包括：确定所述第N次下采样操作得到的特征图包括的特征向量；基于所述特征向量，确定所述特征向量对应的关键变量；基于所述关键变量，确定所述第N次下采样操作得到的特征图包括的任意两个所述特征向量之间的相关程度；基于所述相关程度，确定所述第N次下采样操作得到的特征图中的全局特征。

根据本申请一实施方式，所述利用特征金字塔网络对所述输入图像对应的N组特征图进行特征融合，得到融合尺度特征，包括：从所述输入图像对应的N组特征图中选取M组特征图，作为所述特征金字塔网络的输入，M小于或等于N；对所述M组特征图同时进行M次上采样操作与M次所述下采样操作，得到所述上采样操作对应的M组特征图和所述下采样操作对应的M组特征图；将所述上采样操作对应的M组特征图与所述下采样操作对应的M组特征图中尺度相同的特征图进行特征融合，得到所述融合尺度特征。

根据本申请一实施方式，所述基于所述融合尺度特征，预测所述输入图像是否存在表面缺陷，包括：将所述特征金字塔网络与检测头模块进行串接；利用所述检测头模块对所述融合尺度特征进行预测，确定所述输入图像中存在表面缺陷的区域；基于所述存在表面缺陷的区域，确定所述表面缺陷的类型和所述表面缺陷的位置。

根据本申请的第二方面，提供了一种表面缺陷检测装置，该表面缺陷检测装置包括：下采样模块，用于对输入图像进行至少两次下采样操作，得到所述输入图像对应的N组特征图，N为所述下采样操作的次数；提取模块，用于将第N次下采样操作得到的特征图输入神经网络的自注意力模块，得到所述输入图像对应的第N组特征图；所述神经网络包括所述特征金字塔网络；融合模块，用于利用特征金字塔网络对所述输入图像对应的N组特征图进行特征融合，得到融合尺度特征；确定模块，用于基于所述融合尺度特征，预测所述输入图像是否存在表面缺陷。

根据本申请一实施方式，所述下采样模块用于：获取预设的卷积核和预设的步长；基于所述预设的卷积核和所述预设的步长，对所述输入图像进行N次卷积，得到所述输入图像对应的N组特征图；基于所述输入图像对应的N组特征图，确定所述输入图像对应的卷积核；将所述预设的卷积核替换为所述输入图像对应的卷积核。

根据本申请一实施方式，所述提取模块用于：确定所述第N次下采样操作得到的特征图包括的特征向量；基于所述特征向量，确定所述特征向量对应的关键变量；基于所述关键变量，确定所述第N次下采样操作得到的特征图包括的任意两个所述特征向量之间的相关程度；基于所述相关程度，确定所述第N次下采样操作得到的特征图中的全局特征。

根据本申请一实施方式，所述融合模块用于：从所述输入图像对应的N组特征图中选取M组特征图，作为所述特征金字塔网络的输入，M小于或等于N；对所述M组特征图同时进行M次上采样操作与M次所述下采样操作，得到所述上采样操作对应的M组特征图和所述下采样操作对应的M组特征图；将所述上采样操作对应的M组特征图与所述下采样操作对应的M组特征图中尺度相同的特征图进行特征融合，得到所述融合尺度特征。

根据本申请一实施方式，所述确定模块用于：将所述特征金字塔网络与检测头模块进行串接；利用所述检测头模块对所述融合尺度特征进行预测，确定所述输入图像中存在表面缺陷的区域；基于所述存在表面缺陷的区域，确定所述表面缺陷的类型和所述表面缺陷的位置。

根据本申请的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请所述的方法。

根据本申请的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请所述的方法。

本申请实施例的方法，对输入图像进行至少两次下采样操作，得到所述输入图像对应的N组特征图，N为所述下采样操作的次数；将第N次下采样操作得到的特征图输入神经网络的自注意力模块，得到所述输入图像对应的第N组特征图；利用特征金字塔网络对所述输入图像对应的N组特征图进行特征融合，得到融合尺度特征；所述神经网络包括所述特征金字塔网络；基于所述融合尺度特征，预测所述输入图像是否存在表面缺陷。如此，能够智能地检测输入图像对应的电子产品的表面缺陷，提高了表面缺陷的检测精度和检测效率。

需要理解的是，本申请的教导并不需要实现上面所述的全部有益效果，而是特定的技术方案可以实现特定的技术效果，并且本申请的其他实施方式还能够实现上面未提到的有益效果。

附图说明

通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，其中：

在附图中，相同或对应的标号表示相同或对应的部分。

图1示出了本申请实施例提供的表面缺陷检测方法的处理流程示意图；

图2示出了本申请实施例中对输入图像进行下采样操作的示意图；

图3示出了本申请实施例中确定特征图中的全局特征的示意图；

图4示出了本申请实施例中得到融合尺度特征的示意图；

图5示出了本申请实施例中确定表面缺陷的类型和表面缺陷的位置的示意图；

图6示出了本申请实施例提供的表面缺陷检测方法的一种应用场景图；

图7示出了本申请实施例提供的表面缺陷检测方法的另一种应用场景图；

图8示出了本申请实施例提供的表面缺陷检测方法的又一种应用场景图；

图9示出了本申请实施例提供的表面缺陷检测装置的一种可选示意图；

图10示出了本申请实施例提供的电子设备的组成结构示意图。

具体实施方式

为使本申请的目的、特征、优点能够更加的明显和易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而非全部实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。

相关技术中，目前已知的表面缺陷检测的技术方案，未针对电子产品的表面缺陷检测问题进行特性设计，表面缺陷的检测过程十分耗时且表面缺陷的检测精度较低。相关技术在表面缺陷的检测过程中耗时较长且检测精度低，进而出现检测效率低的问题。

针对相关技术提供的上述表面缺陷检测方法，在表面缺陷的检测过程中耗时较长且检测精度低，进而出现检测效率低的问题，本申请实施例的方法，对输入图像进行至少两次下采样操作，得到所述输入图像对应的N组特征图，N为所述下采样操作的次数；将第N次下采样操作得到的特征图输入神经网络的自注意力模块，得到所述输入图像对应的第N组特征图；利用特征金字塔网络对所述输入图像对应的N组特征图进行特征融合，得到融合尺度特征；基于所述融合尺度特征，预测所述输入图像是否存在表面缺陷。如此，能够智能地检测输入图像对应的电子产品的表面缺陷，以提高表面缺陷的检测精度，减少了表面缺陷检测的时间，进而提高了检测效率。因此，与相关技术中在表面缺陷的检测过程中耗时较长且检测精度低相比，本申请的表面缺陷检测方法能够减少表面缺陷检测的时间，提高了检测效率。

对本申请实施例提供的表面缺陷检测方法中的处理流程进行说明。参见图1，图1是本申请实施例提供的表面缺陷检测方法的处理流程示意图，将结合图1示出的步骤S101-S104进行说明。

步骤S101，对输入图像进行至少两次下采样操作，得到输入图像对应的N组特征图，N为下采样操作的次数。

在一些实施例中，输入图像可以包括：带有表面缺陷的图像。输入图像还可以包括：基于影像金字塔对输入图像的尺度进行放大或缩小，得到的不同尺度的图像。下采样操作可以包括：按照预设的卷积核和预设的步长，通过骨干网络的下采样模块，缩小输入图像。输入图像每经过一次下采样操作，可以得到一组输入图像对应的特征图。N为正整数且N大于或等于2。本申请实施例中，N优选为6次或7次。

在一些实施例中，步骤S101可以包括：获取预设的卷积核和预设的步长；基于预设的卷积核和预设的步长，对输入图像进行N次卷积，得到输入图像对应的N组特征图；基于输入图像对应的N组特征图，确定输入图像对应的卷积核；将预设的卷积核替换为输入图像对应的卷积核。其中，预设的卷积核可以包括：预先设定的卷积核大小为3×3卷积核。预设的步长可以包括：预先设定的卷积核的步长。对输入图像进行1次卷积，可以得到输入图像对应的1组特征图。

作为示例，下采样操作的次数N为6。预设的卷积核为3×3卷积核，预设的步长为2。基于3×3卷积核和预设的步长2，对输入图像进行6次卷积，得到输入图像对应的6组特征图。基于输入图像对应的6组特征图，经由卷积神经网络的反向传播，确定出符合输入图像数据分布对应的卷积核。将3×3卷积核替换为输入图像对应的卷积核。

作为示例，下采样操作的原理可通过下述公式（1）表示：

（1）

其中，表示卷积前的原始图像，/>表示卷积核，本申请实施例中，卷积核大小优选为3×3卷积核，卷积核步长优选为2。若卷积前的原始图像的分辨率为1280像素×1280像素，经过一次下采样操作后，得到分辨率为640像素×640像素的特征图。

步骤S102，将第N次下采样操作得到的特征图输入神经网络的自注意力模块，得到输入图像对应的第N组特征图。

在一些实施例中，神经网络可以包括：卷积神经网络。神经网络还可以包括其他神经网络。本申请实施例不作限定。神经网络可以包括特征金字塔网络。自注意力模块可以包括：计算特征图包括的特征向量之间的相关程度，确定特征图中的全局特征的模块。

作为示例，自注意力模块的设计可通过下述公式（2）表示：

（2）

其中，表示注意力特征，Q表示Query（查询），K表示Key（键），V表示Value（值），/>表示deviation（方差）。Q、K和V为关键变量。自注意力模块的设计目的是：计算特征图包括的任意两个特征向量之间的夹角，确定对应的两个特征向量之间的相关程度，若两个特征向量完全垂直，内积为0，则确定该两个特征向量的相关程度为无直接关联。

在一些实施例中，步骤S102可以包括：确定第N次下采样操作得到的特征图包括的特征向量；基于特征向量，确定特征向量对应的关键变量；基于关键变量，确定第N次下采样操作得到的特征图包括的任意两个特征向量之间的相关程度；基于相关程度，确定第N次下采样操作得到的特征图中的全局特征。其中，关键变量可以包括：特征向量中的Q、K和V。全局特征可以包括：特征图的整体属性。

作为示例，下采样操作的次数N为5。确定第5次下采样操作得到的特征图包括的特征向量。基于特征向量，确定特征向量对应的关键变量Q、K和V。根据关键变量Q、K和V，计算第5次下采样操作得到的特征图包括的任意两个特征向量之间的夹角，确定对应的两个特征向量之间的相关程度。基于相关程度，确定第5次下采样操作得到的特征图中的全局特征。

步骤S103，利用特征金字塔网络对输入图像对应的N组特征图进行特征融合，得到融合尺度特征。

在一些实施例中，步骤S103可以包括：从输入图像对应的N组特征图中选取M组特征图，作为特征金字塔网络的输入，M小于或等于N；对M组特征图同时进行M次上采样操作与M次下采样操作，得到上采样操作对应的M组特征图和下采样操作对应的M组特征图；将上采样操作对应的M组特征图与下采样操作对应的M组特征图中尺度相同的特征图进行特征融合，得到融合尺度特征。其中，M组特征图可以包括：从第N-M次下采样操作到第N次下采样操作之间，每次下采样操作得到的特征图。M组特征图还可以包括：从输入图像对应的N组特征图中随机选取的M组特征图。尺度可以包括：图像的分辨率。特征融合可以包括：将特征图包括的特征向量组合得到单个融合尺度特征的过程，融合尺度特征的表面缺陷判别能力比特征图包括的任何一个特征向量更高。融合尺度特征可以包括：具备表面缺陷判别能力的特征，融合尺度特征整合了特征金字塔网络由上而下的信息流与由下而上的信息流。

作为示例，下采样操作的次数N为7。选取特征图的组数M为6。从输入图像对应的7组特征图中，选取第2-7次下采样操作得到特征图，作为特征金字塔网络的输入。对第2-7次下采样操作得到特征图同时进行6次上采样操作与6次下采样操作，得到上采样操作对应的6组特征图和下采样操作对应的6组特征图。将上采样操作对应的6组特征图与下采样操作对应的6组特征图中尺度相同的特征图进行特征融合，整合特征金字塔网络由上而下的信息流与由下而上的信息流，得到输入图像对应的融合尺度特征。

步骤S104，基于融合尺度特征，确定输入图像是否存在表面缺陷。

在一些实施例中，表面缺陷可以包括：表面缺陷的类型、表面缺陷的位置和表面缺陷的数量。其中，表面缺陷的类型可以包括：污垢（Dirt）、普通颗粒（Plain particle）、边缘粒子（Edge particle）、碰撞（Collision）、刮痕（Scratch）和未知类型（Unknown）。

在一些实施例中，步骤S104可以包括：将特征金字塔网络与检测头模块进行串接；利用检测头模块对融合尺度特征进行预测，确定输入图像中存在表面缺陷的区域；基于存在表面缺陷的区域，确定表面缺陷的类型和表面缺陷的位置。其中，检测头模块可以包括：确定输入图像的表面缺陷的类型和位置的模块。

作为示例，将特征金字塔网络与检测头模块进行串接。将特征金字塔网络输出的融合尺度特征输入到检测头模块。利用检测头模块对融合尺度特征进行预测，确定输入图像中是否存在表面缺陷。响应于输入图像中存在表面缺陷，则基于融合尺度特征，确定输入图像中存在表面缺陷的区域，并基于存在表面缺陷的区域，确定表面缺陷的类型和表面缺陷的位置。响应于输入图像中不存在表面缺陷，则检测头模块输出该输入图像中不存在表面缺陷。

在一些实施例中，基于第三方大型数据集，验证本申请的表面缺陷检测方法的有效性。第三方大型数据集可以包括：COCO数据集。该数据集共有80个类别，有超过150万左右的标注框，超过十万张图片，是最广为相关领域所用的公开数据集。

作为示例，本申请的表面缺陷检测方法在COCO数据集上与其他轻量目标检测算法比较结果如下表1所示：

表1.本申请的表面缺陷检测方法在COCO数据集上与其他轻量目标检测算法比较结果

模型	mAP0.5:0.95
		YOLOv5-small	36.7%
YOLOX-small	39.6%
		pp-YOLOE-small	42.7%
YOLOv6-small	43.1%
		YOLOv7-tiny-SiLU	38.7%
Ours	44.9%

其中，本申请的表面缺陷检测方法的mAP0.5:0.95为44.9%，本申请的表面缺陷检测方法在相似计算量下优于目前已知的轻量目标检测算法并且达到实时的推论速度。mAP0.5:0.95的定义：mAP0.5是将IOU（Intersection over Union，交并比）设置为0.5时，计算precision-recall curve（精确度-召回率曲线）下的面积。依此每隔0.05往上增加IOU，分别将IOU设置为0.5、0.55、0.60、0.65、0.70、0.75、0.80、0.85、0.90和0.95，依次计算precision-recall curve下的面积。最后计算所有IOU对应的precision-recall curve下的面积的平均值，得到mAP（mean average precision，平均精度）。

本申请的表面缺陷检测方法应用于笔记本电脑的表面缺陷检测的检测结果如下表2所示：

表2.本申请的表面缺陷检测方法应用于笔记本电脑的表面缺陷检测的检测结果

表面缺陷的类型	表面缺陷的数量
		Dirt	11,285
Plain particle	605
		Edge particle	35
Collision	29
		Scratch	1,104
Unknown	1,420
		总计	14,478

本申请的表面缺陷检测方法应用于多类别目标检测任务的实测性能如下表3所示：

表3.本申请的表面缺陷检测方法应用于多类别目标检测任务的实测性能

表面缺陷的类型	精度	召回率	mAP0.5
				Dirt	87.4%	81.7%	89.3%
Plain particle	83.2%	94.3%	93.7%
				Edge particle	79.2%	85.7%	87.0%
Collision	80.7%	72.4%	78.6%
				Scratch	89.8%	94.7%	96.2%
Unknown	88.2%	95.8%	96.9%
				总计	84.7%	87.4%	90.3%

本申请的表面缺陷检测方法应用于两类别目标检测任务的实测性能如下表4所示：

表4.本申请的表面缺陷检测方法应用于两类别目标检测任务的实测性能

表面缺陷的类型	精度	召回率	mAP0.5
				总计	88.2%	88.1%	92.8%

在一些实施例中，对输入图像进行下采样操作的示意图，如图2所示，包括：

步骤S201，获取预设的卷积核和预设的步长。

步骤S202，基于预设的卷积核和预设的步长，对输入图像进行N次卷积，得到输入图像对应的N组特征图。

步骤S203，基于输入图像对应的N组特征图，确定输入图像对应的卷积核。

步骤S204，将预设的卷积核替换为输入图像对应的卷积核。

作为示例，步骤S201-S204在具体实施时，可以包括：预设的卷积核为3×3卷积核，预设的步长为2。基于预设的卷积核和预设的步长，对输入图像进行至少5次卷积，得到输入图像对应的至少5组特征图。基于输入图像对应的至少5组特征图，经由卷积神经网络的反向传播，确定出符合输入图像数据分布对应的卷积核。将预设的3×3卷积核替换为输入图像对应的卷积核。

针对步骤S201-S204的每个步骤的具体说明，与上述步骤S101相同，这里不再赘述。

在一些实施例中，确定特征图中的全局特征的示意图，如图3所示，包括：

步骤S301，确定第N次下采样操作得到的特征图包括的特征向量。

步骤S302，基于特征向量，确定特征向量对应的关键变量。

步骤S303，基于关键变量，确定第N次下采样操作得到的特征图包括的任意两个特征向量之间的相关程度。

步骤S304，基于相关程度，确定第N次下采样操作得到的特征图中的全局特征。

作为示例，步骤S301-S304在具体实施时，可以包括：

针对步骤S301-S304的每个步骤的具体说明，与上述步骤S102相同，这里不再赘述。

在一些实施例中，得到融合尺度特征的示意图，如图4所示，包括：

步骤S401，从输入图像对应的N组特征图中选取M组特征图，作为特征金字塔网络的输入，M小于或等于N。

步骤S402，对M组特征图同时进行M次上采样操作与M次下采样操作，得到上采样操作对应的M组特征图和下采样操作对应的M组特征图。

步骤S403，将上采样操作对应的M组特征图与下采样操作对应的M组特征图中尺度相同的特征图进行特征融合，得到融合尺度特征。

针对步骤S401-S403的每个步骤的具体说明，与上述步骤S103相同，这里不再赘述。

在一些实施例中，确定表面缺陷的类型和表面缺陷的位置的示意图，如图5所示，包括：

步骤S501，将特征金字塔网络与检测头模块进行串接。

步骤S502，利用检测头模块对融合尺度特征进行预测，确定输入图像中存在表面缺陷的区域。

步骤S503，基于存在表面缺陷的区域，确定表面缺陷的类型和表面缺陷的位置。

针对步骤S501-S503的每个步骤的具体说明，与上述步骤S104相同，这里不再赘述。

图6示出了本申请实施例提供的表面缺陷检测方法的一种应用场景图。

参考图6，本申请实施例提供的表面缺陷检测方法的一种应用场景。应用于基于表面缺陷检测方法，检测电子产品的表面缺陷。骨干网络可以包括：一次下采样模块、两次下采样模块、三次下采样模块、四次下采样模块、五次下采样模块、六次下采样模块、七次下采样模块和自注意力模块。特征金字塔网络可以包括：采样模块一、采样模块二、采样模块三、采样模块四、采样模块五和采样模块六。输入图像可以包括：待进行表面缺陷检测的电子产品对应的图像。

骨干网络对输入图像进行下采样操作的次数为7次。预设的卷积核为3×3卷积核，预设的步长为2。基于3×3卷积核和预设的步长2，利用骨干网络的下采样模块对输入图像进行7次卷积，得到输入图像对应的7组特征图。基于输入图像对应的7组特征图，经由卷积神经网络的反向传播，确定出符合输入图像数据分布对应的卷积核。将3×3卷积核替换为输入图像对应的卷积核。确定第7次下采样操作得到的特征图包括的特征向量。基于特征向量，确定特征向量对应的关键变量Q、K和V。根据关键变量Q、K和V，计算第7次下采样操作得到的特征图包括的任意两个特征向量之间的夹角，确定对应的两个特征向量之间的相关程度。基于相关程度，确定第7次下采样操作得到的特征图中的全局特征。

从输入图像对应的7组特征图中，选取第2-7次下采样操作得到特征图。将骨干网络的第2-7次下采样操作得到特征图输入到特征金字塔网络的各个采样模块中，各个采样模块对第2-7次下采样操作得到特征图同时进行6次上采样操作与6次下采样操作，得到上采样操作对应的6组特征图和下采样操作对应的6组特征图。将上采样操作对应的6组特征图与下采样操作对应的6组特征图中尺度相同的特征图进行特征融合，整合特征金字塔网络由上而下的信息流与由下而上的信息流，得到输入图像对应的融合尺度特征。

将特征金字塔网络与检测头模块进行串接。将特征金字塔网络输出的融合尺度特征输入到检测头模块。利用检测头模块对融合尺度特征进行预测，确定输入图像中是否存在表面缺陷。响应于输入图像中存在表面缺陷，则基于融合尺度特征，确定输入图像中存在表面缺陷的区域，并基于存在表面缺陷的区域，确定表面缺陷的类型和表面缺陷的位置。响应于输入图像中不存在表面缺陷，则检测头模块确定该输入图像对应的电子产品不存在表面缺陷。

可以理解，图6的表面缺陷检测方法的应用场景只是本申请实施例中的部分示例性的实施方式，本申请实施例中表面缺陷检测方法的应用场景包括但不限于图6所示的表面缺陷检测方法的应用场景。

图7示出了本申请实施例提供的表面缺陷检测方法的另一种应用场景图。

参考图7，本申请实施例提供的表面缺陷检测方法的另一种应用场景。应用于自注意力模块的数据处理过程。Soft-max为归一化层，自注意力模块的数据处理过程可通过下述公式（3）表示：

（3）

其中，i和j为常数，和/>表示关键变量的相关性数值，/>表示注意力分数。关键变量可以包括：/>、/>、/>、/>、/>、/>、/>、/>和/>。

可以理解，图7的表面缺陷检测方法的应用场景只是本申请实施例中的部分示例性的实施方式，本申请实施例中表面缺陷检测方法的应用场景包括但不限于图7所示的表面缺陷检测方法的应用场景。

图8示出了本申请实施例提供的表面缺陷检测方法的又一种应用场景图。

参考图8，本申请实施例提供的表面缺陷检测方法的又一种应用场景。应用于下采样操作的卷积运算过程。卷积核（Convolution kernel）为3×3卷积核。下采样操作的卷积运算过程是将卷积核的中心元素放置在原始像素点（source pixel）上。然后将原始像素点替换为自身与邻近像素的加权和，得到新像素值（目标像素）。

可以理解，图8的表面缺陷检测方法的应用场景只是本申请实施例中的部分示例性的实施方式，本申请实施例中表面缺陷检测方法的应用场景包括但不限于图8所示的表面缺陷检测方法的应用场景。

本申请实施例的方法，获取预设的卷积核和预设的步长；基于预设的卷积核和预设的步长，对输入图像进行N次卷积，得到输入图像对应的N组特征图；基于输入图像对应的N组特征图，确定输入图像对应的卷积核；将预设的卷积核替换为输入图像对应的卷积核，如此，能够智能地检测输入图像对应的电子产品的表面缺陷，自动学习符合输入图像的卷积核，将不同尺度的特征图结合到表面缺陷检测任务上，提高了表面缺陷的检测精度，减少了表面缺陷检测的时间，进而提高了检测效率，同时基于大量的卷积设计，降低了表面缺陷检测方法在电子产品生产线的布署困难度。本申请实施例的方法，确定第N次下采样操作得到的特征图包括的特征向量；基于特征向量，确定特征向量对应的关键变量；基于关键变量，确定第N次下采样操作得到的特征图包括的任意两个特征向量之间的相关程度；基于相关程度，确定第N次下采样操作得到的特征图中的全局特征，如此，能够智能地检测输入图像对应的电子产品的表面缺陷，最轻量化地加入自注意力模块，提高了表面缺陷的检测精度，没有显著的增加自注意力模块相对应的参数，减少了表面缺陷检测的时间，进而提高了检测效率。本申请实施例的方法，从输入图像对应的N组特征图中选取M组特征图，作为特征金字塔网络的输入，M小于或等于N；对M组特征图同时进行M次上采样操作与M次下采样操作，得到上采样操作对应的M组特征图和下采样操作对应的M组特征图；将上采样操作对应的M组特征图与下采样操作对应的M组特征图中尺度相同的特征图进行特征融合，得到融合尺度特征，如此，能够智能地检测输入图像对应的电子产品的表面缺陷，将不同尺度的特征图结合到表面缺陷检测任务上，提高了表面缺陷的检测精度，减少了表面缺陷检测的时间，进而提高了检测效率，同时基于大量的卷积设计，降低了表面缺陷检测方法在电子产品生产线的布署困难度。本申请实施例的方法，将特征金字塔网络与检测头模块进行串接；利用检测头模块对融合尺度特征进行预测，确定输入图像中存在表面缺陷的区域；基于存在表面缺陷的区域，确定表面缺陷的类型和表面缺陷的位置，如此，能够智能地检测输入图像对应的电子产品的表面缺陷，自动确定表面缺陷的类型、位置和数量，提高了表面缺陷的检测精度，减少了表面缺陷检测的时间，进而提高了检测效率。

因此，与相关技术中在表面缺陷的检测过程中耗时较长且检测精度低相比，本申请的表面缺陷检测方法能够减少表面缺陷检测的时间，提高了检测效率。

下面继续说明本申请实施例提供的表面缺陷检测装置90的实施为软件模块的示例性结构，在一些实施例中，如图9所示，表面缺陷检测装置90中的软件模块可以包括：下采样模块901，用于对输入图像进行至少两次下采样操作，得到输入图像对应的N组特征图，N为下采样操作的次数；提取模块902，用于将第N次下采样操作得到的特征图输入神经网络的自注意力模块，得到输入图像对应的第N组特征图；融合模块903，用于利用特征金字塔网络对输入图像对应的N组特征图进行特征融合，得到融合尺度特征；所述神经网络包括所述特征金字塔网络；确定模块904，用于基于融合尺度特征，预测输入图像是否存在表面缺陷。

在一些实施例中，下采样模块901可以用于：获取预设的卷积核和预设的步长；基于预设的卷积核和预设的步长，对输入图像进行N次卷积，得到输入图像对应的N组特征图；基于输入图像对应的N组特征图，确定输入图像对应的卷积核；将预设的卷积核替换为输入图像对应的卷积核。

在一些实施例中，提取模块902可以用于：确定第N次下采样操作得到的特征图包括的特征向量；基于特征向量，确定特征向量对应的关键变量；基于关键变量，确定第N次下采样操作得到的特征图包括的任意两个特征向量之间的相关程度；基于相关程度，确定第N次下采样操作得到的特征图中的全局特征。

在一些实施例中，融合模块903可以用于：从输入图像对应的N组特征图中选取M组特征图，作为特征金字塔网络的输入，M小于或等于N；对M组特征图同时进行M次上采样操作与M次下采样操作，得到上采样操作对应的M组特征图和下采样操作对应的M组特征图；将上采样操作对应的M组特征图与下采样操作对应的M组特征图中尺度相同的特征图进行特征融合，得到融合尺度特征。

在一些实施例中，确定模块904可以用于：将特征金字塔网络与检测头模块进行串接；利用检测头模块对融合尺度特征进行预测，确定输入图像中存在表面缺陷的区域；基于存在表面缺陷的区域，确定表面缺陷的类型和表面缺陷的位置。

需要说明的是，本申请实施例装置的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果，因此不做赘述。对于本申请实施例提供的表面缺陷检测装置中未尽的技术细节，可以根据图1至图8中任一附图的说明而理解。

根据本申请的实施例，本申请还提供了一种电子设备和一种非瞬时计算机可读存储介质。

图10示出了可以用来实施本申请的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图10所示，电子设备800包括计算单元801，其可以根据存储在只读存储器（ROM）802中的计算机程序或者从存储单元808加载到随机访问存储器（RAM）803中的计算机程序，来执行各种适当的动作和处理。在RAM803中，还可存储电子设备800操作所需的各种程序和数据。计算单元801、ROM802以及RAM 803通过总线804彼此相连。输入/输出（I/O）接口805也连接至总线804。

电子设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如表面缺陷检测方法。例如，在一些实施例中，表面缺陷检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM802和/或通信单元809而被载入和/或安装到电子设备800上。当计算机程序加载到RAM803并由计算单元801执行时，可以执行上文描述的表面缺陷检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行表面缺陷检测方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本申请的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本申请的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种表面缺陷检测方法，其特征在于，所述方法包括：

对输入图像进行7次下采样操作，得到所述输入图像对应的7组特征图；

将第7次下采样操作得到的特征图输入神经网络的自注意力模块，得到所述输入图像对应的第7组特征图；

所述将第7次下采样操作得到的特征图输入神经网络的自注意力模块，得到所述输入图像对应的第7组特征图包括：确定所述第7次下采样操作得到的特征图包括的特征向量；基于所述特征向量，确定所述特征向量对应的关键变量；基于所述关键变量，计算第7次下采样操作得到的特征图包括的任意两个特征向量之间的夹角，以确定所述任意的两个特征向量之间的相关程度；基于所述相关程度，确定所述第7次下采样操作得到的特征图中的全局特征；

所述神经网络包括特征金字塔网络；

从所述输入图像对应的7组特征图中通过组合优化方式选取6组特征图，作为所述特征金字塔网络的输入；

对所述6组特征图同时进行6次上采样操作与6次所述下采样操作，得到所述上采样操作对应的6组特征图和所述下采样操作对应的6组特征图；

将所述上采样操作对应的6组特征图与所述下采样操作对应的6组特征图中尺度相同的特征图进行特征融合，得到融合尺度特征；所述融合尺度特征整合了所述特征金字塔网络由上而下的信息流与由下而上的信息流；

将所述特征金字塔网络与检测头模块进行串接；利用所述检测头模块对所述融合尺度特征进行预测，确定所述输入图像中存在表面缺陷的区域；基于所述存在表面缺陷的区域，确定电子产品的表面缺陷的类型和电子产品的表面缺陷的位置。

2.根据权利要求1所述的方法，其特征在于，所述对输入图像进行7次下采样操作，得到所述输入图像对应的7组特征图，包括：

获取预设的卷积核和预设的步长；

基于所述预设的卷积核和所述预设的步长，对所述输入图像进行7次卷积，得到所述输入图像对应的7组特征图；

基于所述输入图像对应的7组特征图，确定所述输入图像对应的卷积核；

将所述预设的卷积核替换为所述输入图像对应的卷积核。

3.一种表面缺陷检测装置，其特征在于，所述表面缺陷检测装置包括：

下采样模块，用于对输入图像进行7次下采样操作，得到所述输入图像对应的7组特征图；

提取模块，用于将第7次下采样操作得到的特征图输入神经网络的自注意力模块，得到所述输入图像对应的第7组特征图；

所述提取模块具体用于：确定所述第7次下采样操作得到的特征图包括的特征向量；基于所述特征向量，确定所述特征向量对应的关键变量；基于所述关键变量，计算第7次下采样操作得到的特征图包括的任意两个特征向量之间的夹角，以确定所述任意的两个特征向量之间的相关程度；基于所述相关程度，确定所述第7次下采样操作得到的特征图中的全局特征；

融合模块，用于从所述输入图像对应的7组特征图中通过组合优化方式选取6组特征图，作为特征金字塔网络的输入；对所述6组特征图同时进行6次上采样操作与6次所述下采样操作，得到所述上采样操作对应的6组特征图和所述下采样操作对应的6组特征图；将所述上采样操作对应的6组特征图与所述下采样操作对应的6组特征图中尺度相同的特征图进行特征融合，得到融合尺度特征；所述神经网络包括所述特征金字塔网络；所述融合尺度特征整合了所述特征金字塔网络由上而下的信息流与由下而上的信息流；

确定模块，用于将所述特征金字塔网络与检测头模块进行串接；利用所述检测头模块对所述融合尺度特征进行预测，确定所述输入图像中存在表面缺陷的区域；基于所述存在表面缺陷的区域，确定电子产品的表面缺陷的类型和电子产品的表面缺陷的位置。

4.根据权利要求3所述的装置，其特征在于，所述下采样模块用于：

获取预设的卷积核和预设的步长；

基于所述预设的卷积核和所述预设的步长，对所述输入图像进行7次卷积，得到所述输入图像对应的7组特征图；

基于所述输入图像对应的7组特征图，确定所述输入图像对应的卷积核；

将所述预设的卷积核替换为所述输入图像对应的卷积核。

5.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1和2中任一项所述的方法。

6.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使计算机执行根据权利要求1和2中任一项所述的方法。