CN116046790B - 缺陷检测方法、装置、系统、电子设备以及存储介质 - Google Patents

Abstract

本公开提供了一种缺陷检测方法、装置、系统、电子设备以及存储介质，涉及涉及人工智能技术领域，尤其涉及计算机视觉、深度学习和工业质检技术领域。具体实现方案为：利用至少一个缺陷检测策略，检测待检测产品的至少一个产品图像，得到至少一个检测信息，其中，不同缺陷检测策略检测的缺陷类型不同，缺陷检测策略是根据缺陷需求信息确定的；根据至少一个检测信息，确定待检测产品的缺陷信息，其中，缺陷信息包括缺陷类型和缺陷位置。

Description

缺陷检测方法、装置、系统、电子设备以及存储介质

技术领域

本公开涉及人工智能技术领域，尤其涉及计算机视觉、深度学习和工业质检技术领域。具体地，涉及一种缺陷检测方法、装置、系统、电子设备以及存储介质。

背景技术

随着图像处理技术的发展和工业制造技术的发展，可以获取待检测产品的产品图像，对产品图像进行检测来确定待检测产品是否是缺陷产品。

发明内容

本公开提供了一种缺陷检测方法、装置、系统、电子设备以及存储介质。

根据本公开的一方面，提供了一种缺陷检测方法，包括：利用至少一个缺陷检测策略，检测待检测产品的至少一个产品图像，得到至少一个检测信息，其中，不同上述缺陷检测策略检测的缺陷类型不同，上述缺陷检测策略是根据缺陷需求信息确定的；以及，根据至少一个检测信息，确定上述待检测产品的缺陷信息，其中，上述缺陷信息包括缺陷类型和缺陷位置。

根据本公开的另一方面，提供了一种缺陷检测装置，包括：获得模块，用于利用至少一个缺陷检测策略，检测待检测产品的至少一个产品图像，得到至少一个检测信息，其中，不同上述缺陷检测策略检测的缺陷类型不同，上述缺陷检测策略是根据缺陷需求信息确定的；以及，第一确定模块，用于根据至少一个检测信息，确定上述待检测产品的缺陷信息，其中，上述缺陷信息包括缺陷类型和缺陷位置。

根据本公开的另一方面，提供了一种电子设备，包括：多个处理器；以及与上述多个处理器通信连接的存储器；其中，上述存储器存储有可被上述多个处理器执行的指令，上述指令被上述多个处理器执行，以使上述多个处理器能够执行本公开上述的方法。

根据本公开的另一方面，提供了一种缺陷检测系统，包括如本公开上述的电子设备。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行本公开上述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现本公开上述的方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示意性示出了根据本公开实施例的可以应用缺陷检测方法及装置的示例性系统架构；

图2示意性示出了根据本公开实施例的缺陷检测方法的流程图；

图3示意性示出了根据本公开实施例的在确定待检测的缺陷类型为第一预定缺陷类型的情况下，对至少一个第一产品图像进行目标检测，得到与至少一个第一产品图像对应的第一检测信息的原理示意图；

图4示意性示出了根据本公开实施例的在确定待检测缺陷类型为第二预定缺陷类型的情况下，对至少一个第二产品图像进行图像分割，得到与至少一个第二产品图像对应的分割信息的原理示意图；

图5示意性示出了根据本公开实施例的缺陷检测装置的框图；

图6示意性示出了根据本公开实施例的适于实现缺陷检测方法的电子设备的框图；

图7示意性示出了根据本公开实施例的缺陷检测系统的框图；以及

图8示意性示出了根据本公开实施例的视觉传感器和光源配合获得产品图像的示例示意图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1示意性示出了根据本公开实施例的可以应用缺陷检测方法及装置的示例性系统架构。

需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。

如图1所示，根据该实施例的系统架构100可以包括电子设备101、视觉传感器集102、光源集103、分拣设备104和网络105。视觉传感器102可以包括U个视觉传感器，例如，视觉传感器102_1、视觉传感器102_2、......、视觉传感器102_u、......、视觉传感器102_U-1和视觉传感器102_U。光源集103可以包括V个光源，例如，光源103_1、光源103_2、......、光源103_v、......、光源103_V-1和光源103_V。U可以是大于或等于1的整数。V可以是大于或等于1的整数。u∈{1，2，......，U-1，U}。v∈{1，2，......，V-1，V}。

网络105用以在电子设备101与视觉传感器集102、电子设备101与光源集103以及电子设备101与分拣设备104之间提供通信链路的介质。网络105可以包括各种连接类型。例如，有线和无线通信链路等中的至少之一。

电子设备101可以包括以下至少之一：终端设备101_1和服务器101_2。终端设备102_1可以是具有显示屏并且支持网页浏览的各种电子设备。例如，终端设备102_1可以包括智能手机、平板电脑、膝上型便携计算机和台式计算机等中的至少之一。

服务器101_2可以是提供各种服务的服务器。例如，服务器101_2可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(Virtual Private Server，虚拟专用服务器)中，存在的管理难度大，业务扩展性弱的缺陷。

视觉传感器集102可以采集待检测产品106的至少一个产品图像。光源集103可以在视觉传感器采集产品图像的情况下，配合提供成像环境。视觉传感器集102可以向电子设备101发送至少一个产品图像。

电子设备101可以利用至少一个缺陷检测策略，检测待检测产品106的至少一个产品图像，得到至少一个检测信息。不同缺陷检测策略检测的缺陷类型不同。缺陷检测策略可以是根据缺陷需求信息确定的。根据至少一个检测信息，确定待检测产品106的缺陷信息。缺陷信息包括缺陷类型和缺陷位置。根据缺陷信息，确定待检测产品106的缺陷等级。电子设备101可以向分拣设备104发送缺陷等级。分拣设备104可以根据待检测产品106的缺陷等级，将待检测产品106放置于与缺陷等级对应的流水线。

需要说明的是，本发明实施例所提供的缺陷检测方法可以由电子设备101执行。相应地，本发明实施例所提供的缺陷检测装置也可以设置于电子设备101中。

应该理解，图1中的电子设备、视觉传感器、光源、分拣设备和网络的数目仅仅是示意性的。根据实现需要，可以具有任意数目的电子设备、视觉传感器、光源、分拣设备和网络。

应注意，以下方法中各个操作的序号仅作为该操作的表示以便描述，而不应被看作表示该各个操作的执行顺序。除非明确指出，否则该方法不需要完全按照所示顺序来执行。

图2示意性示出了根据本公开实施例的缺陷检测方法的流程图。

如图2所示，该方法200包括操作S210～S220。

在操作S210，利用至少一个缺陷检测策略，检测待检测产品的至少一个产品图像，得到至少一个检测信息。

在操作S220，根据至少一个检测信息，确定所述待检测产品的缺陷信息。

根据本公开的实施例，不同缺陷检测策略检测的缺陷类型可以不同。缺陷检测策略可以是根据缺陷需求信息确定的。缺陷信息可以包括缺陷类型和缺陷位置。

根据本公开的实施例，待检测产品可以指需要进行缺陷检测的产品。产品可以包括以下至少之一：工业产品、娱乐产品、体育产品、生活产品、工作产品和学习产品等。工业产品可以包括以下至少之一：纺织品、智能仪表、轮胎、板材和零部件等。例如，纺织品可以包括化纤长丝。化纤长丝具有强度高、耐磨、密度小和弹性好等的特征，是加工纺织品的重要原料。可以将化纤长丝卷绕在纸筒上形成化纤丝饼，以便存储和运输。化纤丝饼可以包括端面、侧面和纸管。智能仪表可以包括以下至少之一：指针表计和数显表计。板材可以包括以下至少之一：钢板、木板和石板等。

根据本公开的实施例，产品存在至少一种缺陷类型。缺陷类型可以与产品结构相关。例如，化纤长丝的缺陷类型可以包括以下至少之一：端面缺陷、侧面缺陷和纸管缺陷。端面缺陷包括以下至少之一：毛丝缺陷、油污缺陷、碰毛缺陷、绊丝缺陷、断丝缺陷和跳罗拉缺陷。指针表计的缺陷类型可以包括以下至少之一：。轮胎的缺陷类型可以包括以下至少之一：。板材的缺陷类型可以包括以下至少之一。

根据本公开的实施例，根据缺陷区域的尺寸和用于确定缺陷等级所依据的缺陷参数中的至少之一，至少一种缺陷类型可以包括第一预定缺陷类型和第二预定缺陷类型中的至少之一。第一预定缺陷类型可以指单个缺陷区域的尺寸小于或等于预定尺寸阈值的缺陷类型。此外，第一预定缺陷类型还可以指需要根据缺陷区域的数目来确定缺陷等级的缺陷类型。第二预定缺陷类型可以指单个缺陷区域的尺寸大于预定尺寸阈值的缺陷类型。此外，第二预定缺陷类型还可以指需要根据缺陷区域的尺寸来确定缺陷等级的缺陷类型。例如，待检测产品可以是化纤长丝。第一预定缺陷类型可以包括毛丝缺陷。第二预定缺陷类型可以包括以下至少之一：油污缺陷、碰毛缺陷、绊丝缺陷、断丝缺陷、跳罗拉缺陷、侧面缺陷和纸管缺陷等。

根据本公开的实施例，产品图像可以指产品的图像。产品图像可以包括以下至少之一：工业产品图像、娱乐产品图像、体育产品图像、生活产品图像、工作产品图像和学习产品图像等。工业产品图像可以包括以下至少之一：纺织品图像、智能仪表图像、轮胎图像、板材图像和零部件图像等。例如，纺织品图像可以包括化纤长丝图像。智能仪表图像可以包括以下至少之一：指针表计图像和数显表计图像。板材图像可以包括以下至少之一：钢板图像、木板图像和石板图像等。

根据本公开的实施例，缺陷检测策略可以指用于检测待检测产品存在的缺陷类型的策略。不同缺陷检测策略用于检测的缺陷类型不同。缺陷检测策略可以是根据缺陷需求信息确定的。缺陷需求信息可以指用于确定缺陷检测策略的信息。缺陷需求信息可以包括以下至少之一：缺陷类型、检测信息的精准度和缺陷检测的数据处理量等。缺陷检测策略可以包括目标检测策略和图像分割策略。例如，在检测信息的精准度小于预定精准度阈值、缺陷检测的数据处理量大于预定数据处理量阈值和缺陷类型是第一预定缺陷类型中的至少之一的情况下的情况下，缺陷检测策略可以是目标检测策略。在检测信息的精准度大于或等于预定精准度阈值、缺陷检测的数据处理量小于或等于预定数据处理量阈值和缺陷类型是第二预定缺陷类型中的至少之一的情况下，缺陷检测策略可以是图像分割策略。

根据本公开的实施例，检测信息可以包括缺陷位置和缺陷类型。缺陷信息可以包括缺陷参数。缺陷参数可以包括缺陷位置和缺陷类型。此外，缺陷参数还可以包括缺陷数目。

根据本公开的实施例，至少一个产品图像可以是针对待检测产品的待检测区域的产品图像。此外，至少一个产品图像中存在至少两个视角的产品图像。例如，待检测产品可以是化纤长丝。待检测区域可以包括端面、侧面和纸管。至少一个产品图像可以包括端面图像、侧面图像和纸管图像。端面图像可以指与端面对应的产品图像。侧面图像可以指与侧面对应的产品图像。纸管图像可以指与纸管对应的产品图像。待检测产品可以是轮胎。待检测区域可以包括外胎、内胎和垫带。外胎可以包括胎体、缓冲层、胎面、胎侧和胎图。至少一个产品图像可以包括外胎图像、内胎图像和垫带图像。外胎图像可以指与外胎对应的产品图像。内胎图像可以指与内胎对应的产品图像。垫带图像可以指与垫带对应的产品图像。

根据本公开的实施例，可以获取待检测产品的至少一个产品图像。产品图像可以是通过如下至少方式之一获取的：从预先存储的产品图像集中获取的和根据视觉传感器采集得到的。可以利用至少一个缺陷检测策略检测待检测产品的至少一个产品图像，得到至少一个检测信息。例如，针对至少一个缺陷检测策略中的缺陷检测策略，可以利用该缺陷检测策略检测至少一个目标产品图像，得到至少一个目标产品图像各自与该缺陷检测策略对应的缺陷类型的检测信息。目标产品图像可以指适用于该缺陷检测策略的产品图像。

根据本公开的实施例，在获得至少一个检测信息之后，可以根据至少一个检测信息，确定待检测产品的缺陷信息。例如，可以对至少一个检测信息进行整合分析，得到待检测产品的缺陷信息。

根据本公开的实施例，利用至少一个缺陷检测策略对待检测产品的至少一个产品图像进行缺陷检测，得到至少一个检测信息，能够有效基于不同缺陷类型的检测特性，确定与缺陷类型对应的缺陷检测策略进行缺陷检测，根据至少一个检测信息确定待检测产品的缺陷信息，实现了待检测产品的整体缺陷检测。此外，由于缺陷检测信息包括缺陷位置，因此，实现了缺陷定位，由此提高了待检测产品的缺陷检测精准度。

根据本公开的实施例，操作S210可以包括如下操作。

在确定待检测的缺陷类型为第一预定缺陷类型的情况下，对至少一个第一产品图像进行目标检测，得到与至少一个第一产品图像对应的第一检测信息。在确定待检测的缺陷类型为第二预定缺陷类型的情况下，对至少一个第二产品图像进行图像分割，得到与至少一个第二产品图像对应的分割信息。将与至少一个第二产品图像对应的分割信息确定为与至少一个第二产品图像对应的第二检测信息。

根据本公开的实施例，第一产品图像可以是至少一个产品图像中与第一预定缺陷类型对应的产品图像。第二产品图像可以是至少一个产品图像中与第二预定缺陷类型对应的产品图像。

根据本公开的实施例，缺陷类型可以包括第一预定缺陷类型和第二预定缺陷类型中的至少之一。第一预定缺陷类型可以指单个缺陷区域的尺寸小于或等于预定尺寸阈值的缺陷类型。此外，第一预定缺陷类型还可以指需要根据缺陷区域的数目来确定缺陷等级的缺陷类型。第二预定缺陷类型可以指单个缺陷区域的尺寸大于预定尺寸阈值的缺陷类型。此外，第二预定缺陷类型还可以指需要根据缺陷区域的尺寸来确定缺陷等级的缺陷类型。例如，待检测产品可以是化纤长丝。第一预定缺陷类型可以包括毛丝缺陷。第二预定缺陷类型可以包括以下至少之一：油污缺陷、碰毛缺陷、绊丝缺陷、断丝缺陷、跳罗拉缺陷、侧面缺陷和纸管缺陷等。

根据本公开的实施例，与第一预定缺陷类型对应的缺陷检测策略可以指目标检测策略。与第二预定缺陷类型对应的缺陷检测策略可以是图像分割策略。

根据本公开的实施例，可以将与第一预定缺陷类型对应的产品图像称为第一产品图像。将与第一产品图像对应的检测信息称为第一检测信息。将与第二预定缺陷类型对应的产品图像称为第二产品图像。将与第二产品图像对应的检测信息称为第二检测信息。

根据本公开的实施例，在确定待检测的缺陷类型为第一预定缺陷类型的情况下，可以对第一产品图像进行目标检测，得到与第一产品图像对应的第一检测信息。对第一产品图像进行目标检测，得到与第一产品图像对应的第一检测信息，可以包括：对第一产品图像进行图像切分，得到至少一个第一产品切图。对至少一个第一产品切图进行目标检测，得到与至少一个第一产品切图对应的第一检测信息。根据与至少一个第一产品切图对应的第一检测信息，得到与第一产品图像对应的第一检测信息。备选地，可以直接对第一产品图像进行目标检测，得到与第一产品图像对应的第一检测信息。

根据本公开的实施例，对至少一个第一产品切图进行目标检测，得到与至少一个第一产品切图对应的第一检测信息，可以包括：可以基于传统目标检测方法处理至少一个第一产品切图，得到与至少一个第一产品切图对应的第一检测信息。备选地，可以基于深度学习的目标检测方法处理至少一个第一产品切图，得到与至少一个第一产品切图对应的第一检测信息。传统目标检测方法可以包括以下至少之一：基于宏观特征的目标检测方法和基于特征点的目标检测方法。宏观特征可以包括以下至少之一：形状、颜色和尺寸等。例如，基于宏观特征的目标检测方法可以包括基于Hough圆变换的目标检测方法。基于特征点的目标检测方法可以包括以下至少之一：基于SIFT(Scale-invariant feature transform，尺度不变特征转换)的目标检测方法和基于SURF(Speeded Up Robust Features，加速稳健特征)的目标检测方法等。基于深度学习的目标检测方法可以包括以下至少之一：单阶段的目标检测方法和两阶段的目标检测方法。例如，两阶段的目标检测方法可以包括以下至少之一：R—CNN(即Region Convolutional Neural Network)、Fast R—CNN、Faster R—CNN等。单阶段的目标检测方法可以包括以下至少之一：SSD(即Single Shot MultiBoxDetector)和YOLO(即You Only Look Once)等。

根据本公开的实施例，在确定待检测的缺陷类型为第二预定缺陷类型的情况下，可以对第二产品图像进行图像分割，得到与第二产品图像对应的分割信息。对第二产品图像进行图像分割，得到与第二产品图像对应的分割信息，可以包括：对第二产品图像进行图像切分，得到至少一个第二产品切图。对至少一个第二产品切图进行图像分割，得到与至少一个第二产品切图对应的分割信息。根据与至少一个第二产品切图对应的分割信息，得到与第一产品图像对应的分割信息。备选地，可以直接对第二产品图像进行图像分割，得到与第二产品图像对应的分割信息。图像分割可以包括以下之一：语义分割、实例分割和全景分割。例如，可以对第二产品图像进行图像分割，得到与第二产品图像对应的分割信息，可以包括：对第二产品图像进行特征提取，得到第一骨干特征图。根据第一骨干特征图，得到语义分割信息和像素特征表征。根据语义分割信息和像素特征表征，得到与第二产品图像对应的分割信息。备选地，对第二产品图像进行特征提取，得到第二骨干特征图。根据第二骨干特征图，得到至少一个尺度的第二十六中间特征图。根据第二骨干特征图和至少一个尺度的第二十六中间特征图，得到第二十七中间特征图。根据第二十七中间特征图，得到与第二产品图像对应的分割信息。

根据本公开的实施例，在确定待检测的缺陷类型为第一预定缺陷类型的情况下，利用目标检测策略进行缺陷检测，以及在确定待检测的缺陷类型为第二预定缺陷类型的情况下，利用图像分割策略进行缺陷检测，能够有效基于不同缺陷类型的检测特性，确定与缺陷类型对应的缺陷检测策略进行缺陷检测，进而提高了待检测产品的缺陷检测精准度。

根据本公开的实施例，对至少一个第一产品图像进行目标检测，得到与至少一个第一产品图像对应的第一检测信息，可以包括如下操作。

针对至少一个第一产品图像中的第一产品图像，对第一产品图像进行切分，得到至少一个产品切图。针对至少一个产品切图中的产品切图，对产品切图进行骨干特征提取，得到至少一个尺度的第一中间特征图。根据至少一个尺度的第一中间特征图，得到至少一个尺度的第二中间特征图。根据至少一个尺度的第二中间特征图，得到与产品切图对应的第一检测信息。根据与至少一个产品切图对应的第一检测信息，得到与第一产品图像对应的第一检测信息。

根据本公开的实施例，针对至少一个第一产品图像中的第一产品图像，可以对第一产品图像进行图像切分，得到至少一个产品切图。例如，可以根据与缺陷类型对应的缺陷区域的尺寸来确定产品切图的尺寸。例如，第一产品图像可以是10000×10000。产品切图可以指50×50。

根据本公开的实施例，可以对产品切图进行骨干特征提取，得到至少一个尺度的第一中间特征图。根据至少一个尺度的第一中间特征图，得到至少一个尺度的第二中间特征图。将至少一个尺度的第二中间特征图进行融合处理，得到融合特征图。根据融合特征图，得到与产品切图对应的第一检测信息。可以将与至少一个产品切图各自对应的第一检测信息进行整合分析，得到与第一产品图像对应的第一检测信息。

根据本公开的实施例，在确定待检测的缺陷类型为第一预定缺陷类型的情况下，对第一产品图像进行切分，得到至少一个产品切图，再对产品切图进行骨干特征提取，得到至少一个尺度的第一中间特征图，根据至少一个尺度的第一中间特征图，得到至少一个尺度的第二中间特征图，根据至少一个尺度的第二中间特征图，得到与产品切图对应的第一检测信息，实现了基于第一预定缺陷类型的检测特性，利用合适的缺陷检测策略来进行缺陷检测，进而提高了待检测产品的缺陷检测精准度。

根据本公开的实施例，至少一个尺度的第一中间特征图可以包括第一尺度的第一中间特征图、第二尺度的第一中间特征图和第三尺度的第一中间特征图。第一尺度、第二尺度和第三尺度依次增大。

根据本公开的实施例，至少一个尺度的第二中间特征图可以包括第四尺度的第二中间特征图、第五尺度的第二中间特征图和第六尺度的第二中间特征图。第四尺度、第五尺度和第六尺度依次增大。

根据本公开的实施例，根据至少一个尺度的第一中间特征图，得到至少一个尺度的第二中间特征图，可以包括如下操作。

根据第一尺度的第一中间特征图，得到第四尺度的第二中间特征图。根据第二尺度的第一中间特征图和第四尺度的第二中间特征图，得到第二尺度的第三中间特征图。根据第二尺度的第三中间特征图，得到第五尺度的第二中间特征图。根据第三尺度的第一中间特征图和第五尺度的第二中间特征图，得到第三尺度的第四中间特征图。根据第三尺度的第四中间特征图，得到第六尺度的第二中间特征图。

根据本公开的实施例，可以对第一尺度的第一中间特征图进行卷积处理，得到第四尺度的第二中间特征图。可以对第四尺度的第二中间特征图进行上采样处理，得到第二尺度的第二十八中间特征图。将第二尺度的第一中间特征图和第二尺度的第二十八中间特征图进行融合处理，得到第二尺度的第三中间特征图。例如，可以将第二尺度的第一中间特征图和第二尺度的第二十八中间特征图进行连接，得到第二尺度的第三中间特征图。

根据本公开的实施例，可以将第二尺度的第三中间特征图进行卷积处理，得到第五尺度的第二中间特征图。可以对第五尺度的第二中间特征图进行上采样处理，得到第三尺度的第二十九中间特征图。将第三尺度的第一中间特征图和第三尺度的第二十九中间特征图进行融合处理，得到第三尺度的第四中间特征图。例如，可以将第三尺度的第一中间特征图和第三尺度的第二十九中间特征图进行连接，得到第三尺度的第四中间特征图。可以将第三尺度的第四中间特征图进行卷积处理，得到第六尺度的第二中间特征图。

根据本公开的实施例，至少一个尺度的第一中间特征图可以包括第七尺度的第一中间特征图、第八尺度的第一中间特征图和第九尺度的第一中间特征图。第七尺度、第八尺度和第九尺度依次增大。

根据本公开的实施例，至少一个尺度的第二中间特征图可以包括第十尺度的第二中间特征图、第十一尺度的第二中间特征图和第十二尺度的第二中间特征图。第十尺度、第十一尺度和第十二尺度依次增大。

根据本公开的实施例，根据至少一个尺度的第一中间特征图，得到至少一个尺度的第二中间特征图，可以包括如下操作。

根据第七尺度的第一中间特征图，得到第十三尺度的第五中间特征图。根据第八尺度的第一中间特征图和第十三尺度的第五中间特征图，得到第八尺度的第六中间特征图。根据第九尺度的第一中间特征图和第八尺度的第六中间特征图，得到第九尺度的第七中间特征图。根据第九尺度的第七中间特征图，得到第十二尺度的第二中间特征图。根据第八尺度的第六中间特征图和第十二尺度的第二中间特征图，得到第十一尺度的第二中间特征图。根据第十三尺度的第五中间特征图和第十一尺度的第二中间特征图，得到第十尺度的第二中间特征图。

根据本公开的实施例，可以对第七尺度的第一中间特征图进行卷积处理，得到第十三尺度的第三十中间特征图和第十三尺度的第三十一中间特征图。将第十三尺度的第三十中间特征图和第十三尺度的第三十一中间特征图进行融合，得到第十三尺度的第五中间特征图。

根据本公开的实施例，可以对第十三尺度的第五中间特征图进行上采样处理，得到第八尺度的第三十二中间特征图。可以将第八尺度的第一中间特征图和第八尺度的第三十二中间特征图进行融合处理，得到第八尺度的第六中间特征图。

根据本公开的实施例，可以对第八尺度的第六中间特征图进行卷积处理，得到第二十三尺度的第三十三中间特征图和第二十三尺度的第三十四中间特征图。可以将第二十三尺度的第三十三中间特征图和第二十三尺度的第三十四中间特征图进行融合处理，得到第二十三尺度的第三十五中间特征图。将第二十三尺度的第三十五中间特征图进行上采样处理，得到第九尺度的第三十六中间特征图。将第九尺度的第一中间特征图和第九尺度的第三十六中间特征图进行融合处理，得到第九尺度的第七中间特征图。

根据本公开的实施例，根据第九尺度的第七中间特征图，得到第十二尺度的第二中间特征图。例如，将第九尺度的第七中间特征图进行卷积处理，得到第十二尺度的第三十七中间特征图和第十二尺度的第三十八中间特征图。将第十二尺度的第三十七中间特征图和第十二尺度的第三十八中间特征图进行融合处理，得到第十二尺度的第二中间特征图。

根据本公开的实施例，将第八尺度的第六中间特征图进行卷积处理，得到第二十四尺度的第三十九中间特征图和第二十四尺度的第四十中间特征图。将第二十四尺度的第三十九中间特征图和第二十四尺度的第四十中间特征图进行融合处理，得到第二十四尺度的第四十一中间特征图。将第十二尺度的第二中间特征图进行卷积处理，得到第二十四尺度的第四十二中间特征图。将第二十四尺度的第四十一中间特征图和第二十四尺度的第四十二中间特征图进行融合处理，得到第二十四尺度的第四十三中间特征图。根据第二十四尺度的第四十三中间特征图，得到第十一尺度的第二中间特征图。例如，可以将第二十四尺度的第四十三中间特征图进行卷积处理，得到第十一尺度的第四十四中间特征图和第十一尺度的第四十五中间特征图。将第十一尺度的第四十四中间特征图和第十一尺度的第四十五中间特征图进行融合处理，得到第十一尺度的第二中间特征图。

根据本公开的实施例，将第十一尺度的第二中间特征图进行卷积处理，得到第十三尺度的第四十六中间特征图。将第十三尺度的第五中间特征图和第十三尺度的第四十六中间特征图进行融合处理，得到第十三尺度的第四十七中间特征图。根据第十三尺度的第四十七中间特征图，得到第十尺度的第二中间特征图。例如，可以将第十三尺度的第四十七中间特征图进行卷积处理，得到第十尺度的第四十八中间特征图和第十尺度的第四十九中间特征图。将第十尺度的第四十八中间特征图和第十尺度的第四十九中间特征图进行融合处理，得到第十尺度的第二中间特征图。

根据本公开的实施例，至少一个尺度的第一中间特征图可以包括第十四尺度的第一中间特征图、第十五尺度的第一中间特征图和第十六尺度的第一中间特征图。第十四尺度、第十五尺度和第十六尺度依次增大。

根据本公开的实施例，至少一个尺度的第二中间特征图可以包括第十七尺度的第二中间特征图、第十八尺度的第二中间特征图和第十九尺度的第二中间特征图。第十七尺度、第十八尺度和第十九尺度依次增大。

根据本公开的实施例，根据至少一个尺度的第一中间特征图，得到至少一个尺度的第二中间特征图，可以包括如下操作。

根据第十四尺度的第一中间特征图，得到第二十尺度的第八中间特征图。根据第十五尺度的第一中间特征图和第二十尺度的第八中间特征图，得到第十五尺度的第九中间特征图。根据第十六尺度的第一中间特征图和第十五尺度的第九中间特征图，得到第十六尺度的第十中间特征图。根据第十六尺度的第十中间特征图，得到第十九尺度的第二中间特征图。根据第十五尺度的第九中间特征图和第十六尺度的第十中间特征图，得到第十八尺度的第二中间特征图。根据第二十尺度的第八中间特征图和第十八尺度的第二中间特征图，得到第十七尺度的第二中间特征图。

根据本公开的实施例，可以将第十五尺度的第九中间特征图和第十六尺度的第十中间特征图进行融合处理，得到第十八尺度的第二中间特征图。将第二十尺度的第八中间特征图和第十八尺度的第二中间特征图进行融合处理，得到第十七尺度的第二中间特征图。

根据本公开的实施例，对产品切图进行骨干特征提取，得到至少一个尺度的第一中间特征图，可以包括如下操作。

根据产品切图，得到第二十一尺度的第十一中间特征图和第二十一尺度的第十二中间特征图。根据第二十一尺度的第十一中间特征图，得到第二十一尺度的第十三中间特征图。将第二十一尺度的第十二中间特征图和第二十一尺度的第十三中间特征图进行融合处理，得到第二十一尺度的第十四中间特征图。对第二十一尺度的第十四中间特征图进行处理，得到第十六尺度的第一中间特征图。根据第十六尺度的第一中间特征图，得到第十五尺度的第一中间特征图。根据第十五尺度的第一中间特征图，得到第十四尺度的第一中间特征图。

根据本公开的实施例，可以对产品图像进行卷积处理，得到第二十一尺度的第十一中间特征图和第二十一尺度的第十二中间特征图。可以将第二十一尺度的第十二中间特征图和第二十一尺度的第十三中间特征图进行连接，得到第二十一尺度的第十四中间特征图。

根据本公开的实施例，可以对第十六尺度的第一中间特征图进行卷积处理，得到第十五尺度的第一中间特征图。可以对第十五尺度的第一中间特征图进行卷积处理，得到第十四尺度的第一中间特征图。

根据本公开的实施例，对第二十一尺度的第十四中间特征图进行处理，得到第十六尺度的第一中间特征图，可以包括如下操作。

对第二十一尺度的第十四中间特征图进行池化处理，得到第二十二尺度的第十五中间特征图。对第二十二尺度的第十五中间特征图进行全连接和激活处理，得到第二十二尺度的第十六中间特征图。将第二十二尺度的第十五中间特征图和第二十二尺度的第十六中间特征图进行融合处理，得到第二十二尺度的第十七中间特征图。将第二十二尺度的第十七中间特征图进行卷积处理，得到第十六尺度的第一中间特征图。

根据本公开的实施例，可以对第二十一尺度的第十四中间特征图进行全局平均池化处理，得到第二十二尺度的第十五中间特征图。

根据本公开的实施例，根据至少一个尺度的第二中间特征图，得到与产品切图对应的第一检测信息，可以包括如下操作。

根据第十七尺度的第二中间特征图，得到第一回归概率图和第一分类概率图。根据第十八尺度的第二中间特征图，得到第二回归概率图和第二分类概率图。根据第十九尺度的第二中间特征图，得到第三回归概率图和第三分类概率图。根据第一回归概率图、第一分类概率图、第二回归概率图、第二分类概率图、第三回归概率图和第三分类概率图，得到与产品切图对应的第一检测信息。

根据本公开的实施例，回归概率图可以包括至少一个回归概率。回归概率可以用于表征位置的概率。分类概率图可以包括至少一个分类概率。分类概率可以用于表征类型的概率。第一回归概率图、第二回归概率图和第三回归概率图的含义与回归概率图的含义类似，在此不再赘述。

根据本公开的实施例，可以根据第一回归概率图、第一分类概率图、第二回归概率图、第二分类概率图、第三回归概率图和第三分类概率图，确定目标回归概率和目标分类概率。根据目标回归概率和目标分类概率，得到与产品切图对应的第一检测信息。

根据本公开的实施例，根据第十七尺度的第二中间特征图，得到第一回归概率图和第一分类概率图，可以包括如下操作。

对第十七尺度的第二中间特征图进行处理，得到第十七尺度的第十八中间特征图和第十七尺度的第十九中间特征图。根据第十七尺度的第十八中间特征图，得到第一回归概率图。根据第十七尺度的第二中间特征图和第十七尺度的第十九中间特征图，得到第一分类概率图。

根据本公开的实施例，可以对第十七尺度的第二中间特征图进行池化处理，得到第二十五尺度的第五十中间特征图。对第二十五尺度的第五十中间特征图进行全连接和激活处理，得到第十七尺度的第十八中间特征图。可以对第十七尺度的第十八中间特征图进行处理，得到第一回归概率图。

根据本公开的实施例，可以对第十七尺度的第二中间特征图进行池化处理，得到第二十五尺度的第五十一中间特征图。对第二十五尺度的第五十一中间特征图进行全连接和激活处理，得到第十七尺度的第十九中间特征图。将第十七尺度的第十九中间特征图和第十七尺度的第二中间特征图进行融合处理，得到第十七尺度的第五十二中间特征图。对第十七尺度的第五十二中间特征图进行卷积处理，得到第一分类概率图。

根据本公开的实施例，根据第十八尺度的第二中间特征图，得到第二回归概率图和第二分类概率图，可以包括如下操作。

对第十八尺度的第二中间特征图进行处理，得到第十八尺度的第五十三中间特征图和第十八尺度的第五十四中间特征图。根据第十八尺度的第五十三中间特征图，得到第二回归概率图。根据第十八尺度的第二中间特征图和第十八尺度的第五十四中间特征图，得到第二分类概率图。

根据本公开的实施例，可以对第十八尺度的第二中间特征图进行池化处理，得到第二十六尺度的第五十五中间特征图。对第二十六尺度的第五十五中间特征图进行全连接和激活处理，得到第十八尺度的第五十三中间特征图。可以对第十八尺度的第五十三中间特征图进行处理，得到第二回归概率图。

根据本公开的实施例，可以对第十八尺度的第二中间特征图进行池化处理，得到第二十六尺度的第五十六中间特征图。对第二十六尺度的第五十六中间特征图进行全连接和激活处理，得到第十八尺度的第五十四中间特征图。将第十八尺度的第五十四中间特征图和第十八尺度的第二中间特征图进行融合处理，得到第十八尺度的第五十五中间特征图。对第十八尺度的第五十五中间特征图进行卷积处理，得到第二分类概率图。

根据本公开的实施例，根据第十九尺度的第二中间特征图，得到第三回归概率图和第三分类概率图，可以包括如下操作。

对第十九尺度的第二中间特征图进行处理，得到第十九尺度的第五十六中间特征图和第十九尺度的第五十七中间特征图。根据第十九尺度的第五十六中间特征图，得到第三回归概率图。根据第十九尺度的第二中间特征图和第十九尺度的第五十七中间特征图，得到第三分类概率图。

根据本公开的实施例，可以对第十九尺度的第二中间特征图进行池化处理，得到第二十七尺度的第五十八中间特征图。对第二十六尺度的第五十八中间特征图进行全连接和激活处理，得到第十九尺度的第五十六中间特征图。可以对第十九尺度的第五十六中间特征图进行处理，得到第三回归概率图。

根据本公开的实施例，可以对第十九尺度的第二中间特征图进行池化处理，得到第二十七尺度的第五十九中间特征图。对第二十七尺度的第五十九中间特征图进行全连接和激活处理，得到第十九尺度的第五十七中间特征图。将第十九尺度的第五十七中间特征图和第十九尺度的第二中间特征图进行融合处理，得到第十九尺度的第六十中间特征图。对第十九尺度的第六十中间特征图进行卷积处理，得到第三分类概率图。

根据本公开的实施例，对至少一个第一产品图像进行目标检测，得到与至少一个第一产品图像对应的第一检测信息，可以包括如下操作。

利用目标检测模型处理至少一个第一产品图像，得到与至少一个产品图像对应的第一检测信息。

根据本公开的实施例，目标检测模型可以是利用样本产品图像训练深度学习模型进行得到的。样本产品图像可以是基于样本选择策略从多个原始样本产品图像中确定的。

根据本公开的实施例，样本选择策略可以指用于从多个原始样本产品图像中确定样本产品图像的策略。例如，样本选择策略可以包括样本均匀采样策略。样本产品图像可以是基于样本选择策略从多个原始样本产品图像中确定的，可以包括：样本产品图像可以是根据多个原始样本产品图像的分布信息，从多个原始样本产品图像中确定样本产品图像。例如，可以对多个原始样本产品图像进行聚类，得到至少一个聚类簇。根据至少一个聚类簇，确定样本产品图像。

根据本公开的实施例，深度学习模型的模型结构可以根据实际业务需求进行配置，在此不作限定。可以将样本产品图像输入深度学习模型，得到样本检测信息。基于损失函数，根据样本产品图像的样本检测信息和样本标签信息，得到损失函数值。根据损失函数值调整深度学习模型的模型参数直至满足预定结束条件。将在满足预定结束条件的情况下得到的深度学习模型确定为目标检测模型。预定结束条件可以包括损失函数值收敛和达到最大训练轮次中的至少之一。

根据本公开的实施例，样本产品图像可以是样本检测偏差大于或等于预定偏差阈值的原始样本产品图像。样本检测偏差可以是第一样本检测信息和第二样本检测信息之间的偏差。第一样本检测信息可以是原始样本产品图像的样本检测信息。第二样本检测信息可以是扰动样本产品图像的样本检测信息。扰动样本产品图像可以是对原始样本产品图像进行扰动处理得到的。

根据本公开的实施例，预定偏差阈值可以根据实际业务需求进行配置，在此不作限定。针对多个原始样本产品图像中的原始样本产品图像，可以对该原始样本产品图像进行扰动处理，得到与该原始样本产品图像对应的扰动样本产品图像。可以确定与该原始样本产品图像对应的第一样本检测信息。确定与该原始样本产品图像对应的扰动样本产品图像的第二样本检测信息。确定第一样本检测信息和第二样本检测信息之间的偏差，得到样本检测偏差。在确定样本检测偏差大于或等于预定偏差阈值的情况下，可以将该原始样本产品图像确定为样本产品图像。

根据本公开的实施例，如果原始样本产品图像的样本检测偏差大于或等于预定偏差阈值，则可以说明模型对原始样本产品图像鲁棒性较差，由此，将该原始样本产品图像确定为样本产品图像参与深度学习模型的模型训练，能够提高目标检测模型的鲁棒性，进而提高目标检测模型的检测信息的准确性。

根据本公开的实施例，对至少一个第二产品图像进行图像分割，得到与至少一个第二产品图像对应的分割信息，可以包括如下操作。

针对至少一个第二产品图像中的第二产品图像，对第二产品图像进行骨干特征提取，得到至少一个尺度的第二十中间特征图。根据至少一个尺度的第二十中间特征图，得到前景分割信息和背景分割信息。根据前景分割信息和背景分割信息，得到与第二产品图像对应的分割信息。

根据本公开的实施例，可以对至少一个第二产品图像进行全景分割，得到与至少一个第二产品图像对应的分割信息。全景分割可以指对对象进行实例分割，对背景进行语义分割。语义分割可以指为图像中像素确定语义类别。实例分割可以指为确定图像中实例对象包括的像素区域。全景分割可以指为图像中像素赋予类别Label和实例ID。全景分割可以包括对象实例分割(即Object Instance Segmentation)和材料分割(即StuffSegmentation)。材料分割可以指对背景进行语义分割。例如，图像包括人和风筝，人在沙滩上放风筝。前景可以包括人和风筝。背景可以包括天空和沙滩。

根据本公开的实施例，可以基于第一注意力策略，根据至少一个尺度的第二十中间特征图，得到前景分割信息和背景分割信息。

根据本公开的实施例，在确定待检测的缺陷类型为第二预定缺陷类型的情况下，对第二产品图像进行骨干特征提取，得到至少一个尺度的第二十中间特征图，根据至少一个尺度的第二十中间特征图，得到前景分割信息和背景分割信息，再根据前景分割信息和背景分割信息，得到与第二产品图像对应的分割信息，实现了基于第二预定缺陷类型的检测特性，利用合适的缺陷检测策略来进行缺陷检测，进而提高了待检测产品的缺陷检测精准度。

根据本公开的实施例，对第二产品图像进行骨干特征提取，得到至少一个尺度的第二十中间特征图，可以包括如下操作。

对第二产品图像进行M个阶段的特征提取，得到与第M阶段对应的至少一个阶段特征图。根据与第M阶段对应的至少一个阶段特征图，得到至少一个尺度的第二十中间特征图。

根据本公开的实施例，第m阶段可以具有T_m个并联层级。同一并联层级的阶段特征图的图像分辨率可以相同。不同并联层级的阶段特征图的图像分辨率可以不同。

根据本公开的实施例，M可以是大于1或等于1的整数。m可以是大于或等于1且小于或等于M的整数。T_m可以是大于或等于1的整数。

根据本公开的实施例，M阶段可以包括输入阶段、中间阶段和输出阶段。输入阶段可以指第1阶段。输出阶段可以指第M阶段。中间阶段可以指第2阶段至第M-1阶段。各个阶段的并联层级的数目可以相同或不同。在第1阶段至第M-1阶段中，当前阶段可以比上一阶段多至少一个并联层级。第M阶段可以与第M-1阶段的并联层级的数目相同。M可以根据实际业务需求进行配置，在此不作限定。例如，M＝4。在第1阶段至第3阶段中，当前阶段可以比上一阶段多至少一个并联层级。第1阶段具有T1＝2个并联层级。第2阶段具有T₂＝3个并联层级。第3阶段具有T₃＝4个并联层级。第4阶段具有T₄＝4个并联层级。

根据本公开的实施例，同一并联层级的阶段特征图的图像分辨率相同。不同并联层级的阶段特征图的图像分辨率不同，例如，当前并联层级的阶段特征图的图像分辨率小于上一并联层级的阶段特征图的图像分辨率。当前阶段的当前并联层级的阶段特征图的图像分辨率可以是根据上一阶段的上一并联层级的阶段特征图的图像分辨率确定的。例如，当前阶段的当前阶段的阶段特征图的图像分辨率可以是将上一阶段的上一并联层级的阶段特征图的图像分辨率进行下采样得到的。

根据本公开的实施例，在M＞1的情况下，对第二产品图像进行M个阶段的特征提取，得到与M个阶段对应的至少一个阶段特征图，可以包括：响应于m＝1，对第二产品图像进行特征提取，得到与第1阶段对应的至少一个尺度的中间阶段特征图。根据与第1阶段对应的至少一个尺度的中间阶段特征图，得到与第1阶段对应的至少一个尺度的阶段特征图。响应于1＜m≤M，对与第m-1阶段对应的至少一个尺度的阶段特征图进行特征提取，得到与第m阶段对应的至少一个尺度的中间阶段特征图。根据与第m阶段对应的至少一个尺度的中间阶段特征图，得到与第m阶段对应的至少一个尺度的阶段特征图。

根据本公开的实施例，在M＝1的情况下，对第二产品图像进行M个阶段的特征提取，得到与M个阶段对应的至少一个阶段特征图，可以包括：对第二产品图像进行特征提取，得到与第1阶段对应的至少一个尺度的中间阶段特征图。根据与第1阶段对应的至少一个尺度的中间阶段特征图，得到与第1阶段对应的至少一个尺度的阶段特征图。

根据本公开的实施例，根据与第M阶段对应的至少一个阶段特征图，得到至少一个尺度的第二十中间特征图，可以包括：可以将与第M阶段对应的至少一个阶段特征图确定为至少一个尺度的第二十中间特征图。

根据本公开的实施例，由于同一并联层级的阶段特征图的图像分辨率相同，不同并联层级的阶段特征图的图像分辨率不同，因此，可以在整个特征提取的过程中保持高分辨率的特征表征，并逐步增加高分辨率到低分辨率的并联层级。在高分辨率的特征表征上直接提取深层语义信息而不是作为图像低层特征信息的补充，使其具备足够的分类能力，避免有效空间分辨率的损失。至少一个并联层级能够兼顾上下文信息的捕捉，获取丰富的全局和局部信息。此外，在并联层级上反复交换信息来实现特征的多尺度融合，能够获得更为准确的特征的位置信息，由此提高了分割信息的准确性。

根据本公开的实施例，在M是大于1的整数的情况下，对第二产品图像进行M个阶段的特征提取，得到与M个阶段对应的至少一个阶段特征图，可以包括如下操作。

对与第m-1阶段对应的至少一个阶段特征图进行卷积处理，得到与第m阶段对应的至少一个中间阶段特征图。对与第m阶段对应的至少一个中间阶段特征图进行特征融合，得到与第m阶段对应的至少一个阶段特征图。

根据本公开的实施例，m可以是大于1且小于或等于M的整数。

根据本公开的实施例，针对第m-1阶段，针对至少一个阶段特征图中的阶段特征图，可以对该阶段特征图进行卷积处理，得到第m阶段的中间阶段特征图，由此，可以得到第m阶段的至少一个中间阶段特征图。

根据本公开的实施例，对与第m阶段对应的至少一个中间阶段特征图进行特征融合，得到与第m阶段对应的至少一个阶段特征图，可以包括：针对第m阶段对应的至少一个中间阶段特征图中的中间阶段特征图，将第m阶段的该中间阶段特征图和与第m阶段的除该中间阶段特征图所在并联层级以外的其他并联层级的中间阶段特征图进行融合，得到第m阶段的与该中间阶段特征图对应的阶段特征图。其他并联层级可以指第m阶段的除该中间阶段特征图所在并联层级以外的至少部分并联层级。

根据本公开的实施例，对与第m阶段对应的至少一个中间阶段特征图进行特征融合，得到与第m阶段对应的至少一个阶段特征图，可以包括如下操作。

针对T_m个并联层级中的第i个并联层级，根据与第i个并联层级对应的其他中间阶段特征图和与第i个并联层级对应的中间阶段特征图，得到与第i个并联层级对应的阶段特征图。

根据本公开的实施例，与第i个并联层级对应的其他中间阶段特征图可以是与T_m个并联层级中除第i个并联层级以外的至少部分并联层级对应的中间阶段特征图。i可以是大于或等于1且小于或等于T_m的整数。

根据本公开的实施例，在1＜i＜I的情况下，对至少一个第一其他中间阶段特征图进行上采样处理，得到与至少一个第一其他中间阶段特征图对应的上采样阶段特征图。对至少一个第二其他中间阶段特征图进行下采样处理，得到与至少一个第二其他中间阶段特征图对应的下采样阶段特征图。第一其他中间阶段特征图可以指T_m个并联层级中大于第i个并联层级的其他中间阶段特征图。第二其他中间阶段特征图可以指T_m个并联层级中小于第i个并联层级的其他中间阶段特征图。上采样阶段特征图的图像分辨率与第i个并联层级的该中间阶段特征图的分辨率相同。下采样阶段特征图的分辨率与i个并联层级的该中间阶段特征图的分辨率相同。

根据本公开的实施例，在i＝1的情况下，对至少一个第二其他中间阶段特征图进行上采样处理，得到与至少一个第一其他中间阶段特征图对应的下采样阶段特征图。第一其他中间阶段特征图可以指T_m个并联层级中大于第1个并联层级的其他中间阶段特征图。上采样阶段特征图的图像分辨率与第1个并联层级的该中间阶段特征图的分辨率相同。

根据本公开的实施例，在i＝I的情况下，对至少一个第二其他中间阶段特征图进行下采样处理，得到与至少一个第二其他中间阶段特征图对应的下采样阶段特征图。第二其他中间阶段特征图可以指T_m个并联层级中小于第i个并联层级的其他中间阶段特征图。下采样阶段特征图的分辨率与i个并联层级的该中间阶段特征图的分辨率相同。

根据本公开的实施例，根据与至少一个第一其他中间阶段特征图对应的上采样阶段特征图、与至少一个第二其他中间阶段特征图对应的下采样阶段特征图和第i个并联层级的中间阶段特征图，得到与第i个并联层级对应的阶段特征图。例如，可以将与至少一个第一其他中间阶段特征图对应的上采样阶段特征图、与至少一个第二其他中间阶段特征图对应的下采样阶段特征图和第i个并联层级的中间阶段特征图进行融合处理，得到与第i个并联层级对应的阶段特征图。

根据本公开的实施例，根据至少一个尺度的第二十中间特征图，得到前景分割信息和背景分割信息，可以包括如下操作。

根据至少一个尺度的第二十中间特征图，得到至少一个尺度的第二十一中间特征图、至少一个尺度的第二十二中间特征图和至少一个尺度的第二十三中间特征图。基于建议注意力策略，根据至少一个尺度的第二十二中间特征图和至少一个尺度的第二十三中间特征图，得到第二十四中间特征图。基于掩码注意力策略，根据至少一个尺度的第二十一中间特征图和第二十四中间特征图，得到第二十五中间特征图。根据至少一个尺度的第二十一中间特征图，得到前景分割信息。根据第二十五中间特征图，得到背景分割信息。

根据本公开的实施例，建议注意力(即Proposal Attention)可以用于使得分割任务集中更多注意力在局部目标上，以促进背景的语义分割的准确性。建议注意力可以用于提供像素层级注意力。掩码注意力(即Mask Attention)可以用于提供物体层级注意力。

根据本公开的实施例，对至少一个第二产品图像进行图像分割，得到与至少一个第二产品图像对应的分割信息，可以包括如下操作。

针对至少一个第二产品图像中的第二产品图像，对第二产品图像进行特征提取，得到骨干特征图。根据骨干特征图，得到语义分割信息和像素特征表征。根据语义分割信息和像素特征表征，得到与第二产品图像对应的分割信息。

根据本公开的实施例，可以对至少一个第二产品图像进行语义分割，得到与至少一个第二产品图像对应的分割信息。可以对骨干特征图进行处理，得到语义分割信息和像素特征表征，再根据语义分割信息和像素特征表征，得到图像分割信息。

根据本公开的实施例，对骨干特征图进行处理，得到语义分割信息和像素特征表征，可以包括：对骨干特征图进行上采样处理，得到像素特征表征。像素特征表征的分辨率与骨干特征图的图像分辨率相同。对骨干特征图进行上采样和卷积处理，得到语义分割信息。

根据本公开的实施例，根据语义分割信息和像素特征表征，得到与第二产品图像对应的分割信息，可以包括如下操作。

根据语义分割信息和像素特征表征，得到对象区域特征表征。确定语义分割信息和对象区域特征表征之间的关系矩阵。根据关系矩阵和对象区域特征表征，得到对象上下文特征表征。将像素特征表征和对象上下文特征表征进行融合处理，得到对象增强上下文特征表征。根据对象增强上下文特征表征，得到与第二产品图像对应的分割信息。

根据本公开的实施例，根据关系矩阵和对象区域特征表征，得到对象上下文特征表征，可以包括：根据像素和对象区域特征表征在关系矩阵中的数值，将对象区域的特征进行加权求和，得到对象上下文特征表征。

根据本公开的实施例，将像素特征表征和对象上下文特征表征进行融合处理，得到对象增强上下文特征表征，可以包括：可以将像素特征表征和对象上下文特征表征进行拼接，再将拼接信息进行卷积处理之后得到对象增强上下文特征表征。

根据本公开的实施例，由于对象增强上下文特征表征是根据像素特征表征和对象上下文特征表征进行融合得到的，对象上下文特征表征是根据关系矩阵和对象区域特征表征确定的，对象区域特征表征是根据语义分割信息和像素特征表征得到的，关系矩阵是语义分割信息和对象区域特征表征之间的矩阵，因此，通过根据对象区域特征表征和像素特征表征将对象区域特征表征传播给像素，由此提高了分割信息的准确性。

根据本公开的实施例，对至少一个第二产品图像进行图像分割，得到与至少一个第二产品图像对应的分割信息，可以包括如下操作。

基于第二注意力策略对至少一个第二产品图像进行语义分割，得到与至少一个第二产品图像对应的分割信息。

根据本公开的实施例，可以基于多尺度注意力策略对至少一个第二产品图像进行语义分割，得到与至少一个第二产品图像对应的分割信息。例如，可以基于多尺度注意力机制的语义分割(即Using Multi—Scale Attention for Semantic Segmentation)处理至少第二产品图像，得到与至少一个第二产品图像对应的分割信息。

下面参考图3～图4，结合具体实施例对根据本公开实施例所述的缺陷检测方法做进一步说明。

图3示意性示出了根据本公开实施例的在确定待检测的缺陷类型为第一预定缺陷类型的情况下，对至少一个第一产品图像进行目标检测，得到与至少一个第一产品图像对应的第一检测信息的原理示意图。

如图3所示，在300中，针对至少一个第一产品图像301中的第一产品图像301，对第一产品图像301进行切分，得到至少一个产品切图302。针对至少一个产品切图302中的产品切图302，对产品切图302进行骨干特征提取，得到至少一个尺度的第一中间特征图303。根据至少一个尺度的第一中间特征图303，得到至少一个尺度的第二中间特征图304。根据至少一个尺度的第二中间特征图304，得到与产品切图302对应的第一检测信息305。根据与至少一个产品切图302对应的第一检测信息305，得到与第一产品图像301对应的第一检测信息306。

图4示意性示出了根据本公开实施例的在确定待检测缺陷类型为第二预定缺陷类型的情况下，对至少一个第二产品图像进行图像分割，得到与至少一个第二产品图像对应的分割信息的原理示意图。

如图4所示，在400中，针对至少一个第二产品图像401中的第二产品图像401，对第二产品图像401进行骨干特征提取，得到至少一个尺度的第二十中间特征图402。根据至少一个尺度的第二十中间特征图402，得到前景分割信息403和背景分割信息404。根据前景分割信息403和背景分割信息404，得到与第二产品图像401对应的分割信息405。

根据本公开的实施例，上述缺陷检测方法还可以包括如下操作。

根据缺陷信息，确定待检测产品的缺陷等级。

根据本公开的实施例，可以根据与缺陷信息对应的缺陷图像，确定待检测产品的缺陷等级。

根据本公开的实施例，根据缺陷信息，确定待检测产品的缺陷等级，可以包括如下操作。

基于形态学方法对与缺陷信息对应的缺陷图像进行处理，得到中间缺陷图像。根据中间缺陷图像，得到缺陷评估指标信息。根据缺陷评估指标信息，确定待检测产品的缺陷等级。

根据本公开的实施例，利用形态学方法处理与缺陷信息对应的缺陷图像，得到中间缺陷图像，可以包括：可以利用骨架提取方法处理与缺陷信息对应的缺陷图像，得到中间缺陷图像。骨架提取(即二值图像细化)可以指将一个连通区域细化成一个像素的宽度，用于特征提取和目标拓扑表征。骨架提取方法可以包括以下至少之一：基于击中击不中变换的骨架提取算法和基于中轴变换的骨架提取算法。例如，K3M算法。设定从从二值图像中对象的边界处开始燃烧，对象就会被逐步细化，但在燃烧过程中需要保证满足预定条件的像素被保留或者被“烧掉”。在确定燃烧结束的情况下，最后剩下的二值图像即为二值图像的骨架。

根据本公开的实施例，可以利用骨架提取方法处理与缺陷信息对应的缺陷图像，得到中间缺陷图像，可以包括：根据与缺陷信息对应的缺陷图像，得到至少一个连通区域。利用骨架提取方法处理至少一个连通区域，得到中间缺陷图像。

根据本公开的实施例，在获得中间缺陷图像之后，可以根据中间缺陷图像，确定缺陷评估指标信息。缺陷评估指标信息可以用于作为确定缺陷等级的依据。可以包括以下至少之一：缺陷区域的长度、缺陷区域的宽度和缺陷区域的面积等。根据预定等级确定策略和缺陷评估指标信息，确定待检测产品的缺陷等级。预定等级确定策略可以根据实际业务需求进行配置，在此不作限定。

以上仅是示例性实施例，但不限于此，还可以包括本领域已知的其他缺陷检测方法，只要能够提高待检测产品的缺陷检测精准度即可。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

图5示意性示出了根据本公开实施例的缺陷检测装置的框图。

如图5所示，缺陷检测装置500可以包括获得模块510和第一确定模块520。

获得模块510，用于利用至少一个缺陷检测策略，检测待检测产品的至少一个产品图像，得到至少一个检测信息。不同缺陷检测策略检测的缺陷类型不同。缺陷检测策略是根据缺陷需求信息确定的。

第一确定模块520，用于根据至少一个检测信息，确定待检测产品的缺陷信息。缺陷信息包括缺陷类型和缺陷位置。

根据本公开的实施例，获得模块510可以包括第一获得子模块、第二获得子模块和第一确定子模块。

第一获得子模块，用于在确定待检测的缺陷类型为第一预定缺陷类型的情况下，对至少一个第一产品图像进行目标检测，得到与至少一个第一产品图像对应的第一检测信息。第一产品图像是至少一个产品图像中与第一预定缺陷类型对应的产品图像。

在确定待检测缺陷类型为第二预定缺陷类型的情况下，

第二获得子模块，用于对至少一个第二产品图像进行图像分割，得到与至少一个第二产品图像对应的分割信息。第二产品图像是至少一个产品图像中与第二预定缺陷类型对应的产品图像。

第一确定子模块，用于将与至少一个第二产品图像对应的分割信息确定为与至少一个第二产品图像对应的第二检测信息。

根据本公开的实施例，第一获得子模块可以包括第一获得单元、第二获得单元、第三获得单元、第四获得单元和第五获得单元。

针对至少一个第一产品图像中的第一产品图像，

第一获得单元，用于对第一产品图像进行切分，得到至少一个产品切图。

针对至少一个产品切图中的产品切图，

第二获得单元，用于对产品切图进行骨干特征提取，得到至少一个尺度的第一中间特征图。

第三获得单元，用于根据至少一个尺度的第一中间特征图，得到至少一个尺度的第二中间特征图。

第四获得单元，用于根据至少一个尺度的第二中间特征图，得到与产品切图对应的第一检测信息。

第五获得单元，用于根据与至少一个产品切图对应的第一检测信息，得到与第一产品图像对应的第一检测信息。

根据本公开的实施例，至少一个尺度的第一中间特征图包括第一尺度的第一中间特征图、第二尺度的第一中间特征图和第三尺度的第一中间特征图。第一尺度、第二尺度和第三尺度依次增大。

根据本公开的实施例，至少一个尺度的第二中间特征图包括第四尺度的第二中间特征图、第五尺度的第二中间特征图和第六尺度的第二中间特征图。第四尺度、第五尺度和第六尺度依次增大。

根据本公开的实施例，第三获得单元可以包括第一获得子单元、第二获得子单元、第三获得子单元、第四获得子单元和第五获得子单元。

第一获得子单元，用于根据第一尺度的第一中间特征图，得到第四尺度的第二中间特征图。

第二获得子单元，用于根据第二尺度的第一中间特征图和第四尺度的第二中间特征图，得到第二尺度的第三中间特征图。

第三获得子单元，用于根据第二尺度的第三中间特征图，得到第五尺度的第二中间特征图。

第四获得子单元，用于根据第三尺度的第一中间特征图和第五尺度的第二中间特征图，得到第三尺度的第四中间特征图。

第五获得子单元，用于根据第三尺度的第四中间特征图，得到第六尺度的第二中间特征图。

根据本公开的实施例，至少一个尺度的第一中间特征图包括第七尺度的第一中间特征图、第八尺度的第一中间特征图和第九尺度的第一中间特征图。第七尺度、第八尺度和第九尺度依次增大。

根据本公开的实施例，至少一个尺度的第二中间特征图包括第十尺度的第二中间特征图、第十一尺度的第二中间特征图和第十二尺度的第二中间特征图。第十尺度、第十一尺度和第十二尺度依次增大。

根据本公开的实施例，第三获得单元可以包括第六获得子单元、第七获得子单元、第八获得子单元、第九获得子单元、第十获得子单元和第十一获得子单元。

第六获得子单元，用于根据第七尺度的第一中间特征图，得到第十三尺度的第五中间特征图。

第七获得子单元，用于根据第八尺度的第一中间特征图和第十三尺度的第五中间特征图，得到第八尺度的第六中间特征图。

第八获得子单元，用于根据第九尺度的第一中间特征图和第八尺度的第六中间特征图，得到第九尺度的第七中间特征图。

第九获得子单元，用于根据第九尺度的第七中间特征图，得到第十二尺度的第二中间特征图。

第十获得子单元，用于根据第八尺度的第六中间特征图和第十二尺度的第二中间特征图，得到第十一尺度的第二中间特征图。

第十一获得子单元，用于根据第十三尺度的第五中间特征图和第十一尺度的第二中间特征图，得到第十尺度的第二中间特征图。

根据本公开的实施例，至少一个尺度的第一中间特征图包括第十四尺度的第一中间特征图、第十五尺度的第一中间特征图和第十六尺度的第一中间特征图。第十四尺度、第十五尺度和第十六尺度依次增大。

根据本公开的实施例，至少一个尺度的第二中间特征图包括第十七尺度的第二中间特征图、第十八尺度的第二中间特征图和第十九尺度的第二中间特征图。第十七尺度、第十八尺度和第十九尺度依次增大。

根据本公开的实施例，第三获得单元可以包括第十二获得子单元、第十三获得子单元、第十四获得子单元、第十五获得子单元、第十六获得子单元和第十七获得子单元。

第十二获得子单元，用于根据第十四尺度的第一中间特征图，得到第二十尺度的第八中间特征图。

第十三获得子单元，用于根据第十五尺度的第一中间特征图和第二十尺度的第八中间特征图，得到第十五尺度的第九中间特征图。

第十四获得子单元，用于根据第十六尺度的第一中间特征图和第十五尺度的第九中间特征图，得到第十六尺度的第十中间特征图。

第十五获得子单元，用于根据第十六尺度的第十中间特征图，得到第十九尺度的第二中间特征图。

第十六获得子单元，用于根据第十五尺度的第九中间特征图和第十六尺度的第十中间特征图，得到第十八尺度的第二中间特征图。

第十七获得子单元，用于根据第二十尺度的第八中间特征图和第十八尺度的第二中间特征图，得到第十七尺度的第二中间特征图。

根据本公开的实施例，第二获得单元可以包括第十八获得子单元、第十九获得子单元、第二十获得子单元、第二十一获得子单元、第二十二获得子单元和第二十三获得子单元。

第十八获得子单元，用于根据产品切图，得到第二十一尺度的第十一中间特征图和第二十一尺度的第十二中间特征图。

第十九获得子单元，用于根据第二十一尺度的第十一中间特征图，得到第二十一尺度的第十三中间特征图。

第二十获得子单元，用于将第二十一尺度的第十二中间特征图和第二十一尺度的第十三中间特征图进行融合处理，得到第二十一尺度的第十四中间特征图。

第二十一获得子单元，用于对第二十一尺度的第十四中间特征图进行处理，得到第十六尺度的第一中间特征图。

第二十二获得子单元，用于根据第十六尺度的第一中间特征图，得到第十五尺度的第一中间特征图。

第二十三获得子单元，用于根据第十五尺度的第一中间特征图，得到第十四尺度的第一中间特征图。

根据本公开的实施例，第二十一获得子单元可以用于：

对第二十一尺度的第十四中间特征图进行池化处理，得到第二十二尺度的第十五中间特征图。

对第二十二尺度的第十五中间特征图进行全连接和激活处理，得到第二十二尺度的第十六中间特征图。

将第二十二尺度的第十五中间特征图和第二十二尺度的第十六中间特征图进行融合处理，得到第二十二尺度的第十七中间特征图。

将第二十二尺度的第十七中间特征图进行卷积处理，得到第十六尺度的第一中间特征图。

根据本公开的实施例，第四获得单元可以包括第二十四获得子单元、第二十五获得子单元、第二十六获得子单元和第二十七获得子单元。

第二十四获得子单元，用于根据第十七尺度的第二中间特征图，得到第一回归概率图和第一分类概率图。

第二十五获得子单元，用于根据第十八尺度的第二中间特征图，得到第二回归概率图和第二分类概率图。

第二十六获得子单元，用于根据第十九尺度的第二中间特征图，得到第三回归概率图和第三分类概率图。

第二十七获得子单元，用于根据第一回归概率图、第一分类概率图、第二回归概率图、第二分类概率图、第三回归概率图和第三分类概率图，得到与产品切图对应的第一检测信息。

根据本公开的实施例，第二十四获得子单元用于：

对第十七尺度的第二中间特征图进行处理，得到第十七尺度的第十八中间特征图和第十七尺度的第十九中间特征图。

根据第十七尺度的第十八中间特征图，得到第一回归概率图。

根据第十七尺度的第二中间特征图和第十七尺度的第十九中间特征图，得到第一分类概率图。

根据本公开的实施例，第一获得子模块可以包括第六获得单元。

第六获得单元，用于利用目标检测模型处理至少一个第一产品图像，得到与至少一个产品图像对应的第一检测信息。目标检测模型是利用样本产品图像训练深度学习模型进行得到的。样本产品图像是基于样本选择策略从多个原始样本产品图像中确定的。

根据本公开的实施例，样本产品图像是样本检测偏差大于或等于预定偏差阈值的原始样本产品图像。样本检测偏差是第一样本检测信息和第二样本检测信息之间的偏差。第一样本检测信息是原始样本产品图像的样本检测信息。第二样本检测信息是扰动样本产品图像的样本检测信息。扰动样本产品图像是对原始样本产品图像进行扰动处理得到的。

根据本公开的实施例，第二获得子模块可以包括第七获得单元、第八获得单元和第九获得单元。

针对至少一个第二产品图像中的第二产品图像，

第七获得单元，用于对第二产品图像进行骨干特征提取，得到至少一个尺度的第二十中间特征图。

第八获得单元，用于根据至少一个尺度的第二十中间特征图，得到前景分割信息和背景分割信息。

第九获得单元，用于根据前景分割信息和背景分割信息，得到与第二产品图像对应的分割信息。

根据本公开的实施例，第八获得单元可以包括第二十八获得子单元、第二十九获得子单元、第三十获得子单元、第三十一获得子单元和第三十二获得子单元。

第二十八获得子单元，用于根据至少一个尺度的第二十中间特征图，得到至少一个尺度的第二十一中间特征图、至少一个尺度的第二十二中间特征图和至少一个尺度的第二十三中间特征图。

第二十九获得子单元，用于基于建议注意力策略，根据至少一个尺度的第二十二中间特征图和至少一个尺度的第二十三中间特征图，得到第二十四中间特征图。

第三十获得子单元，用于基于掩码注意力策略，根据至少一个尺度的第二十一中间特征图和第二十四中间特征图，得到第二十五中间特征图。

第三十一获得子单元，用于根据至少一个尺度的第二十一中间特征图，得到前景分割信息。

第三十二获得子单元，用于根据第二十五中间特征图，得到背景分割信息。

根据本公开的实施例，第七获得单元可以包括第三十三获得子单元和第三十四获得子单元。

第三十三获得子单元，用于对第二产品图像进行M个阶段的特征提取，得到与第M阶段对应的至少一个阶段特征图。

第三十四获得子单元，用于根据与第M阶段对应的至少一个阶段特征图，得到至少一个尺度的第二十中间特征图。

根据本公开的实施例，第m阶段具有Tm个并联层级。同一并联层级的阶段特征图的图像分辨率相同。不同并联层级的阶段特征图的图像分辨率不同。

根据本公开的实施例，M是大于1或等于1的整数。m是大于或等于1且小于或等于M的整数。T_m是大于或等于1的整数。

根据本公开的实施例，在M是大于1的整数的情况下，第三十三获得子单元可以用于：

对与第m-1阶段对应的至少一个阶段特征图进行卷积处理，得到与第m阶段对应的至少一个中间阶段特征图。

对与第m阶段对应的至少一个中间阶段特征图进行特征融合，得到与第m阶段对应的至少一个阶段特征图。

根据本公开的实施例，m是大于1且小于或等于M的整数。

根据本公开的实施例，对与第m阶段对应的至少一个中间阶段特征图进行特征融合，得到与第m阶段对应的至少一个阶段特征图，可以包括如下操作。

针对T_m个并联层级中的第i个并联层级，

根据与第i个并联层级对应的其他中间阶段特征图和与第i个并联层级对应的中间阶段特征图，得到与第i个并联层级对应的阶段特征图。

根据本公开的实施例，与第i个并联层级对应的其他中间阶段特征图是与T_m个并联层级中除第i个并联层级以外的至少部分并联层级对应的中间阶段特征图。i是大于或等于1且小于或等于Tm的整数。

根据本公开的实施例，第二获得子模块可以包括第十获得单元、第十一获得单元和第十二获得单元。

针对至少一个第二产品图像中的第二产品图像，

第十获得单元，用于对第二产品图像进行特征提取，得到骨干特征图。

第十一获得单元，用于根据骨干特征图，得到语义分割信息和像素特征表征。

第十二获得单元，用于根据语义分割信息和像素特征表征，得到与第二产品图像对应的分割信息。

根据本公开的实施例，第十二获得单元可以包括第三十五获得子单元、确定子单元、第三十六获得子单元、第三十七获得子单元和第三十八获得子单元。

第三十五获得子单元，用于根据语义分割信息和像素特征表征，得到对象区域特征表征。

确定子单元，用于确定语义分割信息和对象区域特征表征之间的关系矩阵。

第三十六获得子单元，用于根据关系矩阵和对象区域特征表征，得到对象上下文特征表征。

第三十七获得子单元，用于将像素特征表征和对象上下文特征表征进行融合处理，得到对象增强上下文特征表征。

第三十八获得子单元，用于根据对象增强上下文特征表征，得到与第二产品图像对应的分割信息。

根据本公开的实施例，上述缺陷检测装置500还可以包括第二确定模块。

第二确定模块，用于根据缺陷信息，确定待检测产品的缺陷等级。

根据本公开的实施例，第二确定模块可以包括第三获得子模块、第四获得子模块和第二确定子模块。

第三获得子模块，用于基于形态学方法对与缺陷信息对应的缺陷图像进行处理，得到中间缺陷图像。

第四获得子模块，用于根据中间缺陷图像，得到缺陷评估指标信息。

第二确定子模块，用于根据缺陷评估指标信息，确定待检测产品的缺陷等级。

根据本公开的实施例，待检测产品包括工业产品。

根据本公开的实施例，工业产品包括化纤长丝。缺陷类型包括以下至少之一：端面缺陷、侧面缺陷和纸管缺陷。端面缺陷包括以下至少之一：毛丝缺陷、油污缺陷、碰毛缺陷、绊丝缺陷、断丝缺陷和跳罗拉缺陷。

根据本公开的实施例，第一预定缺陷类型包括毛丝缺陷。第二预定缺陷类型包括以下至少之一：侧面缺陷、纸管缺陷、油污缺陷、碰毛缺陷、绊丝缺陷、断丝缺陷和跳罗拉缺陷。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，一种电子设备，包括：多个处理器；以及与多个处理器通信连接的存储器；其中，存储器存储有可被多个处理器执行的指令，指令被多个处理器执行，以使多个处理器能够执行如上所述的方法。

根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上所述的方法。

根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上所述的方法。

图6示意性示出了根据本公开实施例的适于实现缺陷检测方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图6所示，电子设备600包括计算单元601，其可以根据存储在只读存储器(ROM)602中的计算机程序或者从存储单元608加载到随机访问存储器(RAM)603中的计算机程序，来执行各种适当的动作和处理。在RAM 603中，还可存储电子设备600操作所需的各种程序和数据。计算单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

电子设备600中的多个部件连接至I/O接口605，包括：输入单元606，例如键盘、鼠标等；输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许电子设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如，缺陷检测方法。例如，在一些实施例中，缺陷检测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由ROM 602和/或通信单元609而被载入和/或安装到电子设备600上。当计算机程序加载到RAM 603并由计算单元601执行时，可以执行上文描述的缺陷检测方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行缺陷检测方法。

根据本公开的实施例，电子设备600还可以包括前端展示界面。前端展示界面可以是人机交互界面。操作体可以在前端展示界面执行用于实现缺陷检测的相关操作。

图7示意性示出了根据本公开实施例的缺陷检测系统的框图。

如图7所示，缺陷检测系统700可以包括电子设备701。

根据本公开的实施例，电子设备701可以是本公开实施例所述的电子设备。

根据本公开的实施例，上述缺陷检测系统700还可以包括至少一个视觉传感器。视觉传感器可以采集待检测产品的至少一个产品图像，向电子设备发送至少一个产品图像。

根据本公开的实施例，至少一个视觉传感器可以包括至少一个面阵工业相机和至少一个线阵工业相机中的至少之一。视觉传感器在完成产品图像采集之后，可以向电子设备发送产品图像。电子设备可以响应于接收到产品图像，生成缺陷检测指令。响应于检测到缺陷检测指令，利用至少一个缺陷检测策略，检测待检测产品的至少一个产品图像，得到至少一个检测信息。根据至少一个检测信息，确定待检测产品的缺陷信息。

根据本公开的实施例，上述缺陷检测系统700还可以包括至少一个光源。光源可以在视觉传感器采集产品图像的情况下，配合提供成像环境。

根据本公开的实施例，至少一个光源可以包括至少一个环形光源和至少一个条形光源中的至少之一。电子设备可以根据待检测的缺陷类型，生成光源控制指令。电子设备可以根据光源控制指令，控制至少一个光源在视觉传感器采集产品图像的情况下，配合提供成像环境。

根据本公开的实施例，上述缺陷检测系统700还可以包括分拣设备。分拣设备可以根据待检测产品的缺陷等级，将待检测产品放置于与缺陷等级对应的流水线。

根据本公开的实施例，分拣设备可以根据待检测产品的缺陷等级，将待检测产品放置于与缺陷等级对应的流水线。

根据本公开的实施例，上述缺陷检测系统700还可以包括下料设备。下料设备根据待检测产品的缺陷等级进行下料。

根据本公开的实施例，下料设备和分拣设备可以是一体的，也可以是相互独立的，可以根据实际业务需求进行配置，在此不作限定。

根据本公开的实施例，本公开实施例的缺陷检测方法以人工智能技术为基础，结合传统机器视觉、光学成像和电气自动化等前沿技术，检测精准度较高、鲁棒性较强和智能化能力较强。

图8示意性示出了根据本公开实施例的视觉传感器和光源配合获得产品图像的示例示意图。

如图8所示，在800中，待检测产品是化纤长丝。图801示出了视觉传感器和光源配合来获得化纤长丝的上下面的产品图像的示例示意图。图801中的视觉传感器为线阵工业相机。光源为高亮线扫光源。图802示出了视觉传感器和光源配合来获得化纤长丝的侧面和纸管的产品图像的示例示意图。图802中视觉传感器为面阵工业相机。光源为高亮光源。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括多个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、多个输入装置、和多个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该多个输入装置、和该多个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (30)

1.一种缺陷检测方法，包括：

利用至少一个缺陷检测策略，检测待检测产品的至少一个产品图像，得到至少一个检测信息，其中，不同所述缺陷检测策略检测的缺陷类型不同，所述缺陷检测策略是根据缺陷需求信息确定的；以及

根据至少一个检测信息，确定所述待检测产品的缺陷信息，其中，所述缺陷信息包括缺陷类型和缺陷位置；

其中，所述利用至少一个缺陷检测策略，检测待检测产品的至少一个产品图像，得到至少一个检测信息，包括：

在确定待检测的缺陷类型为第一预定缺陷类型的情况下，对至少一个第一产品图像进行目标检测，得到与所述至少一个第一产品图像对应的第一检测信息，其中，所述第一产品图像是所述至少一个产品图像中与所述第一预定缺陷类型对应的产品图像；以及

在确定待检测缺陷类型为第二预定缺陷类型的情况下，

对至少一个第二产品图像进行图像分割，得到与所述至少一个第二产品图像对应的分割信息，其中，所述第二产品图像是所述至少一个产品图像中与所述第二预定缺陷类型对应的产品图像；以及

将与所述至少一个第二产品图像对应的分割信息确定为与所述至少一个第二产品图像对应的第二检测信息。

2.根据权利要求1所述的方法，其中，所述对至少一个第一产品图像进行目标检测，得到与所述至少一个第一产品图像对应的第一检测信息，包括：

针对所述至少一个第一产品图像中的第一产品图像，

对所述第一产品图像进行切分，得到至少一个产品切图；

针对所述至少一个产品切图中的产品切图，

对所述产品切图进行骨干特征提取，得到至少一个尺度的第一中间特征图；

根据所述至少一个尺度的第一中间特征图，得到至少一个尺度的第二中间特征图；

根据所述至少一个尺度的第二中间特征图，得到与所述产品切图对应的第一检测信息；以及

根据与所述至少一个产品切图对应的第一检测信息，得到与所述第一产品图像对应的第一检测信息。

3.根据权利要求2所述的方法，其中，所述至少一个尺度的第一中间特征图包括第一尺度的第一中间特征图、第二尺度的第一中间特征图和第三尺度的第一中间特征图，所述第一尺度、所述第二尺度和所述第三尺度依次增大；

其中，所述至少一个尺度的第二中间特征图包括第四尺度的第二中间特征图、第五尺度的第二中间特征图和第六尺度的第二中间特征图，所述第四尺度、所述第五尺度和所述第六尺度依次增大；

其中，所述根据所述至少一个尺度的第一中间特征图，得到至少一个尺度的第二中间特征图，包括：

根据所述第一尺度的第一中间特征图，得到所述第四尺度的第二中间特征图；

根据所述第二尺度的第一中间特征图和所述第四尺度的第二中间特征图，得到第二尺度的第三中间特征图；

根据所述第二尺度的第三中间特征图，得到所述第五尺度的第二中间特征图；

根据所述第三尺度的第一中间特征图和所述第五尺度的第二中间特征图，得到第三尺度的第四中间特征图；以及

根据所述第三尺度的第四中间特征图，得到所述第六尺度的第二中间特征图。

4.根据权利要求2所述的方法，其中，所述至少一个尺度的第一中间特征图包括第七尺度的第一中间特征图、第八尺度的第一中间特征图和第九尺度的第一中间特征图，所述第七尺度、所述第八尺度和所述第九尺度依次增大；

其中，所述至少一个尺度的第二中间特征图包括第十尺度的第二中间特征图、第十一尺度的第二中间特征图和第十二尺度的第二中间特征图，所述第十尺度、所述第十一尺度和所述第十二尺度依次增大；

其中，所述根据所述至少一个尺度的第一中间特征图，得到至少一个尺度的第二中间特征图，包括：

根据所述第七尺度的第一中间特征图，得到第十三尺度的第五中间特征图；

根据所述第八尺度的第一中间特征图和所述第十三尺度的第五中间特征图，得到第八尺度的第六中间特征图；

根据所述第九尺度的第一中间特征图和所述第八尺度的第六中间特征图，得到第九尺度的第七中间特征图；

根据所述第九尺度的第七中间特征图，得到所述第十二尺度的第二中间特征图；

根据所述第八尺度的第六中间特征图和所述第十二尺度的第二中间特征图，得到所述第十一尺度的第二中间特征图；以及

根据所述第十三尺度的第五中间特征图和所述第十一尺度的第二中间特征图，得到所述第十尺度的第二中间特征图。

5.根据权利要求2所述的方法，其中，所述至少一个尺度的第一中间特征图包括第十四尺度的第一中间特征图、第十五尺度的第一中间特征图和第十六尺度的第一中间特征图，所述第十四尺度、所述第十五尺度和所述第十六尺度依次增大；

其中，所述至少一个尺度的第二中间特征图包括第十七尺度的第二中间特征图、第十八尺度的第二中间特征图和第十九尺度的第二中间特征图，所述第十七尺度、所述第十八尺度和所述第十九尺度依次增大；

其中，所述根据所述至少一个尺度的第一中间特征图，得到至少一个尺度的第二中间特征图，包括：

根据所述第十四尺度的第一中间特征图，得到第二十尺度的第八中间特征图；

根据所述第十五尺度的第一中间特征图和所述第二十尺度的第八中间特征图，得到第十五尺度的第九中间特征图；

根据所述第十六尺度的第一中间特征图和所述第十五尺度的第九中间特征图，得到第十六尺度的第十中间特征图；

根据所述第十六尺度的第十中间特征图，得到所述第十九尺度的第二中间特征图；

根据所述第十五尺度的第九中间特征图和所述第十六尺度的第十中间特征图，得到所述第十八尺度的第二中间特征图；以及

根据所述第二十尺度的第八中间特征图和所述第十八尺度的第二中间特征图，得到所述第十七尺度的第二中间特征图。

6.根据权利要求5所述的方法，其中，所述对所述产品切图进行骨干特征提取，得到至少一个尺度的第一中间特征图，包括：

根据所述产品切图，得到第二十一尺度的第十一中间特征图和第二十一尺度的第十二中间特征图；

根据所述第二十一尺度的第十一中间特征图，得到第二十一尺度的第十三中间特征图；

将所述第二十一尺度的第十二中间特征图和所述第二十一尺度的第十三中间特征图进行融合处理，得到第二十一尺度的第十四中间特征图；

对所述第二十一尺度的第十四中间特征图进行处理，得到所述第十六尺度的第一中间特征图；

根据所述第十六尺度的第一中间特征图，得到所述第十五尺度的第一中间特征图；以及

根据所述第十五尺度的第一中间特征图，得到所述第十四尺度的第一中间特征图。

7.根据权利要求6所述的方法，其中，所述对所述第二十一尺度的第十四中间特征图进行处理，得到所述第十六尺度的第一中间特征图，包括：

对所述第二十一尺度的第十四中间特征图进行池化处理，得到第二十二尺度的第十五中间特征图；

对所述第二十二尺度的第十五中间特征图进行全连接和激活处理，得到第二十二尺度的第十六中间特征图；

将所述第二十二尺度的第十五中间特征图和所述第二十二尺度的第十六中间特征图进行融合处理，得到第二十二尺度的第十七中间特征图；以及

将所述第二十二尺度的第十七中间特征图进行卷积处理，得到所述第十六尺度的第一中间特征图。

8.根据权利要求5～7中任一项所述的方法，其中，所述根据所述至少一个尺度的第二中间特征图，得到与所述产品切图对应的第一检测信息，包括：

根据所述第十七尺度的第二中间特征图，得到第一回归概率图和第一分类概率图；

根据所述第十八尺度的第二中间特征图，得到第二回归概率图和第二分类概率图；

根据所述第十九尺度的第二中间特征图，得到第三回归概率图和第三分类概率图；以及

根据所述第一回归概率图、所述第一分类概率图、所述第二回归概率图、所述第二分类概率图、所述第三回归概率图和所述第三分类概率图，得到与所述产品切图对应的第一检测信息。

9.根据权利要求8所述的方法，其中，所述根据所述第十七尺度的第二中间特征图，得到第一回归概率图和第一分类概率图，包括：

对所述第十七尺度的第二中间特征图进行处理，得到第十七尺度的第十八中间特征图和第十七尺度的第十九中间特征图；

根据所述第十七尺度的第十八中间特征图，得到所述第一回归概率图；以及

根据所述第十七尺度的第二中间特征图和所述第十七尺度的第十九中间特征图，得到所述第一分类概率图。

10.根据权利要求1所述的方法，其中，所述对至少一个第一产品图像进行目标检测，得到与所述至少一个第一产品图像对应的第一检测信息，包括：

利用目标检测模型处理所述至少一个第一产品图像，得到与所述至少一个产品图像对应的第一检测信息，其中，所述目标检测模型是利用样本产品图像训练深度学习模型进行得到的，所述样本产品图像是基于样本选择策略从多个原始样本产品图像中确定的。

11.根据权利要求10所述的方法，其中，所述样本产品图像是样本检测偏差大于或等于预定偏差阈值的原始样本产品图像，所述样本检测偏差是第一样本检测信息和第二样本检测信息之间的偏差，所述第一样本检测信息是所述原始样本产品图像的样本检测信息，所述第二样本检测信息是扰动样本产品图像的样本检测信息，所述扰动样本产品图像是对所述原始样本产品图像进行扰动处理得到的。

12.根据权利要求1～7中任一项所述的方法，其中，所述对至少一个第二产品图像进行图像分割，得到与所述至少一个第二产品图像对应的分割信息，包括：

针对所述至少一个第二产品图像中的第二产品图像，

对所述第二产品图像进行骨干特征提取，得到至少一个尺度的第二十中间特征图；

根据所述至少一个尺度的第二十中间特征图，得到前景分割信息和背景分割信息；以及

根据所述前景分割信息和所述背景分割信息，得到与所述第二产品图像对应的分割信息。

13.根据权利要求12所述的方法，其中，所述根据所述至少一个尺度的第二十中间特征图，得到前景分割信息和背景分割信息，包括：

根据所述至少一个尺度的第二十中间特征图，得到至少一个尺度的第二十一中间特征图、至少一个尺度的第二十二中间特征图和至少一个尺度的第二十三中间特征图；

基于建议注意力策略，根据所述至少一个尺度的第二十二中间特征图和所述至少一个尺度的第二十三中间特征图，得到第二十四中间特征图；

基于掩码注意力策略，根据所述至少一个尺度的第二十一中间特征图和所述第二十四中间特征图，得到第二十五中间特征图；

根据所述至少一个尺度的第二十一中间特征图，得到所述前景分割信息；以及

根据所述第二十五中间特征图，得到所述背景分割信息。

14.根据权利要求12所述的方法，其中，所述对所述第二产品图像进行骨干特征提取，得到至少一个尺度的第二十中间特征图，包括：

对所述第二产品图像进行M个阶段的特征提取，得到与第M阶段对应的至少一个阶段特征图；以及

根据与所述第M阶段对应的至少一个阶段特征图，得到所述至少一个尺度的第二十中间特征图；

其中，第m阶段具有T_m个并联层级，同一并联层级的阶段特征图的图像分辨率相同，不同并联层级的阶段特征图的图像分辨率不同；

其中，M是大于1或等于1的整数，m是大于或等于1且小于或等于M的整数，T_m是大于或等于1的整数。

15.根据权利要求14所述的方法，其中，在M是大于1的整数的情况下，所述对所述第二产品图像进行M个阶段的特征提取，得到与所述M个阶段对应的至少一个阶段特征图，包括：

对与第m-1阶段对应的至少一个阶段特征图进行卷积处理，得到与第m阶段对应的至少一个中间阶段特征图；以及

对与所述第m阶段对应的至少一个中间阶段特征图进行特征融合，得到与第m阶段对应的至少一个阶段特征图；

其中，m是大于1且小于或等于M的整数。

16.根据权利要求15所述的方法，其中，所述对与所述第m阶段对应的至少一个中间阶段特征图进行特征融合，得到与第m阶段对应的至少一个阶段特征图，包括：

针对所述T_m个并联层级中的第i个并联层级，

根据与所述第i个并联层级对应的其他中间阶段特征图和与所述第i个并联层级对应的中间阶段特征图，得到与所述第i个并联层级对应的阶段特征图；

其中，与所述第i个并联层级对应的其他中间阶段特征图是与所述T_m个并联层级中除所述第i个并联层级以外的至少部分并联层级对应的中间阶段特征图，i是大于或等于1且小于或等于T_m的整数。

17.根据权利要求1～7中任一项所述的方法，其中，所述对至少一个第二产品图像进行图像分割，得到与所述至少一个第二产品图像对应的分割信息，包括：

针对所述至少一个第二产品图像中的第二产品图像，

对所述第二产品图像进行特征提取，得到骨干特征图；

根据所述骨干特征图，得到语义分割信息和像素特征表征；以及

根据所述语义分割信息和所述像素特征表征，得到与所述第二产品图像对应的分割信息。

18.根据权利要求17所述的方法，其中，所述根据所述语义分割信息和所述像素特征表征，得到与所述第二产品图像对应的分割信息，包括：

根据所述语义分割信息和所述像素特征表征，得到对象区域特征表征；

确定所述语义分割信息和所述对象区域特征表征之间的关系矩阵；

根据所述关系矩阵和所述对象区域特征表征，得到对象上下文特征表征；

将所述像素特征表征和所述对象上下文特征表征进行融合处理，得到对象增强上下文特征表征；以及

根据所述对象增强上下文特征表征，得到与所述第二产品图像对应的分割信息。

19.根据权利要求1～7中任一项所述的方法，还包括：

根据所述缺陷信息，确定所述待检测产品的缺陷等级。

20.根据权利要求19所述的方法，其中，所述根据所述缺陷信息，确定所述待检测产品的缺陷等级，包括：

基于形态学方法对与所述缺陷信息对应的缺陷图像进行处理，得到中间缺陷图像；

根据所述中间缺陷图像，得到缺陷评估指标信息；以及

根据所述缺陷评估指标信息，确定所述待检测产品的缺陷等级。

21.根据权利要求1～7中任一项所述的方法，其中，所述待检测产品包括工业产品。

22.根据权利要求21所述的方法，其中，所述工业产品包括化纤长丝，所述缺陷类型包括以下至少之一：端面缺陷、侧面缺陷和纸管缺陷，所述端面缺陷包括以下至少之一：毛丝缺陷、油污缺陷、碰毛缺陷、绊丝缺陷、断丝缺陷和跳罗拉缺陷。

23.根据权利要求22所述的方法，其中，所述第一预定缺陷类型包括所述毛丝缺陷，所述第二预定缺陷类型包括以下至少之一：所述侧面缺陷、所述纸管缺陷、所述油污缺陷、所述碰毛缺陷、所述绊丝缺陷、所述断丝缺陷和所述跳罗拉缺陷。

24.一种缺陷检测装置，包括：

获得模块，用于利用至少一个缺陷检测策略，检测待检测产品的至少一个产品图像，得到至少一个检测信息，其中，不同所述缺陷检测策略检测的缺陷类型不同，所述缺陷检测策略是根据缺陷需求信息确定的；以及

第一确定模块，用于根据至少一个检测信息，确定所述待检测产品的缺陷信息，其中，所述缺陷信息包括缺陷类型和缺陷位置；

其中，所述获得模块，包括：

第一获得子模块，用于在确定待检测的缺陷类型为第一预定缺陷类型的情况下，对至少一个第一产品图像进行目标检测，得到与所述至少一个第一产品图像对应的第一检测信息，其中，所述第一产品图像是所述至少一个产品图像中与所述第一预定缺陷类型对应的产品图像；以及

在确定待检测缺陷类型为第二预定缺陷类型的情况下，

第二获得子模块，用于对至少一个第二产品图像进行图像分割，得到与所述至少一个第二产品图像对应的分割信息，其中，所述第二产品图像是所述至少一个产品图像中与所述第二预定缺陷类型对应的产品图像；以及

第一确定子模块，用于将与所述至少一个第二产品图像对应的分割信息确定为与所述至少一个第二产品图像对应的第二检测信息。

25.一种电子设备，包括：

多个处理器；以及

与所述多个处理器通信连接的存储器；其中，

所述存储器存储有可被所述多个处理器执行的指令，所述指令被所述多个处理器执行，以使所述多个处理器能够执行权利要求1～23中任一项所述的方法。

26.一种缺陷检测系统，包括如权利要求25所述的电子设备。

27.根据权利要求26所述的系统，还包括：

至少一个视觉传感器，配置为采集所述待检测产品的至少一个产品图像，向所述电子设备发送所述至少一个产品图像。

28.根据权利要求27所述的系统，还包括：

至少一个光源，配置为在所述视觉传感器采集所述产品图像的情况下，配合提供成像环境。

29.根据权利要求26～28中任一项所述的系统，还包括：

分拣设备，配置为根据所述待检测产品的缺陷等级，将所述待检测产品放置于与所述缺陷等级对应的流水线。

30.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～23中任一项所述的方法。