CN111640089A - 一种基于特征图中心点的缺陷检测方法及装置 - Google Patents

Abstract

本发明公开了一种基于特征图中心点的缺陷检测方法及装置，其中的方法首先构建基于特征图中心点的检测模型；然后获取产品图像，对获取的产品图像进行关键点标注以及缺陷类别标注，构成训练数据；接着设计损失函数，根据构建的检测模型和设计的损失函数，将标注好的训练数据输入构建的检测模型进行训练得到训练好的检测模型；将待检测图像输入训练好的检测模型，获得检测结果，其中，检测结果包括缺陷的类别以及位置。

Description

一种基于特征图中心点的缺陷检测方法及装置

技术领域

本发明涉及目标检测技术领域，具体涉及一种基于特征图中心点的缺陷检测方法及装置。

背景技术

深度学习中的目标检测算法在缺陷检测中有大量的应用。一般来说包括图像分类，目标检测，语义分割和实例分割。其中，目标检测是对图片中的目标进行定位，最终给出的结果是包裹目标区域的矩形框。

目标检测按照检测步骤分为一阶段网络(one-stage)和两阶段网络(two-stage)。两阶段网络出现的较早，主要有RCNN、Fast RCNN、Faster RCNN等。两阶段网络的步骤一般是先对图片检测出一堆可能包含目标区域的预选框，再针对这些预选框做准确的分类。一阶段网络在两阶段网络之后出现，将分类问题转换成了回归问题，在第一步就回归出边框和边框分类，避免了两阶段网络的重复操作，提高了速率。主要是YOLO、SSD以及RetinaNet等网络。

目标检测按照检测结果的结构来分可以分为基于锚点(anchor-based)和不基于锚点(anchor-free)的。在目标检测领域将推断出的预选框称为锚点，以框为神经网络输出的的检测算法就属于基于anchor-based方法，不以框为输出的的检测方法称为anchor-free的方法。目标检测领域大部分网络都是anchor-based的网络，而Cornet-Net和Center-Net就是属于anchor-free的网络。如图1所示，anchor-based的网络推断流程如下，先由网络推断出一堆矩形框，根据IOU阈值过滤出一部分预选框，再由NMS算法计算出最终的预选框。

本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：

无论是一阶段还是二阶段的Anchor-based网络在最后输出层都会输出大量的检测框，需要做非极大值抑制(NMS)，给出最优的结果。NMS如图2所示，图2的左图有多个预选框，右图是经过NMS输出后的预选框。采用现有的一阶段和二阶段的网络来进行缺陷检测，存在效率较低的技术问题。

发明内容

本发明提出一种基于特征图中心点的缺陷检测方法及装置，用于解决或者至少部分解决现有技术中的方法存在的效率较低的技术问题。

为了解决上述技术问题，本发明第一方面提供了一种基于特征图中心点的缺陷检测方法，包括：

构建基于特征图中心点的检测模型，其中，所述检测模型为一个卷积网络，用于对输入的图像进行特征提取，获得一个热力图，热力图包含多个响应点，将满足预设条件的响应点作为峰值点，对应每个类别的中心；

获取产品图像，对获取的产品图像进行关键点标注以及缺陷类别标注，构成训练数据；

设计损失函数，根据构建的检测模型和设计的损失函数，将标注好的训练数据输入构建的检测模型进行训练，，得到训练好的检测模型；

将待检测图像输入训练好的检测模型，获得检测结果，其中，检测结果包括缺陷的类别以及位置。

在一种实施方式中，所述对获取的产品图像进行关键点标注以及缺陷类别标注，构成训练数据，包括：

预先对预设数量的产品图像进行分析，确定用以预测缺陷的检测框的形状；

根据检测框的形状以及检测框与检测模型输出的正矩形框之间的对应关系计算出待标注关键点的坐标；

根据待标注关键点的坐标以及缺陷类别，对获取的产品图像进行关键点标注以及缺陷类别标注，构成训练数据。

在一种实施方式中，卷积网络包括多个卷积层，所述方法还包括：

根据标注后的关键点的坐标，计算对应检测框的关键属性；

根据检测框的关键属性修改卷积网络的最后一层的向量，使最后一个卷积层输出的向量与预测缺陷的检测框的关键属性对应。

在一种实施方式中，所述根据检测框的形状以及检测框与检测模型输出的正矩形框之间的对应关系计算出待标注关键点的坐标，包括：

当预测缺陷的检测框的形状为倾斜矩形时，根据倾斜矩形与矩形框之间的对应关系，获得倾斜矩形的三个顶点的坐标，将倾斜矩形的三个顶点的坐标作为待标注关键点的坐标。

在一种实施方式中，所述根据检测框的形状以及检测框与检测模型输出的正矩形框之间的对应关系计算出待标注关键点的坐标，包括：

当预测缺陷的检测框的形状为倾斜菱形时，将矩形框的宽和高作为正菱形的长轴和短轴，获得倾斜菱形与正菱形的对应关系；

根据倾斜菱形与正菱形的对应关系，获得倾斜菱形的三个顶点的坐标，将倾斜菱形的三个顶点的坐标作为待标注关键点的坐标。

在一种实施方式中，所述根据检测框的关键属性修改卷积网络的最后一层的向量，包括：

根据关键属性的数量和类型设置卷积网络的最后一层的向量的维度。

基于同样的发明构思，本发明第二方面提供了一种基于特征图中心点的缺陷检测装置，包括：

模型构建模块，用于构建基于特征图中心点的检测模型，其中，所述检测模型为一个卷积网络，用于对输入的图像进行特征提取，获得一个热力图，热力图包含多个响应点，将满足预设条件的响应点作为峰值点，对应每个类别的中心；

训练数据获取模块，用于获取产品图像，对获取的产品图像进行关键点标注以及缺陷类别标注，构成训练数据；

训练模块，用于设计损失函数，根据构建的检测模型和设计的损失函数，将标注好的训练数据输入构建的检测模型进行训练，得到训练好的检测模型；

缺陷检测模块，用于将待检测图像输入训练好的检测模型，获得检测结果，其中，检测结果包括缺陷的类别以及位置。

在一种实施方式中，训练数据获取模块具体用于：

预先对预设数量的产品图像进行分析，确定用以预测缺陷的检测框的形状；

根据检测框的形状以及检测框与检测模型输出的正矩形框之间的对应关系计算出待标注关键点的坐标；

根据待标注关键点的坐标以及缺陷类别，对获取的产品图像进行关键点标注以及缺陷类别标注，构成训练数据。

在一种实施方式中，卷积网络包括多个卷积层，所述装置还包括向量修改模块，用于：

根据标注后的关键点的坐标，计算对应检测框的关键属性；

根据检测框的关键属性修改卷积网络的最后一层的向量，使最后一个卷积层输出的向量与预测缺陷的检测框的关键属性对应。

基于同样的发明构思，本发明第三方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

本发明提供的一种基于特征图中心点的缺陷检测方法，构建的基于特征图中心点的检测模型，是一种通过关键点估计来对物体检测的模型，待检测的图像输入检测模型后，会提取出图像的特征，产生一个热力图，并通过提取出热力图中的峰值点，峰值点即为中心点，通过中心点向量可以计算出目标框，从而得到预测图像中包含的缺陷的位置和类别，一个中心点对应一个目标框，不需要对多个目标检测框进行非极大值抑制过程，因此可以提高检测效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是现有技术中anchor-based的网络进行目标检测的示意图；

图2是现有技术中anchor-based的网络进行非极大值抑制的示意图；

图3是本发明提供的一种基于特征图中心点的缺陷检测方法流程示意图；

图4是本发明中基于特征图中心点的检测原理示意图；

图5是本发明采用的检测框与现有技术中采用的检测框的对比示意图；

图6是本发明实施例中，倾斜矩形检测框的属性标注示意图；

图7是本发明实施例中，倾斜菱形检测框的属性标注示意图；

图8是本发明提供的一种基于特征图中心点的缺陷检测装置的结构框图；

图9是本发明提供的一种计算机设备的结构框图。

具体实施方式

本发明针对现有方法存在的效率较低的技术问题，提供了一种基于特征图中心点的缺陷检测方法及装置，以达到提高检测效率的目的。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本实施例提供了一种基于特征图中心点的缺陷检测方法，请参见图3，该方法包括：

S1：构建基于特征图中心点的检测模型，其中，所述检测模型为一个卷积网络，用于对输入的图像进行特征提取，获得一个热力图，热力图包含多个响应点，将满足预设条件的响应点作为峰值点，对应每个类别的中心；

S2：获取产品图像，对获取的产品图像进行关键点标注以及缺陷类别标注，构成训练数据；

S3：设计损失函数，根据构建的检测模型和设计的损失函数，将标注好的训练数据输入构建的检测模型进行训练，得到训练好的检测模型；

S4：将待检测图像输入训练好的检测模型，获得检测结果，其中，检测结果包括缺陷的类别以及位置。

具体来说，S1中构建的基于特征图中心点的检测模型，为CenterNet，基于中心点检测的网络，其中的卷积网络可以为Hourglass、ResNet-18等。通过本发明构建的检测模型，可以对输入的图像进行特征提取，得到一个特征图，即热力图，热力图由多个响应点构成。每一个响应点可以视为一个向量，包括class、offset、size，其中，class代表分类数目，offset为偏移，size为检测框的长宽。预设条件可以根据响应点与周围的响应点的值大小比较情况来确定，例如，若一个响应点的值大于或等于周围的预设个响应点的值，则该响应点为峰值点，也就是中心点。热力图中可以包含一个或者多个中心点，每一个中心点对应一种类型的缺陷，例如，一个中心点对应条形缺陷，另一个中心点对应线形缺陷等。通过本发明的检测模型可以通过特征图中心点的检测，检测出不同类型的缺陷。

S2是对获取的产品表面的图像进行标注，形成训练数据，用以训练S1中构建的检测模型。

S3则是具体的训练过程，首先可以根据S1中构建的检测模型的结构设计对应的损失函数，确定好了网络结构和损失函数后，将训练数据按批次输入检测模型进行推断，将推断后的结果与标注结果进行比对，计算损失。再根据损失函数结果进行反向传播，调整网络结构中的权重，从而得到训练好的检测模型。S4是对构建的模型的具体应用，在训练好模型后，则可以将待检测的图像输入模型中，预测图像中包含的缺陷的类别以及位置。具体地，本实施例中待检测的图像为面板图像，通过S3中训练好的检测模型，可以对面板图像中的缺陷类别和位置进行预测。

请参见图4，为本发明中基于特征图中心点的检测示意图，H*W的图片经由一个卷积网络提取特征，提取的特征图表现成一个热力图，该热力图的步长为R，每一个点是一个向量，该向量由class、offset、size组成，class代表分类数目，offset是偏移，size是检测框的高和宽。

在一种实施方式中，所述对获取的产品图像进行关键点标注以及缺陷类别标注，构成训练数据，包括：

预先对预设数量的产品图像进行分析，确定用以预测缺陷的检测框的形状；

根据检测框的形状以及检测框与检测模型输出的正矩形框之间的对应关系计算出待标注关键点的坐标；

根据待标注关键点的坐标以及缺陷类别，对获取的产品图像进行关键点标注以及缺陷类别标注，构成训练数据。

具体来说，一般地，检测模型输出的检测框为矩形，如图5所示，现有技术中通过采用box1的方式进行标注，该矩形框框选住了一个倾斜的长条状的缺陷。对于这种缺陷来说，如果是用正矩形框框选，条状缺陷两侧的区域中有大片区域不含缺陷的特征，但在训练时会被当成目标区域，这对网络的训练干扰很大，从而影响检测的准确性。因此，现有技术中对这种条状的区域，一般在标注时用多个正矩形框去框选，比如box2和box3这样的矩形框，然而box2和box3是属于同一个目标的，现在标注成两个框，对训练的干扰也很大，同样影响最终模型的检测精度。基于以上考虑，本发明预先对预设数量的产品图像进行分析，确定用以预测缺陷的检测框的形状，然后利用检测模型(CenterNet)来适配非正矩形的预选框，从而可以弥补上述缺陷，如图5的box4和box5，分别为倾斜矩形和倾斜菱形，用于对条形缺陷的框选。

此外，如果有其他形状的缺陷，也可以根据缺陷的形状选取对应形状的检测框，本发明创新性地将中心点网络引入到面板检测领域，根据面板图像中包含的缺陷的类型，通过修改检测模型最后一层的向量，使其可以适用不同形状缺陷的检测。

在一种实施方式中，卷积网络包括多个卷积层，所述方法还包括：

根据标注后的关键点的坐标，计算对应检测框的关键属性；

根据检测框的关键属性修改卷积网络的最后一层的向量，使最后一个卷积层输出的向量与预测缺陷的检测框的关键属性对应。

具体来说，标注后的关键点的坐标可以根据检测框来选取，例如检测框的顶点，关键属性包括检测框的尺寸、偏移等，再加上一个类别，从而可以得到最后一层向量的设计。

例如标准的矩形框，输出向量为class、offset、size，class代表分类数目，offset是偏移，size是检测框的长宽，offset、size为关键属性。

通过修改最后一层的向量设计，从而可以改善对条形缺陷的训练和预测效果。

具体来说，对于倾斜矩形，输出层向量为class+offset+size+angle，offset、size、angle为关键属性，class为分类个数，offset为偏移，即(offsetx,offsety)，size为矩形宽高，即(w，h)，angle为旋转角度θ。

对于菱形，输出层向量为class+offset+size+angle，size和矩形不一样，size为长短轴(a,b)，offset、size、angle为关键属性。

在具体的实施过程中，检测模型的检测框为矩形，矩形的中心点坐标为(xi,yi)，则通过公式(1)可以得到输出矩形框的左上和右下两点。通过修改输出向量，从而可以输出菱形框和倾斜的矩形框。

offset_x、offset_y分别表示x轴方向和y轴方向上的偏移，w_i、h_i分别表示矩形框的宽和高。

在一种实施方式中，所述根据检测框的关键属性修改卷积网络的最后一层的向量，包括：

根据关键属性的数量设置卷积网络的最后一层的向量的维度。

具体来说，由于倾斜矩形和倾斜菱形，多了一个旋转角度，因此可以根据关键属性的数量设置向量的维度。

在一种实施方式中，所述根据检测框的形状以及检测框与检测模型输出的正矩形框之间的对应关系计算出待标注关键点的坐标，包括：

当预测缺陷的检测框的形状为倾斜矩形时，根据倾斜矩形与矩形框之间的对应关系，获得倾斜矩形的三个顶点的坐标，将倾斜矩形的三个顶点的坐标作为待标注关键点的坐标。

具体来说，对于倾斜矩形，输出层向量为class+offset+size+angle，class为分类个数，offset为偏移，即(offsetx,offsety)，size为矩形宽高，即(w，h)，angle为旋转角度θ。

请参见图6，为正矩形和倾斜矩形，根据倾斜矩形与矩形框之间的对应关系，可以得到倾斜矩形的关键点。

矩形在标注时只需要标注左上和右下两个点，即图6中左边附图，点A和点B。由于倾斜矩形相对于正矩形多了一个维度，也就是角度，因此在做标记的时候需要标出三个点。这里取左上、右上和左下，只要能和输出向量统一，可以取四个点中任意三个点。

推断的中心点为(xi,yi)，由坐标旋转系选择变换公式得到旋转后的矩形为公式(2)。即由中心点以及中心点关联向量(class+offset+size+angle)可得到A’，同理可得到B’和D’。

在一种实施方式中，所述根据检测框的形状以及检测框与检测模型输出的正矩形框之间的对应关系计算出待标注关键点的坐标，包括：

当预测缺陷的检测框的形状为倾斜菱形时，将矩形框的宽和高作为正菱形的长轴和短轴，获得倾斜菱形与正菱形的对应关系；

根据倾斜菱形与正菱形的对应关系，获得倾斜菱形的三个顶点的坐标，将倾斜菱形的三个顶点的坐标作为待标注关键点的坐标。

具体来说，对于菱形，输出层向量为class+offset+size+angle，size和矩形不一样，size为长短轴(a,b)。

请参见图7，根据正菱形的公式可以推出菱形的计算公式，标注时也应该标注菱形的三个点。

因此，正菱形的三个点E、F、G由公式(3)计算。

菱形的三个点中E’应该由公式(4)计算，剩余两个点F’和G’同理。

E'＝(t1cosθ+s1sinθ,s1cosθ+t1sinθ) (4)

综上所述，本发明通过检测模型在通过特征提取后的热力图(heat map)得出的目标中心点向量，然后修改该向量的设计，增加角度这一个维度，可以创新性地将正矩形的预选框扩大到可倾斜的矩形和菱形。同时，由于中心点的缺陷检测网络在特征提取后是通过中心点向量计算目标框，不需要NMS过程，相对于anchor-based的网络更省时间。

实施例二

基于同样的发明构思，本实施例提供了一种基于特征图中心点的缺陷检测装置，请参见图8，该装置包括：

模型构建模块201，用于构建基于特征图中心点的检测模型，其中，所述检测模型为一个卷积网络，用于对输入的图像进行特征提取，获得一个热力图，热力图包含多个响应点，将满足预设条件的响应点作为峰值点，对应每个类别的中心；

训练数据获取模块202，用于获取产品图像，对获取的产品图像进行关键点标注以及缺陷类别标注，构成训练数据；

训练模块203，用于设计损失函数，根据构建的检测模型和设计的损失函数，将标注好的训练数据输入构建的检测模型进行训练，得到训练好的检测模型，其中，关键属性包括尺寸信息和位置信息；

缺陷检测模块204，用于将待检测图像输入训练好的检测模型，获得检测结果，其中，检测结果包括缺陷的类别以及位置。

由于本发明实施例二所介绍的装置，为实施本发明实施例一中基于特征图中心点的缺陷检测方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。

实施例三

基于同一发明构思，本申请还提供了一种计算机设备，请参见图9，包括存储器401、处理器402及存储在存储器上并可在处理器上运行的计算机程序403，处理器执行上述程序时实现实施例一中的方法。

由于本发明实施例三所介绍的计算机设备为实施本发明实施例一中基于特征图中心点的缺陷检测方法所采用的计算机设备，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该计算机设备的具体结构及变形，故而在此不再赘述。凡是本发明实施例一中方法所采用的计算机设备都属于本发明所欲保护的范围。

相比于现有技术，本发明采用的技术方案的有点和技术效果如下：

1、通过构建基于特征图中心点的检测模型来对待检测图像进行预测，检测模型在特征提取后是通过中心点向量计算目标框，不需要NMS过程，相对于传统的anchor-based的网络更省时间，因此可以大大提高检测效率。

2、对面板缺陷图像进行标注后构成训练数据，并设计损失函数对检测模型进行训练和优化，可以改善模型的预测效果。

3、本发明的检测模型在通过特征提取后的热力图(heat map)可以得出的目标中心点向量，通过修改目标中心点向量的设计，增加角度这一个维度，可以创新性地将正矩形的预选框扩展到可倾斜的矩形和菱形，从而可以适用不同形状的缺陷的检测。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于特征图中心点的缺陷检测方法，其特征在于，包括：

构建基于特征图中心点的检测模型，其中，所述检测模型为一个卷积网络，用于对输入的图像进行特征提取，获得一个热力图，热力图包含多个响应点，将满足预设条件的响应点作为峰值点，对应每个类别的中心；

获取产品图像，对获取的产品图像进行关键点标注以及缺陷类别标注，构成训练数据；

设计损失函数，根据构建的检测模型和设计的损失函数，将标注好的训练数据输入构建的检测模型进行训练，，得到训练好的检测模型；

将待检测图像输入训练好的检测模型，获得检测结果，其中，检测结果包括缺陷的类别以及位置。

2.如权利要求1所述的方法，其特征在于，所述对获取的产品图像进行关键点标注以及缺陷类别标注，构成训练数据，包括：

预先对预设数量的产品图像进行分析，确定用以预测缺陷的检测框的形状；

根据检测框的形状以及检测框与检测模型输出的正矩形框之间的对应关系计算出待标注关键点的坐标；

根据待标注关键点的坐标以及缺陷类别，对获取的产品图像进行关键点标注以及缺陷类别标注，构成训练数据。

3.如权利要求2所述的方法，其特征在于，卷积网络包括多个卷积层，所述方法还包括：

根据标注后的关键点的坐标，计算对应检测框的关键属性；

根据检测框的关键属性修改卷积网络的最后一层的向量，使最后一个卷积层输出的向量与预测缺陷的检测框的关键属性对应。

4.如权利要求2所述的方法，其特征在于，所述根据检测框的形状以及检测框与检测模型输出的正矩形框之间的对应关系计算出待标注关键点的坐标，包括：

当预测缺陷的检测框的形状为倾斜矩形时，根据倾斜矩形与矩形框之间的对应关系，获得倾斜矩形的三个顶点的坐标，将倾斜矩形的三个顶点的坐标作为待标注关键点的坐标。

5.如权利要求2所述的方法，其特征在于，所述根据检测框的形状以及检测框与检测模型输出的正矩形框之间的对应关系计算出待标注关键点的坐标，包括：

当预测缺陷的检测框的形状为倾斜菱形时，将矩形框的宽和高作为正菱形的长轴和短轴，获得倾斜菱形与正菱形的对应关系；

根据倾斜菱形与正菱形的对应关系，获得倾斜菱形的三个顶点的坐标，将倾斜菱形的三个顶点的坐标作为待标注关键点的坐标。

6.如权利要求3所述的方法，其特征在于，所述根据检测框的关键属性修改卷积网络的最后一层的向量，包括：

根据关键属性的数量和类型设置卷积网络的最后一层的向量的维度。

7.一种基于特征图中心点的缺陷检测装置，其特征在于，包括：

模型构建模块，用于构建基于特征图中心点的检测模型，其中，所述检测模型为一个卷积网络，用于对输入的图像进行特征提取，获得一个热力图，热力图包含多个响应点，将满足预设条件的响应点作为峰值点，对应每个类别的中心；

训练数据获取模块，用于获取产品图像，对获取的产品图像进行关键点标注以及缺陷类别标注，构成训练数据；

训练模块，用于设计损失函数，根据构建的检测模型和设计的损失函数，将标注好的训练数据输入构建的检测模型进行训练，得到训练好的检测模型；

缺陷检测模块，用于将待检测图像输入训练好的检测模型，获得检测结果，其中，检测结果包括缺陷的类别以及位置。

8.如权利要求7所述的装置，其特征在于，训练数据获取模块具体用于：

预先对预设数量的产品图像进行分析，确定用以预测缺陷的检测框的形状；

根据检测框的形状以及检测框与检测模型输出的正矩形框之间的对应关系计算出待标注关键点的坐标；

根据待标注关键点的坐标以及缺陷类别，对获取的产品图像进行关键点标注以及缺陷类别标注，构成训练数据。

9.如权利要求8所述的装置，其特征在于，卷积网络包括多个卷积层，所述装置还包括向量修改模块，用于：

根据标注后的关键点的坐标，计算对应检测框的关键属性；

根据检测框的关键属性修改卷积网络的最后一层的向量，使最后一个卷积层输出的向量与预测缺陷的检测框的关键属性对应。

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6中任一项权利要求所述的方法。

Images