CN115953403B

CN115953403B - 缺陷检测方法及装置

Info

Publication number: CN115953403B
Application number: CN202310238598.7A
Authority: CN
Inventors: 季珩; 侯大为; 潘正颐
Original assignee: Changzhou Weiyizhi Technology Co Ltd
Current assignee: Changzhou Weiyizhi Technology Co Ltd
Priority date: 2023-03-14
Filing date: 2023-03-14
Publication date: 2023-05-30
Anticipated expiration: 2043-03-14
Also published as: CN115953403A

Abstract

本发明涉及工业质检技术领域，提供一种缺陷检测方法及装置，其中，方法包括：获取缺陷标注图像集，并基于缺陷标注图像集对第一神经网络和第二神经网络进行训练；得到待检测工件图像对应的候选框位置图像、待检测工件图像对应于每种缺陷类别的第一置信度；计算预设数量的缺陷标注图像对应的第二置信度；根据第一置信度、第二置信度，得到待检测工件图像的第三置信度，根据第三置信度确定待检测工件图像的目标缺陷类别。由此，无需使用非商业用途算子，不仅可以用于工业用途，而且只需要少量数据即可实现检测，可以降低错检的概率，改善检出效果，对于小样本缺陷有较好的检出性能。

Description

缺陷检测方法及装置

技术领域

本发明涉及工业质检技术领域，具体涉及一种缺陷检测方法和一种缺陷检测装置。

背景技术

工业质检中，有各种缺陷，在缺陷检测中，需要检测的缺陷的样式各种各样。小样本的定义：缺陷数据中，某类缺陷的样式特别少，比如正常缺陷有几百个样本，此类缺陷有三十个样本，那么此类缺陷就定义为小样本缺陷。通常的，在工业质检的产线上，经常会有某种缺陷非常少的情况，把小样本的缺陷直接送入目标检测模型，由于数据特别少，会导致缺陷检出能力很弱，会漏检。对此，相关技术中的缺陷检测方法有：传统视觉算法（如OpenCV（一个用于图像处理、分析、机器视觉方面的开源函数库）等）、通用深度学习模型等。

然而，在检测小样本缺陷时，这些方法都有不足之处。比如：传统视觉算法：利用OpenCV或者其他开源库的算子来实现缺陷检测，但由于计算资源损耗大、耗时长、一些算法不能用于商业用途等原因，导致该方法在工业中并不适用；通用深度学习模型：其训练需要大量的数据，且对于小样本缺陷并不能有很好的检出性能。

发明内容

本发明为解决相关技术中对于小样本缺陷的检测算法不适用于工业、对于小样本缺陷并不具备很好的检出性能的问题，提出了如下技术方案。

本发明第一方面实施例提出了一种缺陷检测方法，包括：获取缺陷标注图像集，并基于所述缺陷标注图像集对第一神经网络和第二神经网络进行训练，其中，所述第一神经网络与所述第二神经网络不同；获取待检测工件图像，并确定所述待检测工件图像对应的多种缺陷类别；将所述待检测工件图像进行预处理后送入训练后的第一神经网络，以得到所述待检测工件图像对应的候选框位置图像、所述待检测工件图像对应于每种所述缺陷类别的第一置信度；将所述候选框位置图像进行预处理后送入训练后的第二神经网络，以得到所述待检测工件图像的特征向量，并根据所述待检测工件图像的特征向量从所述缺陷标注图像集中选择预设数量的缺陷标注图像；计算预设数量的所述缺陷标注图像对应的第二置信度，其中，每个所述第二置信度对应于预设数量的所述缺陷标注图像对应的一种缺陷类别；根据所述待检测工件图像对应的第一置信度、预设数量的所述缺陷标注图像对应的第二置信度，确定所述待检测工件图像的目标缺陷类别。

另外，根据本发明上述实施例的缺陷检测方法还可以具有如下附加的技术特征。

根据本发明的一个实施例，基于所述缺陷标注图像集对第一神经网络和第二神经网络进行训练，包括：对所述缺陷标注图像集中的每个缺陷标注图像进行预处理，以得到第一训练用图像集；对每个所述第一训练用图像中的缺陷进行切割，以得到第二训练用图像集；基于所述第一训练用图像集对第一神经网络进行训练；基于所述第二训练用图像集对第二神经网络进行训练。

根据本发明的一个实施例，根据所述待检测工件图像的特征向量从所述缺陷标注图像集中选择预设数量的缺陷标注图像，包括：计算所述第二训练用图像集中每个第二训练用图像的特征向量；从所有所述第二训练用图像的特征向量中选择预设数量的与所述待检测工件图像的特征向量最相近的特征向量，以得到选择的特征向量；从所述第二训练用图像集中获取所述选择的特征向量对应的第二训练用图像，以得到预设数量的第二训练用图像。

根据本发明的一个实施例，计算预设数量的所述缺陷标注图像对应的第二置信度，包括：计算选择的每个第二训练用图像的特征向量与所述待检测工件图像的特征向量之间的欧式距离；根据所述欧式距离计算预设数量的所述第二训练用图像对应的第二置信度。

根据本发明的一个实施例，根据以下公式计算预设数量的第二训练用图像对应的第二置信度：

其中，L_c为第c种预设数量的所述第二训练用图像中的缺陷类别的第二置信度，l_j为预设数量的所述第二训练用图像中第j个第二训练用图像的特征向量与所述待检测工件图像的特征向量之间的欧式距离，m为所述预设数量的大小，n为第c种缺陷类别对应的第二训练用图像在预设数量中的个数，

为第c种缺陷类别对应的第i个第二训练用图像的特征向量与所述待检测工件图像的特征向量之间的欧式距离。

根据本发明的一个实施例，根据所述待检测工件图像对应的第一置信度、预设数量的所述缺陷标注图像对应的第二置信度，确定所述待检测工件图像的目标缺陷类别，包括：根据所述待检测工件图像对应的第一置信度、预设数量的所述缺陷标注图像对应的第二置信度，确定所述待检测工件图像对应的第二置信度；根据所述待检测工件图像对应的第一置信度和第二置信度，确定所述待检测工件图像的目标缺陷类别。

根据本发明的一个实施例，根据所述待检测工件图像对应的第一置信度、预设数量的所述缺陷标注图像对应的第二置信度，确定所述待检测工件图像对应的第二置信度，包括：在预设数量的所述缺陷标注图像中的所有缺陷类别中存在与所述待检测工件图像对应的缺陷类别匹配的缺陷类别时，从预设数量的所述缺陷标注图像中的所有缺陷类别中，选择与所述待检测工件图像对应的缺陷类别匹配的缺陷类别，并从所有第二置信度中得到选择的缺陷类别的第二置信度，作为所述待检测工件图像对应的第二置信度；在预设数量的所述缺陷标注图像中的所有缺陷类别中不存在与所述待检测工件图像对应的缺陷类别匹配的缺陷类别时，将所述待检测工件图像对应的第二置信度设为0。

根据本发明的一个实施例，根据所述待检测工件图像对应的第一置信度和第二置信度，确定所述待检测工件图像的目标缺陷类别，包括：根据所述待检测工件图像对应的所述第一置信度和所述第二置信度，计算所述待检测工件图对应像的第三置信度；从所有所述第三置信度中选择最大置信度；从所述待检测工件图像中的所有缺陷类别中选择所述最大置信度对应的缺陷类别，作为所述待检测工件图像的目标缺陷类别；其中，根据以下公式计算所述待检测工件图像对应的第三置信度：

其中，

为所述待检测工件图像中第e种缺陷类别的第三置信度，/>

为所述待检测工件图像中第e种缺陷类别的第一置信度，L_e为所述待检测工件图像中第e种缺陷类别的第二置信度，/>

为系数、取值范围为[0,1]。

根据本发明的一个实施例，所述第一神经网络为Faster RCNN网络，所述第二神经网络为Triple Net网络。

本发明第二方面实施例提出了一种缺陷检测装置，包括：训练模块，用于获取缺陷标注图像集，并基于所述缺陷标注图像集对第一神经网络和第二神经网络进行训练，其中，所述第一神经网络与所述第二神经网络不同；获取模块，用于获取待检测工件图像，并确定所述待检测工件图像对应的多种缺陷类别；第一检测模块，用于将所述待检测工件图像进行预处理后送入训练后的第一神经网络，以得到所述待检测工件图像对应的候选框位置图像、所述待检测工件图像对应于每种所述缺陷类别的第一置信度；第二检测模块，用于将所述候选框位置图像进行预处理后送入训练后的第二神经网络，以得到所述待检测工件图像的特征向量，并根据所述待检测工件图像的特征向量从所述缺陷标注图像集中选择预设数量的缺陷标注图像；计算模块，用于计算预设数量的所述缺陷标注图像对应的第二置信度，其中，每个所述第二置信度对应于预设数量的所述缺陷标注图像中的一种缺陷类别；确定模块，用于根据所述待检测工件图像对应的第一置信度、预设数量的所述缺陷标注图像对应的第二置信度，确定所述待检测工件图像的目标缺陷类别。

本发明实施例的技术方案，将待检测工件图像送入训练后的第一神经网络，以得到候选框位置图像和多个第一置信度，将候选框位置图像进行预处理后送入训练后的第二神经网络，以得到特征向量，并根据特征向量选择出预设数量的缺陷标注图像，之后计算选择的缺陷标注图像对应的第二置信度，根据第一置信度和第二置信度确定待检测工件图像的目标缺陷类别。由此，无需使用非商业用途算子，不仅可以用于工业用途，而且只需要少量数据即可实现检测，可以降低错检的概率，改善检出效果，对于小样本缺陷有较好的检出性能。

附图说明

图1为本发明实施例的缺陷检测方法的流程图。

图2为本发明一个示例中对待检测工件图像进行缺陷检测的网络示意图。

图3为本发明实施例的缺陷检测装置的方框示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例的缺陷检测方法的流程图。

如图1所示，该缺陷检测方法包括以下步骤S1至S6。

S1，获取缺陷标注图像集，并基于缺陷标注图像集对第一神经网络和第二神经网络进行训练，其中，第一神经网络与第二神经网络不同。

其中，缺陷标注图像集中的缺陷标注图像是通过对拍摄的工件图像中的缺陷进行标注得到的。

其中，第一神经网络的作用是进行缺陷检测，可以根据输入图像输出候选框位置图像和输入图像对应于多种缺陷类别的置信度，第二神经网络的作用是识别输入图像与正负样本的相似度。第一神经网络可以为Faster RCNN网络（目标检测网络），第二神经网络可以为Triple Net网络（三元组网络）。

具体地，在准备好缺陷标注图像集后，可对缺陷标注图像进行预处理，之后基于预处理后的缺陷标注图像分别对第一神经网络和第二神经网络进行训练。

S2，获取待检测工件图像，并确定待检测工件图像对应的多种缺陷类别。

具体地，可从工业产线上获取待检测工件图像，并事先确定待检测工件图像对应的多种缺陷类别，例如刮伤、凹痕等缺陷类别。

实际应用中，可先执行步骤S1、后执行步骤S2，也可先执行步骤S2、后执行步骤S1，还可同时执行步骤S1和步骤S2。

S3，将待检测工件图像进行预处理后送入训练后的第一神经网络，以得到待检测工件图像对应的候选框位置图像、待检测工件图像对应于每种缺陷类别的第一置信度。

其中，候选框位置图像是指训练后的第一神经网络根据待检测工件图像预测出的包含缺陷所在位置框的图像。第一置信度是指训练后的第一神经网络输出的待检测工件图像对应于事先确定好的缺陷类别的置信度。

进一步地，预处理可包括增强处理和切割处理中的至少一种。

具体地，为了提高后续的检测效果，可将待检测工件图像先进行预处理，例如切割处理，之后，将预处理后的待检测工件图像送入训练后的第一神经网络，以得到待检测工件图像对应的候选框位置图像、对应于多种缺陷类别的第一置信度。比如，待检测工件图像属于刮伤类别的第一置信度、属于凹痕类别的第一置信度等，由此即可得到待检测工件图像对应的多个第一置信度。

S4，将候选框位置图像进行预处理后送入训练后的第二神经网络，以得到待检测工件图像的特征向量，并根据待检测工件图像的特征向量从缺陷标注图像集中选择预设数量的缺陷标注图像。

具体地，为了进一步提高检测准确度，可将候选框位置图像进行预处理，例如切割处理后送入训练后的第二神经网络，进而训练后的第二神经网络输出一个特征向量。通过该特征向量从缺陷标注图像集中选择预设数量，比如10个类别最相近的缺陷标注图像，该预设数量的缺陷标注图像中，存在至少一种缺陷类别，比如10个缺陷标注图像中存在一种、两种或者三种缺陷类别。

在选择类别最相近的缺陷标注图像时，可先计算特征向量分别与所有缺陷标注图像之间的欧式距离，其中，欧式距离越小，说明缺陷标注图像与特征向量越相近，于是从所有欧式距离中选择预设数量的欧式距离最小的缺陷标注图像。

S5，计算预设数量的缺陷标注图像对应的第二置信度，其中，每个第二置信度对应于预设数量的缺陷标注图像中的一种缺陷类别。

其中，第二置信度是指选择的预设数量的缺陷标注图像中的缺陷类别对应的置信度。

具体地，在选择出预设数量的缺陷标注图像后，确定预设数量的缺陷标注图像对应的所有缺陷类别，并对于预设数量的缺陷标注图像对应的所有缺陷类别，可根据欧式距离计算每种缺陷类别的第二置信度，由此即可得到预设数量的缺陷标注图像对应的第二置信度。

S6，根据待检测工件图像对应的第一置信度、预设数量的缺陷标注图像对应的第二置信度，确定待检测工件图像的目标缺陷类别。

具体地，可根据待检测工件图像对应的第一置信度、预设数量的缺陷标注图像对应的第二置信度，确定待检测工件图像对应于事先确定好的缺陷类别的第二置信度，从而得到待检测工件图像对应的多组一一对应的第一置信度和第二置信度。得到待检测工件图像对应的多组一一对应的第一置信度和第二置信度后，可结合多组一一对应的第一置信度和第二置信度，确定待检测工件图像的目标缺陷类别。由此可以得到待检测工件中缺陷的位置（步骤S3中得到的）和目标缺陷类别。

基于上述描述可知，本发明实施例无需使用一些非商业算子，可以用于工业领域，即采用训练后的第一神经网络和训练后的第二神经网络进行缺陷的检测：先将待检测工件图像送入训练后的第一神经网络，以得到标注缺陷所在的位置的候选框位置图像和多个第一置信度，之后，将候选框位置图像进行预处理后输入训练后的第二神经网络，以得到特征向量，并根据特征向量选择出预设数量的与特征向量最相近的缺陷标注图像，之后计算选择的缺陷标注图像中每种缺陷类别对应的第二置信度，最后，根据第一置信度和第二置信度确定待检测工件的目标缺陷类别。

本发明实施例的缺陷检测方法，无需使用非商业用途算子，不仅可以用于工业用途，而且只需要少量数据即可实现检测，可以降低错检的概率，改善检出效果，对于小样本缺陷有较好的检出性能。

在本发明的一个实施例中，基于缺陷标注图像集对第一神经网络和第二神经网络进行训练，可包括：对缺陷标注图像集中的每个缺陷标注图像进行预处理，以得到第一训练用图像集；对每个第一训练用图像中的缺陷进行切割，以得到第二训练用图像集；基于第一训练用图像集对第一神经网络进行训练；基于第二训练用图像集对第二神经网络进行训练。

进一步地，预处理包括增强处理和切割处理中的至少一种，其中，增强处理可包括旋转、翻转和对比度调整中的至少一种。

具体而言，为了提高后续检测效果，可先对每个缺陷标注图像进行旋转、翻转和/或对比度调整等增强处理，之后可对增强后的缺陷标注图像进行切割处理，比如将分辨率为1024*1024的图像切割为分辨率为768*768的图像，以减少数据量，从而得到第一训练用图像集，用来对Faster RCNN网络进行训练，即：将第一训练用图像集送入Faster RCNN网络中，进行常规的卷积神经网络训练操作，经过不断训练迭代，获得训练后的Faster RCNN网络。将缺陷标注图像集进行预处理后送入Faster RCNN网络进行训练，可以提高模型的训练效率。

将第一训练用图像集中的每个第一训练用图像中的缺陷进行切割，具体可根据缺陷的大小进行切割，比如可从第一训练用图像中切割出尺寸为128或者224的第二训练用图像，从而得到第二训练用图像集，用来对Triple Net网络进行训练，即：对于每个第二训练用图像，从第二训练用图像集中选择其对应的正样本和负样本，每个第二训练用图像及其对应的正样本和负样本组成三元组图像，并将三元组图像送入Triple Net网络进行训练，优化第二训练用图像与正样本间的欧式距离、与第二训练用图像与负样本的欧式距离之间的关系。

之后，可将待检测工件图像依次进行增强、切割处理后送入训练后的Faster RCNN网络，经过RPN和ROI层，获取待检测工件图像对应的候选框位置图像、待检测工件图像对应于多种缺陷类别的第一置信度。将候选框位置图像进行切割以减小尺寸后送入训练后的Triple Net网络，进而训练后的Triple Net网络输出一个特征向量，可从第二训练用图像集中选择预设数量的与该特征向量最相近的第二训练用图像。

即在本发明的一个实施例中，根据待检测工件图像的特征向量从缺陷标注图像集中选择预设数量的缺陷标注图像，包括：计算第二训练用图像集中每个第二训练用图像的特征向量；从所有第二训练用图像的特征向量中选择预设数量的与待检测工件图像的特征向量最相近的特征向量，以得到选择的特征向量；从第二训练用图像集中获取选择的特征向量对应的第二训练用图像，以得到预设数量的第二训练用图像。

具体而言，在得到第二训练用图像集后，计算第二训练用图像集中每个第二训练用图像的特征向量，得到所有第二训练用图像的特征向量，从所有特征向量中选择10个与待检测工件图像的特征向量最相近的特征向量，以得到选择的10个特征向量，之后，从第二训练用图像集中选择该10个特征向量对应的第二训练用图像，即可得到10个第二训练用图像。

在一个示例中，计算预设数量的缺陷标注图像对应的第二置信度，可包括：计算选择的每个第二训练用图像的特征向量与待检测工件图像的特征向量之间的欧式距离；根据欧式距离计算预设数量的第二训练用图像对应的第二置信度。

进一步地，根据以下公式计算预设数量的第二训练用图像对应的第二置信度：

（1）

其中，L_c为预设数量的第二训练用图像中的第c种缺陷类别的第二置信度，l_j为预设数量的第二训练用图像中第j个第二训练用图像的特征向量与待检测工件图像的特征向量之间的欧式距离，m为预设数量的大小（比如10个），n为第c种缺陷类别对应的第二训练用图像在预设数量m中的个数，

为第c种缺陷类别对应的第i个第二训练用图像的特征向量与待检测工件图像的特征向量之间的欧式距离。

具体而言，在选择出预设数量的缺陷类别最相近的第二训练用图像之后，计算选择的每个第二训练用图像与特征向量之间的欧式距离，之后，采用欧式距离根据公式（1）计算出预设数量的第二训练用图像对应的每种缺陷类别的第二置信度。

之后，根据待检测工件图像对应的第一置信度、预设数量的缺陷标注图像对应的第二置信度，确定待检测工件图像的目标缺陷类别。

在本发明的一个实施例中，根据待检测工件图像对应的第一置信度、预设数量的缺陷标注图像对应的第二置信度，确定待检测工件图像的目标缺陷类别，可包括：根据待检测工件图像对应的第一置信度、预设数量的缺陷标注图像对应的第二置信度，确定待检测工件图像对应的第二置信度；根据待检测工件图像对应的第一置信度和第二置信度，确定待检测工件图像的目标缺陷类别。

在一个示例中，根据待检测工件图像对应的第一置信度、预设数量的缺陷标注图像对应的第二置信度，确定待检测工件图像对应的第二置信度，可包括：在预设数量的缺陷标注图像中的所有缺陷类别中存在与待检测工件图像对应的缺陷类别匹配的缺陷类别时，从预设数量的缺陷标注图像中的所有缺陷类别中，选择与待检测工件图像对应的缺陷类别匹配的缺陷类别，并从所有第二置信度中得到选择的缺陷类别的第二置信度，作为待检测工件图像对应的第二置信度；在预设数量的缺陷标注图像中的所有缺陷类别中不存在与待检测工件图像对应的缺陷类别匹配的缺陷类别时，将待检测工件图像对应的第二置信度设为0。

进一步地，根据待检测工件图像对应的第一置信度和第二置信度，确定待检测工件图像的目标缺陷类别，可包括：根据待检测工件图像对应的第一置信度和第二置信度，计算待检测工件图像对应的第三置信度；从所有第三置信度中选择最大置信度；从待检测工件图像中的所有缺陷类别中选择最大置信度对应的缺陷类别，作为待检测工件图像的目标缺陷类别。

其中，可根据以下公式计算待检测工件图像对应的第三置信度：

（2）

其中，

为待检测工件图像中第e种缺陷类别的第三置信度，/>

为待检测工件图像中第e种缺陷类别的第一置信度，L_e为待检测工件图像中第e种缺陷类别的第二置信度，/>

为系数、取值范围为[0,1]。

具体而言，在得到待检测工件图像对应的第一置信度和预设数量的第二训练用图像对应的第二置信度后，由于预设数量的第二训练用图像对应的缺陷类别与待检测工件图像对应的缺陷类别可能完全一一匹配，也可能存在部分缺陷类别匹配，于是此时需要判断预设数量的第二训练用图像对应的所有缺陷类别中是否存在与待检测工件图像对应的缺陷类别匹配的缺陷类别，即对于待检测工件图像对应的每种缺陷类别，判断是否存在与其匹配的预设数量的第二训练用图像对应的缺陷类别，当预设数量的第二训练用图像对应的缺陷类别中存在待检测工件图像对应的某种缺陷类别时，即可从所有第二置信度中直接获取待检测工件图像对应的某种缺陷类别的第二置信度，从而得到待检测工件图像某种缺陷类别的第二置信度；当预设数量的第二训练用图像对应的缺陷类别中不存在待检测工件图像对应的某种缺陷类别时，可将待检测工件图像对应的某种缺陷类别的第二置信度设为0，从而也得到待检测工件图像某种缺陷类别的第二置信度。

比如，对于待检测工件图像的刮伤类别，判断10个第二训练用图像对应的缺陷类别中是否也存在刮伤类别，如果存在，则从所有第二置信度中选择刮伤类别对应的第二置信度，从而即可直接得到待检测工件图像对应的缺陷类别的第二置信度；如果不存在，则将刮伤类别的第二置信度设为0，从而也得到了待检测工件图像对应的缺陷类别的第二置信度，于是，得到了待检测工件图像对应的每种缺陷类别的第二置信度。

之后，结合待检测工件图像对应的每种缺陷类别的第一置信度和第二置信度，根据公式（2）计算出待检测工件图像对应的每种缺陷类别的第三置信度，从而得到多个第三置信度，可通过非极大值抑制方法从多个第三置信度中选择出最大置信度，该最大置信度对应的缺陷类别，比如刮伤类别，即为待检测工件图像的目标缺陷类别。

如图2所示，待检测工件图像依次经过卷积层、切割处理、卷积层后得到其特征向量，再根据特征向量得到多个第二置信度，待检测工件图像依次经过卷积层、特征提取、候选框选择、候选框池化、卷积层、全连接后得到第一置信度，之后根据第一置信度和第二置信度计算得到第三置信度，最后根据非极大值抑制方法选择出最大置信度，从而得到最终结果。

也就是说，本发明实施例根据公式（2）将通过训练后的Faster RCNN网络得到的第一置信度与训练后的Triple Net网络得到的第二置信度进行合并，来得到待检测工件图像的目标缺陷类别。

综上所述，本发明实施例针对工业领域缺少样本或者样本不够时，通过通用目标检测模型训练，对于小样本缺陷的学习并不充分，在检测过程中会导致检测分数低和检错，导致检出的指标很差，不符合检测需求的问题，采用Faster RCNN 网络和Triple Net网络，且对于Faster RCNN网络的输出结果进行优化，以有效解决上述问题。本发明实施例：只需要少量数据，可以检测某些缺陷表征比较少的情况，提升小样本缺陷的检出性能。

对应上述实施例的缺陷检测方法，本发明还提出一种缺陷检测装置。

图3为本发明实施例的缺陷检测装置的方框示意图。

如图3所示，该缺陷检测装置100包括：训练模块10、获取模块20、第一检测模块30、第二检测模块40、计算模块50及确定模块60。

其中，训练模块10用于获取缺陷标注图像集，并基于缺陷标注图像集对第一神经网络和第二神经网络进行训练，其中，第一神经网络与第二神经网络不同；获取模块20用于获取待检测工件图像，并确定待检测工件图像对应的多种缺陷类别；第一检测模块30用于将待检测工件图像进行预处理后送入训练后的第一神经网络，以得到待检测工件图像对应的候选框位置图像、待检测工件图像对应于每种缺陷类别的第一置信度；第二检测模块40用于将候选框位置图像进行预处理后送入训练后的第二神经网络，以得到待检测工件图像的特征向量，并根据待检测工件图像的特征向量从缺陷标注图像集中选择预设数量的缺陷标注图像；计算模块50用于计算预设数量的缺陷标注图像对应的第二置信度，其中，每个第二置信度对应于预设数量的缺陷标注图像中的一种缺陷类别；确定模块60用于根据待检测工件图像对应的第一置信度、预设数量的缺陷标注图像对应的第二置信度，确定待检测工件图像的目标缺陷类别。

在本发明的一个实施例中，训练模块10具体用于：对缺陷标注图像集中的每个缺陷标注图像进行预处理，以得到第一训练用图像集；对每个第一训练用图像中的缺陷进行切割，以得到第二训练用图像集；基于第一训练用图像集对第一神经网络进行训练；基于第二训练用图像集对第二神经网络进行训练。

在本发明的一个实施例中，第二检测模块40在根据待检测工件图像的特征向量从缺陷标注图像集中选择预设数量的缺陷标注图像时，具体用于：计算第二训练用图像集中每个第二训练用图像的特征向量；从所有第二训练用图像的特征向量中选择预设数量的与待检测工件图像的特征向量最相近的特征向量，以得到选择的特征向量；从第二训练用图像集中获取选择的特征向量对应的第二训练用图像，以得到预设数量的第二训练用图像。

在本发明的一个实施例中，计算模块50在计算预设数量的缺陷标注图像对应的第二置信度时，具体用于：计算选择的每个第二训练用图像的特征向量与待检测工件图像的特征向量之间的欧式距离；根据欧式距离计算预设数量的第二训练用图像对应的第二置信度。

在本发明的一个实施例中，计算模块50具体用于：根据以下公式计算预设数量的第二训练用图像对应的第二置信度：

其中，L_c为预设数量的第二训练用图像中的第c种缺陷类别的第二置信度，l_j为预设数量的第二训练用图像中第j个第二训练用图像的特征向量与待检测工件图像的特征向量之间的欧式距离，m为预设数量的大小，n为第c种缺陷类别对应的第二训练用图像在预设数量中的个数，

在本发明的一个实施例中，确定模块60具体用于：根据待检测工件图像对应的第一置信度、预设数量的缺陷标注图像对应的第二置信度，确定待检测工件图像对应的第二置信度；根据待检测工件图像对应的第一置信度和第二置信度，确定待检测工件图像的目标缺陷类别。

在本发明的一个实施例中，确定模块60在根据待检测工件图像对应的第一置信度、预设数量的缺陷标注图像对应的第二置信度，确定待检测工件图像对应的第二置信度时，具体用于：在预设数量的所述缺陷标注图像中的所有缺陷类别中存在与所述待检测工件图像对应的缺陷类别匹配的缺陷类别时，从预设数量的缺陷标注图像中的所有缺陷类别中，选择与待检测工件图像对应的缺陷类别匹配的缺陷类别，并从所有第二置信度中得到选择的缺陷类别的第二置信度，作为待检测工件图像对应的第二置信度；在预设数量的缺陷标注图像中的所有缺陷类别中不存在与待检测工件图像对应的缺陷类别匹配的缺陷类别时，将待检测工件图像对应的第二置信度设为0。

在本发明的一个实施例中，确定模块60在根据待检测工件图像对应的第一置信度和第二置信度，确定待检测工件图像的目标缺陷类别时，具体用于：根据待检测工件图像对应的第一置信度和第二置信度，计算待检测工件图像对应的第三置信度；从所有第三置信度中选择最大置信度；从待检测工件图像中的所有缺陷类别中选择最大置信度对应的缺陷类别，作为待检测工件图像的目标缺陷类别；其中，根据以下公式计算待检测工件图像对应的第三置信度：

其中，

为所述待检测工件图像中第e种缺陷类别的第三置信度，/>

为系数、取值范围为[0,1]。

在本发明的一个实施例中，第一神经网络为Faster RCNN网络，第二神经网络为Triple Net网络。

需要说明的是，该缺陷检测装置的具体实施方式及实施原理可参见上述缺陷检测方法的具体实施方式，为避免冗余，此处不再详细赘述。

本发明实施例的缺陷检测装置，无需使用非商业用途算子，不仅可以用于工业用途，而且只需要少量数据即可实现检测，可以降低错检的概率，改善检出效果，对于小样本缺陷有较好的检出性能。

在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种缺陷检测方法，其特征在于，包括：

获取缺陷标注图像集，并基于所述缺陷标注图像集对第一神经网络和第二神经网络进行训练，其中，所述第一神经网络与所述第二神经网络不同；

获取待检测工件图像，并确定所述待检测工件图像对应的多种缺陷类别；

将所述待检测工件图像进行预处理后送入训练后的第一神经网络，以得到所述待检测工件图像对应的候选框位置图像、所述待检测工件图像对应于每种所述缺陷类别的第一置信度；

将所述候选框位置图像进行预处理后送入训练后的第二神经网络，以得到所述待检测工件图像的特征向量，并根据所述待检测工件图像的特征向量从所述缺陷标注图像集中选择预设数量的缺陷标注图像；

计算预设数量的所述缺陷标注图像对应的第二置信度，其中，每个所述第二置信度对应于预设数量的所述缺陷标注图像对应的一种缺陷类别；

根据所述待检测工件图像对应的第一置信度、预设数量的所述缺陷标注图像对应的第二置信度，确定所述待检测工件图像的目标缺陷类别，

根据所述待检测工件图像对应的第一置信度、预设数量的所述缺陷标注图像对应的第二置信度，确定所述待检测工件图像的目标缺陷类别，包括：

根据所述待检测工件图像对应的第一置信度、预设数量的所述缺陷标注图像对应的第二置信度，确定所述待检测工件图像对应的第二置信度；

根据所述待检测工件图像对应的第一置信度和第二置信度，确定所述待检测工件图像的目标缺陷类别，

根据所述待检测工件图像对应的第一置信度、预设数量的所述缺陷标注图像对应的第二置信度，确定所述待检测工件图像对应的第二置信度，包括：

在预设数量的所述缺陷标注图像中的所有缺陷类别中存在与所述待检测工件图像对应的缺陷类别匹配的缺陷类别时，从预设数量的所述缺陷标注图像中的所有缺陷类别中，选择与所述待检测工件图像对应的缺陷类别匹配的缺陷类别，并从所有第二置信度中得到选择的缺陷类别的第二置信度，作为所述待检测工件图像对应的第二置信度；

在预设数量的所述缺陷标注图像中的所有缺陷类别中不存在与所述待检测工件图像对应的缺陷类别匹配的缺陷类别时，将所述待检测工件图像对应的第二置信度设为0。

2.根据权利要求1所述的缺陷检测方法，其特征在于，基于所述缺陷标注图像集对第一神经网络和第二神经网络进行训练，包括：

对所述缺陷标注图像集中的每个缺陷标注图像进行预处理，以得到第一训练用图像集；

对每个所述第一训练用图像中的缺陷进行切割，以得到第二训练用图像集；

基于所述第一训练用图像集对第一神经网络进行训练；

基于所述第二训练用图像集对第二神经网络进行训练。

3.根据权利要求2所述的缺陷检测方法，其特征在于，根据所述待检测工件图像的特征向量从所述缺陷标注图像集中选择预设数量的缺陷标注图像，包括：

计算所述第二训练用图像集中每个第二训练用图像的特征向量；

从所有所述第二训练用图像的特征向量中选择预设数量的与所述待检测工件图像的特征向量最相近的特征向量，以得到选择的特征向量；

从所述第二训练用图像集中获取所述选择的特征向量对应的第二训练用图像，以得到预设数量的第二训练用图像。

4.根据权利要求3所述的缺陷检测方法，其特征在于，计算预设数量的所述缺陷标注图像对应的第二置信度，包括：

计算选择的每个第二训练用图像的特征向量与所述待检测工件图像的特征向量之间的欧式距离；

根据所述欧式距离计算预设数量的第二训练用图像对应的第二置信度。

5.根据权利要求4所述的缺陷检测方法，其特征在于，根据以下公式计算预设数量的第二训练用图像对应的第二置信度：

，

其中，L_c为预设数量的所述第二训练用图像中的第c种缺陷类别的第二置信度，l_j为预设数量的所述第二训练用图像中第j个第二训练用图像的特征向量与所述待检测工件图像的特征向量之间的欧式距离，m为所述预设数量的大小，n为第c种缺陷类别对应的第二训练用图像在所述预设数量中的个数，

6.根据权利要求1所述的缺陷检测方法，其特征在于，根据所述待检测工件图像对应的第一置信度和第二置信度，确定所述待检测工件图像的目标缺陷类别，包括：

根据所述待检测工件图像对应的所述第一置信度和所述第二置信度，计算所述待检测工件图像对应的第三置信度；

从所有所述第三置信度中选择最大置信度；

从所述待检测工件图像中的所有缺陷类别中选择所述最大置信度对应的缺陷类别，作为所述待检测工件图像的目标缺陷类别；

其中，根据以下公式计算所述待检测工件图像对应的第三置信度：

，

其中，

为所述待检测工件图像中第e种缺陷类别的第三置信度，/>

为所述待检测工件图像中第e种缺陷类别的第一置信度，/>

为所述待检测工件图像中第e种缺陷类别的第二置信度，/>

为系数、取值范围为[0,1]。

7.根据权利要求1所述的缺陷检测方法，其特征在于，所述第一神经网络为FasterRCNN网络，所述第二神经网络为Triple Net网络。

8.一种缺陷检测装置，其特征在于，包括：

训练模块，用于获取缺陷标注图像集，并基于所述缺陷标注图像集对第一神经网络和第二神经网络进行训练，其中，所述第一神经网络与所述第二神经网络不同；

获取模块，用于获取待检测工件图像，并确定所述待检测工件图像对应的多种缺陷类别；

第一检测模块，用于将所述待检测工件图像进行预处理后送入训练后的第一神经网络，以得到所述待检测工件图像对应的候选框位置图像、所述待检测工件图像对应于每种所述缺陷类别的第一置信度；

第二检测模块，用于将所述候选框位置图像进行预处理后送入训练后的第二神经网络，以得到所述待检测工件图像的特征向量，并根据所述待检测工件图像的特征向量从所述缺陷标注图像集中选择预设数量的缺陷标注图像；

计算模块，用于计算预设数量的所述缺陷标注图像对应的第二置信度，其中，每个所述第二置信度对应于预设数量的所述缺陷标注图像中的一种缺陷类别；

确定模块，用于根据所述待检测工件图像对应的第一置信度、预设数量的所述缺陷标注图像对应的第二置信度，确定所述待检测工件图像的目标缺陷类别，

确定模块具体用于：根据待检测工件图像对应的第一置信度、预设数量的缺陷标注图像对应的第二置信度，确定待检测工件图像对应的第二置信度；根据待检测工件图像对应的第一置信度和第二置信度，确定待检测工件图像的目标缺陷类别，

确定模块在根据待检测工件图像对应的第一置信度、预设数量的缺陷标注图像对应的第二置信度，确定待检测工件图像对应的第二置信度时，具体用于：在预设数量的所述缺陷标注图像中的所有缺陷类别中存在与所述待检测工件图像对应的缺陷类别匹配的缺陷类别时，从预设数量的缺陷标注图像中的所有缺陷类别中，选择与待检测工件图像对应的缺陷类别匹配的缺陷类别，并从所有第二置信度中得到选择的缺陷类别的第二置信度，作为待检测工件图像对应的第二置信度；在预设数量的缺陷标注图像中的所有缺陷类别中不存在与待检测工件图像对应的缺陷类别匹配的缺陷类别时，将待检测工件图像对应的第二置信度设为0。