CN115861769A - 塑壳缺陷检测模型的训练方法、塑壳缺陷检测方法及装置 - Google Patents

Abstract

本申请提供一种塑壳缺陷检测模型的训练方法、塑壳缺陷检测方法及装置，该塑壳缺陷检测模型用于检测插套组装单元中的塑壳缺陷，插套组装单元包括铜件和围绕铜件设置的塑壳，塑壳缺陷检测模型的训练方法包括：获取铜件区域训练集，铜件区域训练集包括多张铜件区域图片和对应的第一分类标签，第一分类标签包括铜件区域有缺陷类别和铜件区域无缺陷类别；获取小样本参考集，小样本参考集包括多个插套组装单元图片和对应的第二分类标签，第二分类标签包括塑壳有缺陷类别和塑壳无缺陷类别；根据铜件区域训练集和小样本参考集对预训练模型进行小样本学习，得到塑壳缺陷检测模型。本申请可以提高塑壳缺陷检测的准确性。

Description

塑壳缺陷检测模型的训练方法、塑壳缺陷检测方法及装置

技术领域

本申请主要涉及图像处理技术领域，具体涉及一种塑壳缺陷检测模型的训练方法、塑壳缺陷检测方法及装置。

背景技术

86型插座广泛应用于生产生活中，而在86型插座的生产的中间环节，会组装成LNE插套组装单元，LNE插套组装单元包括铜件和塑壳，对其需要进行缺陷检测，缺陷检测的类型包括铜件的漏检、错装，塑壳破损等，其中塑壳破损缺陷由于生产过程中出现的频次少，同时应用相机拍摄后，破损后图片和正常图片相似等特点，较难进行检测。目前应用于工业领域的缺陷检测系统主要是利用CCD相机拍摄图片，基于图片进行检测判定，方法主要有两个大的方向：一个是基于模板匹配的传统方式，以正常图片为参考模板，利用缺陷图片和正常图片的局部位置上的差异性高，相似性低的特点进行区分判定，而针对LNE插套组装单元塑壳破损缺陷，由于一方面组件可能发生一定旋转，另一方面部分型号产品塑壳破损前后颜色特征相近等原因，使用模板匹配方法针对塑壳破损无法做到很好检测。另一个方向是基于深度学习方向，以正常样本和缺陷样本作为训练集，训练得到深度学习分类模型进行预测判定，但深度学习分类训练对正负样本的数据量有一定要求，由于塑壳破损样本较少，直接训练深度学习分类模型的预测准确度较低。

也即，现有技术中塑壳缺陷检测的准确度较低。

发明内容

本申请提供一种塑壳缺陷检测模型的训练方法、塑壳缺陷检测方法及装置，旨在解决现有技术中塑壳缺陷检测的准确度较低的问题。

第一方面，本申请提供一种塑壳缺陷检测模型的训练方法，所述塑壳缺陷检测模型用于检测插套组装单元中的塑壳缺陷，所述插套组装单元包括铜件和围绕所述铜件设置的塑壳，所述塑壳缺陷检测模型的训练方法包括：

获取铜件区域训练集，所述铜件区域训练集包括多张铜件区域图片和对应的第一分类标签，所述第一分类标签包括铜件区域有缺陷类别和铜件区域无缺陷类别；

获取小样本参考集，所述小样本参考集包括多个插套组装单元图片和对应的第二分类标签，所述第二分类标签包括塑壳有缺陷类别和塑壳无缺陷类别；

根据所述铜件区域训练集和所述小样本参考集对预训练模型进行小样本学习，得到塑壳缺陷检测模型。

可选地，所述根据所述铜件区域训练集和所述小样本参考集对预训练模型进行小样本学习，得到塑壳缺陷检测模型，包括：

根据所述铜件区域训练集对预训练模型进行图像分类训练，获取网络权重模型；

根据所述小样本参考集对所述网络权重模型进行小样本训练，得到塑壳缺陷检测模型。

可选地，所述获取铜件区域训练集，包括：

获取所述插套组装单元的原始图片集；

在所述原始图片集中各原始图片定位铜件区域；

根据所述铜件区域确定每个所述铜件区域的第一标注信息；

分别根据每个所述第一标注信息切分对应的原始图片，得到铜件区域训练集。

可选地，所述分别根据每个所述第一标注信息切分对应的原始图片，得到铜件区域训练集，包括：

在所述原始图片集中各原始图片定位插套组装单元整体区域；

根据所述插套组装单元整体区域确定每个所述插套组装单元整体区域的第二标注信息；

利用所述第二标注信息切分所述原始图片中插套组装单元整体区域，得到插套组装单元图片；

利用所述第一标注信息切分所述插套组装单元图片得到铜件区域图片。

可选地，所述在所述原始图片集中各原始图片定位铜件区域，包括：

采用目标检测权重模型在所述原始图片集中各原始图片定位铜件区域。

可选地，所述根据所述小样本参考集对所述网络权重模型进行小样本训练，得到塑壳缺陷检测模型，包括：

根据所述小样本参考集对所述网络权重模型进行小样本训练，得到分类小样本权重模型；

在预设验证集上对所述目标检测权重模型和所述分类小样本权重模型进行测试，得到测试问题数据；

将所述测试问题数据加入到所述小样本参考集，对分类小样本权重模型进行训练，得到塑壳缺陷检测模型。

第二方面，本申请提供一种塑壳缺陷检测方法，所述塑壳缺陷检测方法包括：

获取待识别插座图像；

将所述待识别插座图像输入塑壳缺陷检测模型，得到塑壳缺陷检测结果，所述塑壳缺陷检测结果为塑壳有缺陷类别或者塑壳无缺陷类别，所述塑壳缺陷检测模型为第一方面任意一项所述的塑壳缺陷检测模型。

第三方面，本申请提供一种塑壳缺陷检测模型的训练装置，所述塑壳缺陷检测模型用于检测插套组装单元中的塑壳缺陷，所述插套组装单元包括铜件和围绕所述铜件设置的塑壳，所述塑壳缺陷检测模型的训练装置包括：

第一获取单元，用于获取铜件区域训练集，所述铜件区域训练集包括多张铜件区域图片和对应的第一分类标签，所述第一分类标签包括铜件区域有缺陷类别和铜件区域无缺陷类别；

第二获取单元，用于获取小样本参考集，所述小样本参考集包括多个插套组装单元图片和对应的第二分类标签，所述第二分类标签包括塑壳有缺陷类别和塑壳无缺陷类别；

模型训练单元，用于根据所述铜件区域训练集和所述小样本参考集对预训练模型进行小样本学习，得到塑壳缺陷检测模型。

可选地，所述模型训练单元，用于：

根据所述铜件区域训练集对预训练模型进行图像分类训练，获取网络权重模型；

根据所述小样本参考集对所述网络权重模型进行小样本训练，得到塑壳缺陷检测模型。

可选地，所述第一获取单元，用于：

获取所述插套组装单元的原始图片集；

在所述原始图片集中各原始图片定位铜件区域；

根据所述铜件区域确定每个所述铜件区域的第一标注信息；

分别根据每个所述第一标注信息切分对应的原始图片，得到铜件区域训练集。

可选地，所述第一获取单元，用于：

在所述原始图片集中各原始图片定位插套组装单元整体区域；

根据所述插套组装单元整体区域确定每个所述插套组装单元整体区域的第二标注信息；

利用所述第二标注信息切分所述原始图片中插套组装单元整体区域，得到插套组装单元图片；

利用所述第一标注信息切分所述插套组装单元图片得到铜件区域图片。

可选地，所述第一获取单元，用于：

采用目标检测权重模型在所述原始图片集中各原始图片定位铜件区域。

可选地，所述模型训练单元，用于：

根据所述小样本参考集对所述网络权重模型进行小样本训练，得到分类小样本权重模型；

在预设验证集上对所述目标检测权重模型和所述分类小样本权重模型进行测试，得到测试问题数据；

将所述测试问题数据加入到所述小样本参考集，对分类小样本权重模型进行训练，得到塑壳缺陷检测模型。

第四方面，本申请提供一种塑壳缺陷检测装置，用于检测插套组装单元中的塑壳缺陷，所述插套组装单元包括铜件和围绕所述铜件设置的塑壳，所述塑壳缺陷检测装置包括：

图像获取单元，用于获取待识别插座图像；

缺陷检测单元，用于将所述待识别插座图像输入塑壳缺陷检测模型，得到塑壳缺陷检测结果，所述塑壳缺陷检测结果为塑壳有缺陷类别或者塑壳无缺陷类别，所述塑壳缺陷检测模型为第一方面任意一项所述的塑壳缺陷检测模型。

第五方面，本申请提供一种计算机设备，所述计算机设备包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现第一方面中任一项所述的塑壳缺陷检测模型的训练方法或者第二方面中任一项所述的塑壳缺陷检测方法。

第六方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行第一方面中任一项所述的塑壳缺陷检测模型的训练方法或者第二方面中任一项所述的塑壳缺陷检测方法中的步骤。

本申请提供一种塑壳缺陷检测模型的训练方法、塑壳缺陷检测方法及装置，该塑壳缺陷检测模型用于检测插套组装单元中的塑壳缺陷，插套组装单元包括铜件和围绕铜件设置的塑壳，塑壳缺陷检测模型的训练方法包括：获取铜件区域训练集，铜件区域训练集包括多张铜件区域图片和对应的第一分类标签，第一分类标签包括铜件区域有缺陷类别和铜件区域无缺陷类别；获取小样本参考集，小样本参考集包括多个插套组装单元图片和对应的第二分类标签，第二分类标签包括塑壳有缺陷类别和塑壳无缺陷类别；根据铜件区域训练集和小样本参考集对预训练模型进行小样本学习，得到塑壳缺陷检测模型。本申请不直接使用小样本参考集对神经网络模型进行训练，而是结合铜件区域训练集和小样本参考集对模型进行小样本学习，并且使用预训练模型，可以避免直接使用小样本参考集对神经网络模型进行训练造成的模型预测准确率不高的问题，可以提高训练得到的塑壳缺陷检测模型的预测准确率，从而可以提高塑壳缺陷检测的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提供的塑壳缺陷检测系统的场景示意图；

图2是本申请实施例中提供的塑壳缺陷检测模型的训练方法的一个实施例流程示意图；

图3是本申请实施例中提供的塑壳缺陷检测模型的训练方法的一个实施例中获取铜件区域训练集的流程示意图；

图4是本申请实施例中提供的塑壳缺陷检测模型的训练方法的一个实施例中根据铜件区域训练集和小样本参考集对预训练模型进行小样本学习，得到塑壳缺陷检测模型的流程示意图；

图5是本申请实施例中提供的塑壳缺陷检测模型的训练方法的一个实施例中塑壳有缺陷类别的原始图片的示意图；

图6是本申请实施例中提供的塑壳缺陷检测模型的训练方法的一个实施例中原始图片中标注出铜件区域和插套组装单元整体区域的示意图；

图7是YOLOv6-n模型的网络结构示意图；

图8是本申请实施例中提供的塑壳缺陷检测方法的一个实施例流程示意图；

图9是本申请实施例中提供的塑壳缺陷检测模型的训练装置的一个实施例结构示意图；

图10是本申请实施例中提供的塑壳缺陷检测装置的一个实施例结构示意图；

图11是本申请实施例中提供的计算机设备的一个实施例结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本申请中，“示例性”一词用来表示“用作例子、例证或说明”。本申请中被描述为“示例性”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本申请，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本申请。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本申请的描述变得晦涩。因此，本申请并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。

本申请实施例提供一种塑壳缺陷检测模型的训练方法、塑壳缺陷检测方法及装置，以下分别进行详细说明。

请参阅图1，图1为本申请实施例所提供的塑壳缺陷检测系统的场景示意图，该塑壳缺陷检测系统可以包括计算机设备100。

本申请实施例中，该计算机设备100可以是独立的服务器，也可以是服务器组成的服务器网络或服务器集群，例如，本申请实施例中所描述的计算机设备100，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云服务器。其中，云服务器由基于云计算(Cloud Computing)的大量计算机或网络服务器构成。

本申请实施例中，上述的计算机设备100可以是一个通用计算机设备或者是一个专用计算机设备。在具体实现中计算机设备100可以是台式机、便携式电脑、网络服务器、掌上电脑(Personal Digital Assistant，PDA)、移动手机、平板电脑、无线终端设备、通信设备、嵌入式设备等，本实施例不限定计算机设备100的图像类别。

本领域技术人员可以理解，图1中示出的应用环境，仅仅是本申请方案的一种应用场景，并不构成对本申请方案应用场景的限定，其他的应用环境还可以包括比图1中所示更多或更少的计算机设备，例如图1中仅示出1个计算机设备，可以理解的，该塑壳缺陷检测系统还可以包括一个或多个可处理数据的其他计算机设备，具体此处不作限定。

另外，如图1所示，该塑壳缺陷检测系统还可以包括存储器200，用于存储数据。

需要说明的是，图1所示的塑壳缺陷检测系统的场景示意图仅仅是一个示例，本申请实施例描述的塑壳缺陷检测系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着塑壳缺陷检测系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

首先，本申请实施例中提供一种塑壳缺陷检测模型的训练方法，该塑壳缺陷检测模型的训练方法包括：获取铜件区域训练集，铜件区域训练集包括多张铜件区域图片和对应的第一分类标签，第一分类标签包括铜件区域有缺陷类别和铜件区域无缺陷类别；获取小样本参考集，小样本参考集包括多个插套组装单元图片和对应的第二分类标签，第二分类标签包括塑壳有缺陷类别和塑壳无缺陷类别；根据铜件区域训练集和小样本参考集对预训练模型进行小样本学习，得到塑壳缺陷检测模型。

如图2所示，图2是本申请实施例中提供的塑壳缺陷检测模型的训练方法的一个实施例流程示意图，该塑壳缺陷检测模型的训练方法包括如下步骤S201～S203：

S201、获取铜件区域训练集。

本申请实施例中，插套组装单元包括铜件和围绕铜件设置的塑壳。其中，插套组装单元可以为x86型插座、x100型插座等等，根据具体情况设定即可。本申请以x86型插座为例进行说明。

其中，铜件区域训练集包括多张铜件区域图片和对应的第一分类标签，第一分类标签包括铜件区域有缺陷类别和铜件区域无缺陷类别。训练集中的多张铜件区域图像可摄像机采集，第一分类标签可以通过机器或人工标注。铜件区域可以为铜件所在区域的外接矩形。第一分类标签包括铜件区域有缺陷类别和铜件区域无缺陷类别。若铜件区域存在铜件漏装错装等缺陷，则第一分类标签为铜件区域有缺陷类别。若铜件区域无缺陷，则第一分类标签为铜件区域无缺陷类别。

本申请实施例中，收集86型插座的插套组装单元的原始图片，得到插套组装单元的原始图片集。原始图片集包括铜件区域无缺陷类别的正常图片(OK)和铜件区域有缺陷类别的原始图片(NG)。原始图片集包括塑壳无缺陷类别的正常图片(OK)和塑壳有缺陷类别的塑壳破损缺陷图片(NG)。将原始图片集中各个原始图片的铜件区域裁剪，得到多个铜件区域和对应的第一分类标签。将原始图片集中各个原始图片的插套组装单元整体区域裁剪，得到多个插套组装单元图片。

如图5所示，图5为本申请中塑壳有缺陷类别的原始图片的示意图，图5中标识了塑壳破损框21。如图6所示，图6为本申请中原始图片中标注出铜件区域和插套组装单元整体区域的示意图。图6中标识了铜件区域22和插套组装单元整体区域23。铜件区域22和插套组装单元整体区域23之间的区域即为要识别的塑壳。

S202、获取小样本参考集。

本申请实施例中，小样本参考集包括多个插套组装单元图片和对应的第二分类标签，第二分类标签包括塑壳有缺陷类别和塑壳无缺陷类别。第二分类标签可以通过机器或人工标注。

本申请实施例中，收集86型插座的插套组装单元的原始图片，得到插套组装单元的原始图片集。原始图片集包括塑壳无缺陷类别的正常图片(OK)和有缺陷类别的塑壳破损缺陷图片(NG)。将原始图片集中各个原始图片的插套组装单元整体区域裁剪，得到多个插套组装单元图片和对应的第二分类标签。

进一步的，小样本数据为样本数量很少，一般指原始采集数据(未进行增广处理等数据处理方式)小于50个的数据样本，由于部分种类的样本数据量巨大，单纯以个数来算不太适用，因此在本申请实施例中，小样本数据还可以是低于同种类数据预设比例(预设比例的数值小于等于1/10)的数据样本，例如A标志类型数据和B标志类型数据都属于同种类标志数据，其中A标志类型数据的数据量小于50个，或者，A标志类型数据的数据量低于B标志类型数据的数据量的1/10。小样本标志类型表示不常见标志类型。

由于塑壳破损样本较少，直接训练深度学习分类模型的预测效果不佳，深度学习算法难以学习和准确识别这些样本量较少的类别，因此通过小样本学习的方法可以提高训练得到的塑壳缺陷检测模型的准确性。

在一个具体的实施例中，获取小样本参考集包括：获取多个原始插套组装单元图片和对应的第二分类标签。将多个原始插套组装单元图片中铜件区域内的像素设置为0，得到多个插套组装单元图片和对应的第二分类标签。

S203、根据铜件区域训练集和小样本参考集对预训练模型进行小样本学习，得到塑壳缺陷检测模型。

进一步的，参阅图3，获取铜件区域训练集，包括S301-S304：

S301、获取插套组装单元的原始图片集。

具体的，收集86型插座的插套组装单元的原始图片，得到插套组装单元的原始图片集。原始图片集包括正常图片(OK)和塑壳破损缺陷图片(NG)。

S302、在原始图片集中各原始图片定位铜件区域。

本申请实施例中，在原始图片集上，利用标注工具Labelimg用绘制矩形框的方式来表示主要铜件所在区域，即铜件区域和插套组装单元整体区域，如图6所示。

本申请实施例中，获取目标检测权重模型，利用目标检测权重模型在原始图片集中各原始图片定位插套组装单元整体区域和铜件区域。在一个具体的实施例中，获取目标检测权重模型，包括：

(1)获取原始图片。

(2)对原始图片进行尺寸调整，得到调整后图片。

(3)将调整后图片输入预设网络模型，预测目标位置信息。

其中，预设网络模型可以为YOLOv6模型、Nanodet、MobileDets、MocroYOLO等。优选的，预设网络模型为YOLOv6-n。

YOLOv6-n模型包括Backbone(骨干网络)、Neck以及Head。YOLOv6-n模型的网络结构示意图如图7所示。

Backbone(骨干网络)：设计了一个高效的可重参化Backbone，表示为EfficientRep，将训练时多分支拓扑与推理时普通架构解耦，以实现更好的速度-准确度权衡。Backbone的主要组成部分是训练阶段的RepBlock。并且每个RepBlock在推理阶段被转换为具有ReLU激活函数的3×3卷积层(表示为RepConv)的堆栈。通常，3×3卷积在主流GPU和CPU上进行了高度优化，并且具有更高的计算密度。因此，EfficientRep的Backbone充分利用了硬件的计算能力，在显着降低推理延迟的同时增强了表示能力。

Neck：采用来自YOLO前一个版本的具有多尺度特征融合特性的PAN结构作为检测Neck的基础。并将PAN结构中使用的CSPBlock替换为RepBlock，并相应调整宽度和深度。YOLOv6-n的Neck表示为Rep-PAN。

Head：在YOLOv6中采用混合通道策略来构建更高效的解耦Head。具体来说，将中间3×3卷积层的数量减少到只有一个。头部的宽度由Backbone和Neck的宽度乘数共同缩放。这些修改进一步降低了计算成本，以实现更低的推理延迟。

(4)利用预设损失函数和预先获取的原始图片的标注信息，计算损失值和预测准确率。

原始图片的标注信息包括原始图片中的插套组装单元整体区域和铜件区域。

(5)基于预设优化器，将预设网络模型权重参数沿梯度方向进行微小的更新，重复正向传播和反向传播过程，反复迭代，直到获取到最小损失值或最高准确率下的权重参数模型，确定为目标检测权重模型。

S303、根据铜件区域确定每个铜件区域的第一标注信息。

具体的，在每个原始图片中标注铜件区域，以获取每个铜件区域的第一标注信息。

S304、分别根据每个第一标注信息切分对应的原始图片，得到铜件区域训练集。

在一个具体的实施例中，在原始图片集中各原始图片定位插套组装单元整体区域；根据插套组装单元整体区域确定每个插套组装单元整体区域的第二标注信息；利用第二标注信息切分原始图片中插套组装单元整体区域，得到插套组装单元图片；利用第一标注信息切分插套组装单元图片得到铜件区域图片。

具体的，在每个原始图片中标注插套组装单元整体区域，以获取每个插套组装单元整体区域的第二标注信息；在每个原始图片中标注铜件区域，以获取每个铜件区域的第一标注信息。

根据插套组装单元整体区域的第二标注信息和铜件区域的第一标注信息自动生成xml格式的标注文件。第二标注信息包括插套组装单元整体区域在原始图片的标注矩形框；第一标注信息包括铜件区域在原始图片的标注矩形框。标注矩形框的左端点表示为(x_min,y_min)，右端点表示为(x_max,y_max)。根据各个第二标注信息的标注检测框将对应的原始图片裁剪，得到多个插套组装单元图片；根据各个第一标注信息的标注检测框将对应的插套组装单元图片裁剪，得到铜件区域图片。

进一步的，参阅图4，根据铜件区域训练集和小样本参考集对预训练模型进行小样本学习，得到塑壳缺陷检测模型，包括S401-S402：

S401、根据铜件区域训练集对预训练模型进行图像分类训练，获取网络权重模型。

具体的，以Triplet Loss作为损失函数，根据铜件区域训练集对预训练模型进行图像分类训练，获取网络权重模型。

其中，预训练模型可以为在通用图像训练集上训练得到的模型。例如，预训练模型可以为在Imagenet数据集上训练得到的模型。其中，预训练模型可以是卷积神经网络模型(Convolutional Neural Network，CNN)，具体的，例如预训练模型为EfficientV2网络模型。预训练模型可以替换为其它轻量化算法，如ShuffleNetV2、Squeezenet等。

训练预训练模型需要用到一个大的分类数据集，数据集中每张图片均有标注，每一类均包含许多张图片。由于考虑部署需求，预训练模型的网络结构主要采用轻量化网络模型EfficientNetV2。通用图像训练集使用Imagenet数据集。

使用Triplet损失函数，在根据Imagenet数据集构建训练预训练模型的训练集时，需每次从Imagenet数据集中选取3张图片。首先从Imagenet数据集中随机选取一张图片作为锚点(Anchor)，再从锚点图片所在类别中随机抽取另一张图片作为正样本(Positive)，然后排除锚点图片所在类别，从数据集中随机选取一张图片作为负样本(Negative)。将锚点图片、正样本图片和负样本图片分别输入搭建好的用于提取图片特征的卷积神经网络，得到三个特征向量，f(+)、f(a)、f(-),分别计算f(+)和f(a)、f(-)和f(a)二范数的平方，d+、d-。Triplet损失函数的定义如下：

Loss(x^a,x⁺,x^-)=max{0,d⁺+α-d^-}

其中α被称为间隔(Margin)，是一个超参数确定损失函数之后，可以求损失函数关于模型参数的梯度，并使用随机梯度下降法更新模型参数。

S402、根据小样本参考集对网络权重模型进行小样本训练，得到塑壳缺陷检测模型。

本申请实施例中，根据小样本参考集对网络权重模型进行小样本训练，得到塑壳缺陷检测模型，可以包括：

(1)根据小样本参考集对网络权重模型进行小样本训练，得到分类小样本权重模型。

将网络权重模型作为初始权重模型，使用小样本参考集上预设数量的插套组装单元图片进行训练，以归一化指数函数作为分类器，将小样本参考集中所有图片的交叉熵损失函数相加作为目标函数，通过梯度下降法进行最小化，优化网络权重模型的权重参数和偏置，得到分类小样本权重模型。

其中，预设数量可以几张或几十张。以结合了Imagenet预训练模型和铜件区域训练集训练获取的网络权重模型作为初始权重模型，使用小样本参考集上预设数量的插套组装单元图片(几张或几十张)和第二分类标签进行训练，以Softmax作为分类器，将小样本参考集中所有样本的CrossEntropy相加作为目标函数，通过梯度下降法进行最小化，优化Softmax分类器中的权重参数和偏置，得到最终的分类小样本权重模型。一般会把Softmax分类器的参数W初始化为参考集类别表征矩阵M(多个类别中每个类别样本经过特征提取后的向量再经过均值化和归一化形成的表征类别的向量矩阵)，b初始化为全0向量。由于小样本参考集非常小，因此需要在目标函数上添加正则项防止过拟合。在小样本学习领域，一种非常合适的正则化方法是熵正则化。

(2)在预设验证集上对目标检测权重模型和分类小样本权重模型进行测试，得到测试问题数据。

本申请实施例中，测试问题数据包括定位错误或类别错误的样本图像。

在一个具体的实施例中，将多个插套组装单元图片和对应的第二分类标签按照预设比例分为小样本参考集和预设验证集。并利用数据前处理脚本，将标注的小样本参考集和预设验证集整合到两个json文件中(train.json、validate.json)。预设比例可以为9:1。

(3)将测试问题数据加入到小样本参考集，对分类小样本权重模型进行训练，得到塑壳缺陷检测模型。

进一步的，参阅图8，本申请还提供一种塑壳缺陷检测方法，该塑壳缺陷检测方法包括S501-S502：

S501、获取待识别插座图像。

S502、将待识别插座图像输入塑壳缺陷检测模型，得到塑壳缺陷检测结果。

塑壳缺陷检测结果为塑壳有缺陷类别或者塑壳无缺陷类别。塑壳缺陷检测模型为上述任意一个实施例的塑壳缺陷检测模型。

进一步的，将待识别插座图像输入目标检测权重模型，得到插套组装单元整体区域和铜件区域，将插套组装单元整体区域的图像裁剪并将其中的铜件区域的像素设置为0，得到预处理插座图像，将预处理插座图像输入塑壳缺陷检测模型，得到塑壳缺陷检测结果。

为了更好实施本申请实施例中塑壳缺陷检测模型的训练方法，在塑壳缺陷检测模型的训练方法基础之上，本申请实施例中还提供一种塑壳缺陷检测模型的训练装置，如图9所示，塑壳缺陷检测模型的训练装置包括：

第一获取单元801，用于获取铜件区域训练集，所述铜件区域训练集包括多张铜件区域图片和对应的第一分类标签，所述第一分类标签包括铜件区域有缺陷类别和铜件区域无缺陷类别；

第二获取单元802，用于获取小样本参考集，所述小样本参考集包括多个插套组装单元图片和对应的第二分类标签，所述第二分类标签包括塑壳有缺陷类别和塑壳无缺陷类别；

模型训练单元803，用于根据所述铜件区域训练集和所述小样本参考集对预训练模型进行小样本学习，得到塑壳缺陷检测模型。

可选地，所述模型训练单元，用于：

根据所述铜件区域训练集对预训练模型进行图像分类训练，获取网络权重模型；

根据所述小样本参考集对所述网络权重模型进行小样本训练，得到塑壳缺陷检测模型。

可选地，所述第一获取单元，用于：

获取所述插套组装单元的原始图片集；

在所述原始图片集中各原始图片定位铜件区域；

根据所述铜件区域确定每个所述铜件区域的第一标注信息；

分别根据每个所述第一标注信息切分对应的原始图片，得到铜件区域训练集。

可选地，所述第一获取单元，用于：

在所述原始图片集中各原始图片定位插套组装单元整体区域；

根据所述插套组装单元整体区域确定每个所述插套组装单元整体区域的第二标注信息；

利用所述第二标注信息切分所述原始图片中插套组装单元整体区域，得到插套组装单元图片；

利用所述第一标注信息切分所述插套组装单元图片得到铜件区域图片。

可选地，所述第一获取单元，用于：

采用目标检测权重模型在所述原始图片集中各原始图片定位铜件区域。

可选地，所述模型训练单元，用于：

根据所述小样本参考集对所述网络权重模型进行小样本训练，得到分类小样本权重模型；

在预设验证集上对所述目标检测权重模型和所述分类小样本权重模型进行测试，得到测试问题数据；

将所述测试问题数据加入到所述小样本参考集，对分类小样本权重模型进行训练，得到塑壳缺陷检测模型。

为了更好实施本申请实施例中塑壳缺陷检测方法，在塑壳缺陷检测方法基础之上，本申请实施例中还提供一种塑壳缺陷检测装置，如图10所示，塑壳缺陷检测装置包括：

图像获取单元901，用于获取待识别插座图像；

缺陷检测单元902，用于将所述待识别插座图像输入塑壳缺陷检测模型，得到塑壳缺陷检测结果，所述塑壳缺陷检测结果为塑壳有缺陷类别或者塑壳无缺陷类别，所述塑壳缺陷检测模型为第一方面任意一项所述的塑壳缺陷检测模型。

本申请实施例还提供一种计算机设备，其集成了本申请实施例所提供的任一种塑壳缺陷检测模型的训练装置或者塑壳缺陷检测装置，计算机设备包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中一个或多个应用程序被存储于存储器中，并配置为由处理器执行上述塑壳缺陷检测模型的训练方法实施例中任一实施例中的塑壳缺陷检测模型的训练方法的步骤。

如图11所示，其示出了本申请实施例所涉及的计算机设备的结构示意图，具体来讲：

该计算机设备可以包括一个或者一个以上处理核心的处理器601、一个或一个以上计算机可读存储介质的存储器602、电源603和输入单元604等部件。本领域技术人员可以理解，图中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器601是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器601可包括一个或多个处理核心；处理器601可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，优选的，处理器601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器601中。

存储器602可用于存储软件程序以及模块，处理器601通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器601对存储器602的访问。

计算机设备还包括给各个部件供电的电源603，优选的，电源603可以通过电源管理系统与处理器601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该计算机设备还可包括输入单元604，该输入单元604可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器601来运行存储在存储器602中的应用程序，从而实现各种功能，如下：

获取铜件区域训练集，铜件区域训练集包括多张铜件区域图片和对应的第一分类标签，第一分类标签包括铜件区域有缺陷类别和铜件区域无缺陷类别；获取小样本参考集，小样本参考集包括多个插套组装单元图片和对应的第二分类标签，第二分类标签包括塑壳有缺陷类别和塑壳无缺陷类别；根据铜件区域训练集和小样本参考集对预训练模型进行小样本学习，得到塑壳缺陷检测模型；

或者，获取待识别插座图像；

将所述待识别插座图像输入塑壳缺陷检测模型，得到塑壳缺陷检测结果，所述塑壳缺陷检测结果为塑壳有缺陷类别或者塑壳无缺陷类别，所述塑壳缺陷检测模型为第一方面任意一项所述的塑壳缺陷检测模型。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。其上存储有计算机程序，计算机程序被处理器进行加载，以执行本申请实施例所提供的任一种塑壳缺陷检测模型的训练方法中的步骤。例如，计算机程序被处理器进行加载可以执行如下步骤：

获取铜件区域训练集，铜件区域训练集包括多张铜件区域图片和对应的第一分类标签，第一分类标签包括铜件区域有缺陷类别和铜件区域无缺陷类别；获取小样本参考集，小样本参考集包括多个插套组装单元图片和对应的第二分类标签，第二分类标签包括塑壳有缺陷类别和塑壳无缺陷类别；根据铜件区域训练集和小样本参考集对预训练模型进行小样本学习，得到塑壳缺陷检测模型；

或者，获取待识别插座图像；

将所述待识别插座图像输入塑壳缺陷检测模型，得到塑壳缺陷检测结果，所述塑壳缺陷检测结果为塑壳有缺陷类别或者塑壳无缺陷类别，所述塑壳缺陷检测模型为第一方面任意一项所述的塑壳缺陷检测模型。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对其他实施例的详细描述，此处不再赘述。

具体实施时，以上各个单元或结构可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元或结构的具体实施可参见前面的方法实施例，在此不再赘述。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种塑壳缺陷检测模型的训练方法、塑壳缺陷检测方法及装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种塑壳缺陷检测模型的训练方法，其特征在于，所述塑壳缺陷检测模型用于检测插套组装单元中的塑壳缺陷，所述插套组装单元包括铜件和围绕所述铜件设置的塑壳，所述塑壳缺陷检测模型的训练方法包括：

获取铜件区域训练集，所述铜件区域训练集包括多张铜件区域图片和对应的第一分类标签，所述第一分类标签包括铜件区域有缺陷类别和铜件区域无缺陷类别；

获取小样本参考集，所述小样本参考集包括多个插套组装单元图片和对应的第二分类标签，所述第二分类标签包括塑壳有缺陷类别和塑壳无缺陷类别；

根据所述铜件区域训练集和所述小样本参考集对预训练模型进行小样本学习，得到塑壳缺陷检测模型。

2.根据权利要求1所述的塑壳缺陷检测模型的训练方法，其特征在于，所述根据所述铜件区域训练集和所述小样本参考集对预训练模型进行小样本学习，得到塑壳缺陷检测模型，包括：

根据所述铜件区域训练集对预训练模型进行图像分类训练，获取网络权重模型；

根据所述小样本参考集对所述网络权重模型进行小样本训练，得到塑壳缺陷检测模型。

3.根据权利要求2所述的塑壳缺陷检测模型的训练方法，其特征在于，所述获取铜件区域训练集，包括：

获取所述插套组装单元的原始图片集；

在所述原始图片集中各原始图片定位铜件区域；

根据所述铜件区域确定每个所述铜件区域的第一标注信息；

分别根据每个所述第一标注信息切分对应的原始图片，得到铜件区域训练集。

4.根据权利要求3所述的塑壳缺陷检测模型的训练方法，其特征在于，所述分别根据每个所述第一标注信息切分对应的原始图片，得到铜件区域训练集，包括：

在所述原始图片集中各原始图片定位插套组装单元整体区域；

根据所述插套组装单元整体区域确定每个所述插套组装单元整体区域的第二标注信息；

利用所述第二标注信息切分所述原始图片中插套组装单元整体区域，得到插套组装单元图片；

利用所述第一标注信息切分所述插套组装单元图片得到铜件区域图片。

5.根据权利要求3所述的塑壳缺陷检测模型的训练方法，其特征在于，所述在所述原始图片集中各原始图片定位铜件区域，包括：

采用目标检测权重模型在所述原始图片集中各原始图片定位铜件区域。

6.根据权利要求5所述的塑壳缺陷检测模型的训练方法，其特征在于，所述根据所述小样本参考集对所述网络权重模型进行小样本训练，得到塑壳缺陷检测模型，包括：

根据所述小样本参考集对所述网络权重模型进行小样本训练，得到分类小样本权重模型；

在预设验证集上对所述目标检测权重模型和所述分类小样本权重模型进行测试，得到测试问题数据；

将所述测试问题数据加入到所述小样本参考集，对分类小样本权重模型进行训练，得到塑壳缺陷检测模型。

7.一种塑壳缺陷检测方法，其特征在于，所述塑壳缺陷检测方法包括：

获取待识别插座图像；

将所述待识别插座图像输入塑壳缺陷检测模型，得到塑壳缺陷检测结果，所述塑壳缺陷检测结果为塑壳有缺陷类别或者塑壳无缺陷类别，所述塑壳缺陷检测模型为权利要求1-6任意一项所述的塑壳缺陷检测模型。

8.一种塑壳缺陷检测模型的训练装置，其特征在于，所述塑壳缺陷检测模型用于检测插套组装单元中的塑壳缺陷，所述插套组装单元包括铜件和围绕所述铜件设置的塑壳，所述塑壳缺陷检测模型的训练装置包括：

第一获取单元，用于获取铜件区域训练集，所述铜件区域训练集包括多张铜件区域图片和对应的第一分类标签，所述第一分类标签包括铜件区域有缺陷类别和铜件区域无缺陷类别；

第二获取单元，用于获取小样本参考集，所述小样本参考集包括多个插套组装单元图片和对应的第二分类标签，所述第二分类标签包括塑壳有缺陷类别和塑壳无缺陷类别；

模型训练单元，用于根据所述铜件区域训练集和所述小样本参考集对预训练模型进行小样本学习，得到塑壳缺陷检测模型。

9.一种塑壳缺陷检测装置，其特征在于，用于检测插套组装单元中的塑壳缺陷，所述插套组装单元包括铜件和围绕所述铜件设置的塑壳，所述塑壳缺陷检测装置包括：

图像获取单元，用于获取待识别插座图像；

缺陷检测单元，用于将所述待识别插座图像输入塑壳缺陷检测模型，得到塑壳缺陷检测结果，所述塑壳缺陷检测结果为塑壳有缺陷类别或者塑壳无缺陷类别，所述塑壳缺陷检测模型为权利要求1-6任意一项所述的塑壳缺陷检测模型。

10.一种计算机设备，其特征在于，所述计算机设备包括：

一个或多个处理器；

存储器；以及

一个或多个应用程序，其中所述一个或多个应用程序被存储于所述存储器中，并配置为由所述处理器执行以实现权利要求1至6中任一项所述的塑壳缺陷检测模型的训练方法或者实现权利要求7所述的塑壳缺陷检测方法。

11.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器进行加载，以执行权利要求1至6中任一项所述的塑壳缺陷检测模型的训练方法或者实现权利要求7所述的塑壳缺陷检测方法的步骤。

Images