CN112836724A - 物体缺陷识别模型训练方法、装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种物体缺陷识别模型训练方法、装置及电子设备、存储介质，该方法由物体缺陷识别模型训练系统执行，该方法包括：通过图像采集模块采集物体的训练样本图像，包括有缺陷图像和无缺陷图像；通过图像标注模块对有缺陷图像进行标注，得到标注图像；根据无缺陷图像和标注图像，通过模型训练模块训练物体缺陷识别模型；通过无线通信模块，将训练后的物体缺陷识别模型发送至产线系统，以使产线系统进行物体缺陷识别；上述各模块均通过模块化封装在物体缺陷识别模型训练系统中。本申请将模型在开发和应用过程所需的多种功能进行了模块化封装，实现了模型的复用和快速迭代，增加了模型的可扩展性，同时还能够自动提取和标注缺陷，效率更高。

Description

物体缺陷识别模型训练方法、装置、电子设备和存储介质

技术领域

本申请涉及机器视觉技术领域，具体涉及一种物体缺陷识别模型训练方法、装置、电子设备和存储介质。

背景技术

随着我国工业自动化和智能化的升级改造，目前在质检领域，仍有很多企业通过有经验的质检人员来判断工件或产品是否合格，然而这种方式需要依靠质检人员的主观判断，存在效率低、成本高、容易漏检误检等问题。

近几年人工智能的快速兴起和发展，使得机器视觉技术在质检领域得到了更多应用，现有的基于机器视觉对工件等物体进行缺陷识别时主要采用碎片化的识别算法开发模式，然而这种方式效率低下，无法做到有效复用，极大限制了其扩展性，难以形成较大的市场规模。

发明内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的物体缺陷识别模型训练方法、装置、电子设备和存储介质。

依据本申请的第一方面，提供了一种物体缺陷识别模型训练方法，由物体缺陷识别模型训练系统执行，所述方法包括：

通过图像采集模块采集物体的训练样本图像，所述训练样本图像包括有缺陷图像和无缺陷图像；

通过图像标注模块对所述有缺陷图像进行标注，得到标注图像；

根据所述无缺陷图像和所述标注图像，通过模型训练模块训练物体缺陷识别模型，得到训练后的物体缺陷识别模型；

通过无线通信模块，将训练后的物体缺陷识别模型发送至产线系统，以使所述产线系统根据训练后的物体缺陷识别模型进行物体缺陷识别；

其中，所述图像采集模块、所述图像标注模块、所述模型训练模块和所述无线通信模块均通过模块化封装在所述物体缺陷识别模型训练系统中。

可选地，所述方法还包括：

通过图像数据导入模块导入测试样本图像；

通过图像预处理模块，对所述测试样本图像进行预处理，得到预处理图像；

通过模型测试模块，将所述预处理图像输入训练后的物体缺陷识别模型进行测试，得到测试结果；

若测试结果通过，则执行通过无线通信模块，将训练后的物体缺陷识别模型发送至产线系统的步骤；

其中，所述图像数据导入模块、所述图像预处理模块和所述模型测试模块均通过模块化封装在所述物体缺陷识别模型训练系统中。

可选地，所述模型测试模块包括图像处理子模块、缺陷分割子模块和缺陷分类子模块，所述通过模型测试模块，将所述预处理图像输入训练后的物体缺陷识别模型进行测试，得到测试结果包括：

通过所述图像处理子模块对所述预处理图像进行缺陷特征提取，得到所述预处理图像中的缺陷区域；

通过所述缺陷分割子模块将所述缺陷区域从所述预处理图像中分割出来，得到缺陷区域图像；

通过所述缺陷分类子模块对所述缺陷区域图像进行分类，得到缺陷分类结果。

可选地，所述方法还包括：

通过所述无线通信模块接收物体缺陷识别模型训练任务；

根据所述物体缺陷识别模型训练任务，执行通过图像采集模块采集物体的训练样本图像的步骤。

可选地，所述方法还包括：

通过交互模块接收所述物体缺陷识别模型的配置信息。

可选地，所述方法还包括：

通过可视化模块监控所述物体缺陷识别模型的训练状态；

根据监控到的训练状态，确定是否通过消息推送模块发送提醒消息。

可选地，所述方法还包括：

通过结构化输出模块将所述测试结果导出。

可选地，所述方法还包括：

通过所述无线通信模块接收所述产线系统反馈的物体缺陷识别结果，并将所述物体缺陷识别结果上报给所述模型训练模块，所述物体缺陷识别结果包括异常图像；

根据所述异常图像，通过所述模型训练模块对所述物体缺陷识别模型进行优化。

依据本申请的第二方面，提供了一种物体缺陷识别模型训练装置，由物体缺陷识别模型训练系统执行，所述装置包括：

图像采集单元，用于通过图像采集模块采集物体的训练样本图像，所述训练样本图像包括有缺陷图像和无缺陷图像；

图像标注单元，用于通过图像标注模块对所述有缺陷图像进行标注，得到标注图像；

模型训练单元，用于根据所述无缺陷图像和所述标注图像，通过模型训练模块训练物体缺陷识别模型，得到训练后的物体缺陷识别模型；

无线通信单元，用于通过无线通信模块，将训练后的物体缺陷识别模型发送至产线系统，以使所述产线系统根据训练后的物体缺陷识别模型进行物体缺陷识别；

其中，所述图像采集模块、所述图像标注模块、所述模型训练模块和所述无线通信模块均通过模块化封装在所述物体缺陷识别模型训练系统中。

依据本申请的第三方面，提供了一种物体缺陷识别模型训练系统，包括如前所述的物体缺陷识别模型训练装置。

依据本申请的第四方面，提供了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如上述任一所述的物体缺陷识别模型训练方法。

依据本申请的第五方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如上述任一所述的物体缺陷识别模型训练方法。

由上述可知，本申请的技术方案至少达到了如下的技术效果：本申请实施例的物体缺陷识别模型训练方法由物体缺陷识别模型训练系统执行，物体缺陷识别模型训练系统通过模块化的方式封装有图像采集模块、图像标注模块、模型训练模块和无线通信模块等。在进行物体缺陷识别模型的训练时，先通过图像采集模块采集物体的训练样本图像，这里的训练样本图像包括有缺陷图像和无缺陷图像；然后通过图像标注模块对有缺陷图像进行标注，得到标注图像；之后再根据无缺陷图像和标注图像，通过模型训练模块训练物体缺陷识别模型，得到训练后的物体缺陷识别模型；最后通过无线通信模块，将训练好的物体缺陷识别模型下发到相应的产线系统，使得产线系统能够根据训练后的物体缺陷识别模型进行物体缺陷识别。本申请实施例的物体缺陷识别模型训练方法将物体缺陷识别模型在开发和应用过程所需的多种功能进行了模块化封装，实现了模型的复用和快速迭代，极大增加了模型的可扩展性，进而可以满足用户的多样化需求，同时本申请实施例的物体缺陷识别模型训练方法能够自动提取和标注缺陷，相比于人工标注的方式，效率和准确率更高。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本申请一个实施例的物体缺陷识别模型训练系统的结构示意图；

图2示出了根据本申请一个实施例的物体缺陷识别模型训练方法的流程示意图；

图3示出了根据本申请一个实施例的物体缺陷识别流程示意图；

图4示出了根据本申请一个实施例的物体缺陷识别模型训练系统的整体框架示意图；

图5示出了根据本申请一个实施例的工厂场景下模型的训练和应用流程示意图；

图6示出了根据本申请一个实施例的物体缺陷识别模型训练装置的结构示意图；

图7示出了根据本申请一个实施例的电子设备的结构示意图；

图8示出了根据本申请一个实施例的计算机可读存储介质的结构示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

如图1所示，提供了本申请的一种物体缺陷识别模型训练系统的结构示意图。从整体框架上来说，本申请的物体缺陷识别模型训练系统可以由模型训练基础层、模型训练管理层以及模型应用服务层构成，实现了物体缺陷识别模型训练过程的状态监控、深度优化和定制服务等功能。其中，模型训练基础层不仅适配和集成了模型的基础框架和算法库，同时包含数据存储模块、无线通信模块、运算控制和计算加速等基础服务模块。模型训练管理层包含图像预处理模块、数据标注模块、数据增强模块，数据集和训练任务管理模块等。模型应用服务层包含模型测试模块，具体包括图像处理子模块、缺陷分割子模块和缺陷分类子模块等，模型应用服务层同时还包括图像数据导入模块和结构化输出模块，用以支持图像数据的输入和识别结果的导出等功能服务。

相比于现有的采用碎片化的识别算法开发模式，本申请通过将物体缺陷识别模型在开发和应用过程所需的多种功能分别进行模块化处理，然后统一封装成一个物体缺陷识别模型训练系统，能够实现模型的复用和快速迭代，极大增加了模型的可扩展性，进而可以满足用户的多样化需求。

基于此，本申请实施例提供了一种物体缺陷识别模型训练方法，由上述物体缺陷识别模型训练系统执行，如图2所示，所述方法包括如下的步骤S210至步骤S240：

步骤S210，通过图像采集模块采集物体的训练样本图像，所述训练样本图像包括有缺陷图像和无缺陷图像。

在进行物体缺陷识别模型的训练时，可以先利用物体缺陷识别模型训练系统中已封装好的图像采集模块采集物体的训练样本图像，在训练阶段，这里采集的训练样本图像可以包括有缺陷图像和无缺陷图像。

步骤S220，通过图像标注模块对所述有缺陷图像进行标注，得到标注图像。

在采集得到训练样本图像后，对于其中的无缺陷图像需要进行缺陷位置和缺陷类型的标注，从而使模型能够更好地学习到缺陷的特征。因此这里可以通过图像标注模块对有缺陷图像中的缺陷位置和缺陷类型等信息进行标注，进而得到标注图像，作为后续模型训练的基础。

需要说明的是，这里的图像标注模块可以是指包含有已经训练好的图像标注模型的功能模块，相比于采用人工标注的方式，标注效率和准确率更高。

步骤S230，根据所述无缺陷图像和所述标注图像，通过模型训练模块训练物体缺陷识别模型，得到训练后的物体缺陷识别模型。

在得到已标注的有缺陷图像后，可以将已标注的有缺陷图像即负样本图像和无缺陷图像即正样本图像，通过模型训练模块一起输入到物体缺陷识别模型中，以对物体缺陷识别模型进行训练，进而得到训练后的物体缺陷识别模型。

这里的物体缺陷识别模型可以以现有的卷积神经网络框架为基础，具体可以包括多个依次级联的特征提取单元，每个特征提取单元包括依次连接的卷积层、局部响应归一化层、最大值池化层和平均值池化层等。

步骤S240，通过无线通信模块，将训练后的物体缺陷识别模型发送至产线系统，以使所述产线系统根据训练后的物体缺陷识别模型进行物体缺陷识别；其中，所述图像采集模块、所述图像标注模块、所述模型训练模块和所述无线通信模块均通过模块化封装在所述物体缺陷识别模型训练系统中。

在得到训练好的物体缺陷识别模型后，可以通过无线通信模块，将训练好的物体缺陷识别模型下发到产线系统，使得产线系统能够完成模型的部署和上线，进而可以根据训练好的物体缺陷识别模型进行物体缺陷的识别。

在实际应用场景下，不同产线系统对应的产品类型不同，因此在训练阶段可针对不同的产品分别训练相应的物体缺陷识别模型，然后根据产品类型，将训练好的物体缺陷识别模型下发到对应的产线系统，进而实现与产线系统的联动。

现有的物体缺陷识别模型训练方法采用碎片化的识别算法开发模式，无法做到有效复用，极大限制了其扩展性，且需要针对每个类型的缺陷重新开发提取缺陷特征的算法，难度大，效率低。而本申请实施例的物体缺陷识别模型训练方法将物体缺陷识别模型在开发和应用过程所需的多种功能进行了模块化封装，实现了模型的复用和快速迭代，极大增加了模型的可扩展性，进而可以满足用户的多样化需求，同时本申请实施例的物体缺陷识别模型训练方法能够自动提取和标注缺陷，效率和准确率更高。

为了测试训练好的物体缺陷识别模型的识别性能，在本申请的一个实施例中，还可以通过图像数据导入模块导入测试样本图像，以利用测试样本图像测试模型的缺陷识别性能，如识别准确率和召回率等等。这里的测试样本图像可以是已标注了缺陷位置和缺陷类型的有缺陷图像。

之后将测试样本图像输入图像预处理模块，通过图像预处理模块对测试样本图像进行预处理，得到预处理图像。这里进行预处理的目的是为了解决图像色彩(光照)、镜像以及产品面板密度等因素对于缺陷识别效率和准确率的影响，以便于模型能够更好地提取出缺陷特征，减少图像处理的工作量和难度。

这里采用的图像预处理的方法可以有多种，例如，如果实际业务场景对于图像色彩的要求不高，可以将采集到的彩色图像进行灰度处理，转化为灰度图像，避免过度地对颜色信息进行学习，提高模型的训练效率。此外，还可以对测试样本图像进行图像增强处理，增强图像中的有用信息，图像增强处理可以是一个失真的过程，其目的是要改善图像的视觉效果，针对给定图像的应用场合，有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果，满足某些特殊分析的需要。

当然，除了上述列举的两种图像预处理方法，本领域技术人员也可以根据实际需要设置其他的预处理方法，在此不作具体限定。

在得到预处理图像后，通过模型测试模块，将预处理图像输入训练好的物体缺陷识别模型，以对训练好的物体缺陷识别模型的识别性能进行测试，进而得到测试结果。这里的测试结果可以包括模型识别出的缺陷位置与已标注的缺陷位置之间的误差，以及模型识别出的缺陷类型与已标注的缺陷类型之间的误差，如果两个误差均小于相应的误差阈值，说明物体缺陷识别模型的识别性能较好，测试通过，则可以将物体缺陷识别模型下发到相应的产线系统进行部署；如果两个误差中有至少一个超过相应的误差阈值，则认为物体缺陷识别模型的识别性能不满足要求，可以进行进一步优化。

同样地，上述图像数据导入模块、图像预处理模块和模型测试模块也均通过模块化的方式封装在物体缺陷识别模型训练系统中，大大提高了模型的可扩展性。

在本申请的一个实施例中，上述模型测试模块具体可以包括图像处理子模块、缺陷分割子模块和缺陷分类子模块。如图3所示，在对物体缺陷识别模型进行测试时，可以先通过图像处理子模块对预处理图像进行缺陷特征提取，得到预处理图像中的缺陷区域，这里的图像处理子模块可以理解为是包含有图像处理算法的模块，采用预设的图像处理算法能够凸显出图像中的缺陷特征，以便于定位出图像中的缺陷区域。之后通过缺陷分割子模块将上述缺陷区域从预处理图像中分割出来，得到缺陷区域图像；最后再通过缺陷分类子模块对缺陷区域图像进行分类，得到缺陷分类结果。

在对工件等物体进行缺陷识别的场景下，由于工件表面缺陷检测通常是在生产车间等环境下进行的，图像的拍摄场景较为固定，且拍摄的工件的形态也是有限的，因此本申请实施例先通过图像处理算法进行缺陷特征的显现，再将缺陷区域分割出来，只对缺陷区域图像进行分类，进而可以避免过度地将图像中其他无关的图像特征进行提取，影响整体的识别准确率，即通过强化和针对性地学习缺陷部位的特征，进而能够更准确地识别出缺陷类型，提高模型的泛化能力。

需要说明的是，上述实施例提及的模型测试过程与实际的物体缺陷识别过程基本一致，上述实施例中对于模型测试过程的具体阐述均适用于物体缺陷识别过程，在此不再赘述。

在本申请的一个实施例中，可以通过无线通信模块接收任务端下发的物体缺陷识别模型训练任务；进而可以根据物体缺陷识别模型训练任务，执行物体缺陷识别模型的训练过程。这里的物体缺陷识别模型训练任务可以根据不同的业务场景需求来定制。

在本申请的一个实施例中，物体缺陷识别模型训练系统还支持与用户的交互功能，这里可以通过物体缺陷识别模型训练系统中封装好的交互模块接收物体缺陷识别模型的一系列配置信息，如配置或调整模型的参数、超参数以及模型的迭代次数等等。

在本申请的一个实施例中，物体缺陷识别模型训练系统还支持训练过程的可视化显示，这里可以通过物体缺陷识别模型训练系统中封装好的可视化模块监控物体缺陷识别模型的整个训练过程和训练状态，以便于及时作出调整，提高模型的训练效率。此外，物体缺陷识别模型训练系统中还封装有消息推送模块，可以根据监控到的模型的训练状态，确定是否向相关人员发送提醒消息。例如，当训练过程设备发生故障时，可以通过消息推送模块向运维端发送提醒消息，或者当训练完成时，也可以向模型训练人员发送提醒消息。

在本申请的一个实施例中，物体缺陷识别模型训练系统还支持测试结果等数据的结构化输出功能，这里可以通过物体缺陷识别模型训练系统中封装好的结构化输出模块将测试结果导出。

在本申请的一个实施例中，在将训练好的物体缺陷识别模型下发到相应的产线系统后，产线系统会对物体缺陷识别模型进行部署，然后进行实际的物体缺陷识别，得到物体缺陷识别结果。物体缺陷识别结果中可能会包含一些无法识别或者识别错误的异常图像，这些异常图像都可以作为后续优化模型的依据。

具体地，本申请实施例可以通过无线通信模块接收产线系统反馈的物体缺陷识别结果，然后将物体缺陷识别结果上报给物体缺陷识别模型训练系统，使得物体缺陷识别模型训练系统中的模型训练模块能够根据物体缺陷识别结果进一步优化模型，提高模型的识别准确率。

如图4所示，提供了本申请实施例的一种物体缺陷识别模型训练系统的整体框架图。在模型训练阶段，可以先通过图像采集模块采集物体的训练样本图像，包括有缺陷图像和无缺陷图像；然后通过图像标注模块对有缺陷图像进行标注，得到标注图像；之后根据无缺陷图像和标注图像，通过模型训练模块训练物体缺陷识别模型，得到训练后的物体缺陷识别模型。

在模型测试阶段，可以先通过图像数据导入模块导入测试样本图像；然后通过图像预处理模块，对测试样本图像进行预处理，得到预处理图像；通过图像处理子模块对预处理图像进行缺陷特征提取，得到预处理图像中的缺陷区域；再通过缺陷分割子模块将缺陷区域从预处理图像中分割出来，得到缺陷区域图像；之后通过缺陷分类子模块对缺陷区域图像进行分类，得到缺陷分类结果；最后根据缺陷分类结果确定模型测试是否通过，若测试结果通过，则通过无线通信模块将训练好的物体缺陷识别模型下发到相应的产线系统，使得产线系统可以利用训练好的物体缺陷识别模型进行物体缺陷识别。

如图5所示，提供了一种工厂场景下模型的训练和应用流程示意图。首先工厂端可以收集少量的图像样本，用于模型的训练和测试；然后将有缺陷图像上传到云端服务器，由云端服务器进行数据的预处理和数据标注；之后云端服务器会基于图像样本进行物体缺陷识别模型的训练和测试。如果物体缺陷识别模型的性能满足工厂的应用需求，则将物体缺陷识别模型的配置文件和可执行代码库生成和下发到工厂端，工厂端可在产线系统上快速集成和部署物体缺陷识别模型。

本申请实施例提供了一种物体缺陷识别模型训练装置600，应用于物体缺陷识别模型训练系统中，如图6所示，所述装置600包括：

图像采集单元610，用于通过图像采集模块采集物体的训练样本图像，所述训练样本图像包括有缺陷图像和无缺陷图像；

图像标注单元620，用于通过图像标注模块对所述有缺陷图像进行标注，得到标注图像；

模型训练单元630，用于根据所述无缺陷图像和所述标注图像，通过模型训练模块训练物体缺陷识别模型，得到训练后的物体缺陷识别模型；

无线通信单元640，用于通过无线通信模块，将训练后的物体缺陷识别模型发送至产线系统，以使所述产线系统根据训练后的物体缺陷识别模型进行物体缺陷识别；

其中，所述图像采集模块、所述图像标注模块、所述模型训练模块和所述无线通信模块均通过模块化封装在所述物体缺陷识别模型训练系统中。

在本申请的一个实施例中，所述装置还包括：图像数据导入单元，用于通过图像数据导入模块导入测试样本图像；图像预处理单元，用于通过图像预处理模块，对所述测试样本图像进行预处理，得到预处理图像；模型测试单元，用于通过模型测试模块，将所述预处理图像输入训练后的物体缺陷识别模型进行测试，得到测试结果；若测试结果通过，则执行通过无线通信模块，将训练后的物体缺陷识别模型发送至产线系统的步骤；其中，所述图像数据导入模块、所述图像预处理模块和所述模型测试模块均通过模块化封装在所述物体缺陷识别模型训练系统中。

在本申请的一个实施例中，所述模型测试模块包括图像处理子模块、缺陷分割子模块和缺陷分类子模块，所述模型测试单元具体用于：通过所述图像处理子模块对所述预处理图像进行缺陷特征提取，得到所述预处理图像中的缺陷区域；通过所述缺陷分割子模块将所述缺陷区域从所述预处理图像中分割出来，得到缺陷区域图像；通过所述缺陷分类子模块对所述缺陷区域图像进行分类，得到缺陷分类结果。

在本申请的一个实施例中，所述无线通信单元640还用于：通过所述无线通信模块接收物体缺陷识别模型训练任务；根据所述物体缺陷识别模型训练任务，执行通过图像采集模块采集物体的训练样本图像的步骤。

在本申请的一个实施例中，所述装置还包括：交互单元，用于通过交互模块接收所述物体缺陷识别模型的配置信息。

在本申请的一个实施例中，所述装置还包括：可视化单元，用于通过可视化模块监控所述物体缺陷识别模型的训练状态；消息推送单元，用于根据监控到的训练状态，确定是否通过消息推送模块发送提醒消息。

在本申请的一个实施例中，所述装置还包括：结构化输出单元，用于通过结构化输出模块将所述测试结果导出。

在本申请的一个实施例中，所述无线通信单元640还用于：通过所述无线通信模块接收所述产线系统反馈的物体缺陷识别结果，并将所述物体缺陷识别结果上报给所述模型训练模块，所述物体缺陷识别结果包括异常图像；所述模型训练还用于：根据所述异常图像，通过所述模型训练模块对所述物体缺陷识别模型进行优化。

需要说明的是，上述各装置实施例的具体实施方式可以参照前述对应方法实施例的具体实施方式进行，在此不再赘述。

综上所述，本申请的技术方案至少达到了如下的技术效果：本申请实施例的物体缺陷识别模型训练方法将物体缺陷识别模型在开发和应用过程所需的多种功能进行了模块化封装，实现了模型的复用和快速迭代，极大增加了模型的可扩展性，进而可以满足用户的多样化需求，同时本申请的物体缺陷识别模型训练方法能够自动提取和标注缺陷，相比于人工标注的方式，效率和准确率更高。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本申请也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本申请的内容，并且上面对特定语言所做的描述是为了披露本申请的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的物体缺陷识别模型训练装置中的一些或者全部部件的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

例如，图7示出了根据本申请一个实施例的电子设备的结构示意图。该电子设备700包括处理器710和被安排成存储计算机可执行指令(计算机可读程序代码)的存储器720。存储器720可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器720具有存储用于执行上述方法中的任何方法步骤的计算机可读程序代码731的存储空间730。例如，用于存储计算机可读程序代码的存储空间730可以包括分别用于实现上面的方法中的各种步骤的各个计算机可读程序代码731。计算机可读程序代码731可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图8所示的计算机可读存储介质。图8示出了根据本申请一个实施例的一种计算机可读存储介质的结构示意图。该计算机可读存储介质800存储有用于执行根据本申请的方法步骤的计算机可读程序代码731，可以被电子设备700的处理器710读取，当计算机可读程序代码731由电子设备700运行时，导致该电子设备700执行上面所描述的方法中的各个步骤，具体来说，该计算机可读存储介质存储的计算机可读程序代码731可以执行上述任一实施例中示出的方法。计算机可读程序代码731可以以适当形式进行压缩。

应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (12)

1.一种物体缺陷识别模型训练方法，其特征在于，由物体缺陷识别模型训练系统执行，所述方法包括：

通过图像采集模块采集物体的训练样本图像，所述训练样本图像包括有缺陷图像和无缺陷图像；

通过图像标注模块对所述有缺陷图像进行标注，得到标注图像；

根据所述无缺陷图像和所述标注图像，通过模型训练模块训练物体缺陷识别模型，得到训练后的物体缺陷识别模型；

通过无线通信模块，将训练后的物体缺陷识别模型发送至产线系统，以使所述产线系统根据训练后的物体缺陷识别模型进行物体缺陷识别；

其中，所述图像采集模块、所述图像标注模块、所述模型训练模块和所述无线通信模块均通过模块化封装在所述物体缺陷识别模型训练系统中。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过图像数据导入模块导入测试样本图像；

通过图像预处理模块，对所述测试样本图像进行预处理，得到预处理图像；

通过模型测试模块，将所述预处理图像输入训练后的物体缺陷识别模型进行测试，得到测试结果；

若测试结果通过，则执行通过无线通信模块，将训练后的物体缺陷识别模型发送至产线系统的步骤；

其中，所述图像数据导入模块、所述图像预处理模块和所述模型测试模块均通过模块化封装在所述物体缺陷识别模型训练系统中。

3.根据权利要求2所述的方法，其特征在于，所述模型测试模块包括图像处理子模块、缺陷分割子模块和缺陷分类子模块，所述通过模型测试模块，将所述预处理图像输入训练后的物体缺陷识别模型进行测试，得到测试结果包括：

通过所述图像处理子模块对所述预处理图像进行缺陷特征提取，得到所述预处理图像中的缺陷区域；

通过所述缺陷分割子模块将所述缺陷区域从所述预处理图像中分割出来，得到缺陷区域图像；

通过所述缺陷分类子模块对所述缺陷区域图像进行分类，得到缺陷分类结果。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过所述无线通信模块接收物体缺陷识别模型训练任务；

根据所述物体缺陷识别模型训练任务，执行通过图像采集模块采集物体的训练样本图像的步骤。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过交互模块接收所述物体缺陷识别模型的配置信息。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过可视化模块监控所述物体缺陷识别模型的训练状态；

根据监控到的训练状态，确定是否通过消息推送模块发送提醒消息。

7.根据权利要求2所述的方法，其特征在于，所述方法还包括：

通过结构化输出模块将所述测试结果导出。

8.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过所述无线通信模块接收所述产线系统反馈的物体缺陷识别结果，并将所述物体缺陷识别结果上报给所述模型训练模块，所述物体缺陷识别结果包括异常图像；

根据所述异常图像，通过所述模型训练模块对所述物体缺陷识别模型进行优化。

9.一种物体缺陷识别模型训练装置，其特征在于，由物体缺陷识别模型训练系统执行，所述装置包括：

图像采集单元，用于通过图像采集模块采集物体的训练样本图像，所述训练样本图像包括有缺陷图像和无缺陷图像；

图像标注单元，用于通过图像标注模块对所述有缺陷图像进行标注，得到标注图像；

模型训练单元，用于根据所述无缺陷图像和所述标注图像，通过模型训练模块训练物体缺陷识别模型，得到训练后的物体缺陷识别模型；

无线通信单元，用于通过无线通信模块，将训练后的物体缺陷识别模型发送至产线系统，以使所述产线系统根据训练后的物体缺陷识别模型进行物体缺陷识别；

其中，所述图像采集模块、所述图像标注模块、所述模型训练模块和所述无线通信模块均通过模块化封装在所述物体缺陷识别模型训练系统中。

10.一种物体缺陷识别模型训练系统，其特征在于，包括如权利要求9所述的物体缺陷识别模型训练装置。

11.一种电子设备，其中，该电子设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行如权利要求1至8中任一项所述的物体缺陷识别模型训练方法。

12.一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现如权利要求1至8中任一项所述的物体缺陷识别模型训练方法。

Images