CN113240673B - 缺陷检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种缺陷检测方法、装置、电子设备及存储介质。其中，通过获取待检测对象的原始图像，并将原始图像划分为多个子原始图像，再通过缺陷修复模型分别对多个子原始图像进行缺陷修复，得到多个子修复图像，最后根据多个子原始图像以及多个子修复图像，确定原始图像的缺陷区域。一方面，通过采用基于人工智能的缺陷检测方式来代替传统的人工目视检测，能够大幅节省人力成本，同时避免人工的主观判断，从而提升缺陷检测的准确性。另一方面，相较于直接通过缺陷修复模型对完整的原始图像进行缺陷修复，本申请将完整的原始图像划分为多个子原始图像分别进行缺陷修复，能够保留更多的图像细节用于缺陷检测，从而进一步提升缺陷检测的准确性。

Description

缺陷检测方法、装置、电子设备及存储介质

技术领域

本申请涉及人工智能技术领域，具体涉及一种缺陷检测方法、装置、电子设备及存储介质。

背景技术

为了确保制造的产品能够正常使用，需要对这些产品进行缺陷检测。相关技术中，通常采用人工目视检测的方式来对需要进行缺陷检测的对象进行缺陷检测，然而，由于人工主观判断等因素将影响缺陷检测结果的准确。

发明内容

本申请提供一种缺陷检测方法、装置、电子设备及存储介质，可以提高缺陷检测的准确性。

第一方面，本申请提供的缺陷检测方法，包括：

获取待检测对象的原始图像；

将所述原始图像划分为多个子原始图像；

通过缺陷修复模型分别对多个所述子原始图像进行缺陷修复，得到多个子修复图像；

根据多个所述子原始图像以及多个所述子修复图像，确定所述原始图像的缺陷区域。

第二方面，本申请提供的缺陷检测装置，包括：

图像获取模块，用于获取待检测对象的原始图像；

图像划分模块，用于将所述原始图像划分为多个子原始图像；

图像修复模块，用于通过缺陷修复模型分别对多个所述子原始图像进行缺陷修复，得到多个子修复图像；

缺陷检测模块，用于根据多个所述子原始图像以及多个所述子修复图像，确定所述原始图像的缺陷区域。

第三方面，本申请提供的电子设备，包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行本申请所提供的缺陷检测方法中的步骤。

第四方面，本申请提供的存储介质，其上存储有计算机程序，所述计算机程序被处理器运行，以执行本申请所提供的缺陷检测方法中的步骤。

本申请中，通过获取待检测对象的原始图像，并将原始图像划分为多个子原始图像，以及通过缺陷修复模型分别对多个子原始图像进行缺陷修复，得到多个子修复图像，最后根据多个子原始图像以及多个子修复图像，确定原始图像的缺陷区域。一方面，本申请通过采用基于人工智能的缺陷检测方式来代替传统的人工目视检测，能够大幅节省人力成本，同时避免人工的主观判断，从而提升缺陷检测的准确性。另一方面，相较于直接通过缺陷修复模型对完整的原始图像进行缺陷修复，本申请将完整的原始图像划分为多个子原始图像再通过缺陷修复模型分别进行缺陷修复，能够保留更多的图像细节用于缺陷检测，从而进一步提升缺陷检测的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例所提供的缺陷检测系统的场景示意图；

图2是本申请实施例提供的缺陷检测方法的一种流程示意图；

图3是本申请实施例中对深度卷积生成对抗网络中的生成器和判别器进行对抗训练的示意图；

图4是本申请实施例中针对一电路板的原始图像进行缺陷检测的示例图；

图5是本申请实施例中提供的缺陷检测装置的一结构示意图；

图6是本申请实施例中提供的电子设备的一结构示意图。

具体实施方式

为了能够提高缺陷检测的准确性，本申请将深度学习技术引入缺陷检测中，相应提供一种缺陷检测方法、缺陷检测装置、电子设备及存储介质。其中，缺陷检测方法可由缺陷检测装置执行，或者由集成了该缺陷检测装置的电子设备执行。

请参照图1，本申请还提供一缺陷检测系统，如图1所示，该缺陷检测系统包括电子设备100，电子设备100中集成有本申请提供的缺陷检测装置。比如，当电子设备100还配置有摄像头时，可以直接通过配置的摄像头对待检测对象进行拍摄，从而得到待检测对象的原始图像，然后将该原始图像划分为多个子原始图像，并进一步通过缺陷修复模型分别对多个子原始图像进行缺陷修复，相应得到多个子修复图像，最后根据多个子原始图像以及多个子修复图像，确定出原始图像中存在缺陷的缺陷区域。其中，电子设备100可以是任何配置有处理器而具备处理能力的设备，比如智能手机、平板电脑、掌上电脑、笔记本电脑等具备处理器的移动式电子设备，或者台式电脑、电视、服务器等具备处理器的固定式电子设备。

另外，如图1所示，该缺陷检测系统还可以包括存储设备200，用于存储数据，比如，电子设备100将获取到的待检测对象的原始图像，由原始图像划分得到子原始图像以及由子原始图像修复得到的子修复图像等数据存入存储设备200中。

需要说明的是，图1所示的缺陷检测系统的场景示意图仅仅是一个示例，本申请实施例描述的缺陷检测系统以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着缺陷检测系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

请参照图2，图2是本申请实施例提供的缺陷检测方法的流程示意图，如图2所示，本申请提供的缺陷检测方法的流程如下：

在S110中，获取待检测对象的原始图像。

其中，待检测对象代指需要进行缺陷检测的对象，在实际场景中可以是工业制造得到的产品，比如电路板、显示面板等。应当说明的是，由于生产工艺等各种原因，可能导致制造得到的产品存在各种各样的缺陷，比如对于电路板而言，其可能存在元器件移位、歪斜、弯脚以及错件等缺陷，而对于显示面板而言，其可能存在破损、划痕以及亮点等缺陷。无论是电路板还是显示面板等工业制造的产品，其存在的缺陷可能影响正常使用。因此，有必要对这些产品进行缺陷检测，从而对存在缺陷的产品进行修复，或者丢弃等其它处理。

本实施例中，首先获取待检测对象的原始图像，利用该原始图像实现对待检测对象的缺陷检测。其中，原始图像可以通俗的理解为对待检测对象进行拍摄得到的，未改变图像内容的图像。比如，可以通过摄像头等图像采集设备对待检测对象进行拍摄，以得到待检测对象的原始图像，也可以获取预先拍摄得到的待检测对象的原始图像。

在S120中，将原始图像划分为多个子原始图像。

本实施例中，在获取到待检测对象的原始图像后，进一步按照配置的图像划分策略对原始图像进行划分，从而将该原始图像划分为多个子图像，记为子原始图像。此处对图像划分策略的配置不作具体限制，可由本领域技术人员根据实际需要进行配置。

示例性地，可以配置图像划分策略为：

将需要划分的图像划分为多个指定大小且互不交叠的子图像。

比如，假设获取到待检测对象的原始图像的大小为2464x2056（像素），可以将该原始图像划分为大小为308x257（像素）的子原始图像，共划分得到64个子原始图像。

在S130中，通过缺陷修复模型分别对多个子原始图像进行缺陷修复，得到多个子修复图像。

其中，缺陷修复模型经预先训练得到，被配置为对输入的图像进行缺陷修复，生成不存在缺陷或者缺陷程度小于原图像的缺陷程度的图像。此处对缺陷修复模型的模型结构以及训练方式均不作具体限定，可由本领域技术人员根据实际需要选取。比如，可以采用自编码器作为基础模型训练得到缺陷修复模型。

本实施例中，在将原始图像划分为多个子原始图像之后，进一步将多个子原始图像输入缺陷修复模型，从而通过缺陷修复模型分别对多个子原始图像进行缺陷修复，相应得到多个子修复图像。

在一些实施例中，待检测对象包括电路板，通过缺陷修复模型分别对多个子原始图像进行缺陷修复，得到多个子修复图像，包括：

对原始图像进行颜色分类，确定电路板的颜色类别；

通过对应颜色类别的缺陷修复模型分别对多个子原始图像进行缺陷修复，得到多个子修复图像。

应当说明的是，电路板通常通过多道制造工艺制造得到，在加工过程中会通过不同颜色类别的油墨对电路板进行镀膜，使得电路板整体呈现出不同的颜色类别。颜色不同表示采用的加工工艺不同，相应加工得到的电路板中的线路形状也就不同，可能出现的缺陷也将不尽相同。为了能够更好的进行缺陷修复，从而更准确地确定出缺陷区域，本实施例预先训练有对应不同颜色类别的缺陷修复模型，也即是对应不同加工工艺的电路板的缺陷修复模型。

相应的，本实施例中，首先对电路板的原始图像进行颜色分类，相应确定出该电路板的颜色类别。

如上，在确定出电路板的颜色类别之后，本实施例进一步通过对应电路板的颜色类别的缺陷修模型分别对多个子原始图像进行缺陷修复，相应得到多个子修复图像。

在一些实施例中，通过颜色分类模型对原始图像进行颜色分类，确定电路板的颜色类别。

其中，颜色分类模型经预先训练得到，被配置为对输入的电路板的图像进行颜色分类，输出用于指示颜色类别的数值。此处对颜色分类模型的模型结构以及训练方式均不作具体限定，可由本领域技术人员根据实际需要选取。比如，可以采用卷积网络模型作为基础模型训练得到颜色分类模型。

本实施例中，可将获取到的电路板的原始图像输入颜色分类模型中进行颜色分类，并将该颜色分类模型输出的数值所指示的颜色类别确定为电路板的颜色类别。

在一些实施例中，颜色分类模型按照如下步骤训练得到：

获取训练样本集，训练样本集包括多类训练样本组，每类训练样本组对应一类颜色类别，每类训练样本组中的训练样本组包括一张电路板样本图像以及用于指示电路板样本图像的颜色类别的颜色类别标签；

根据训练样本集对残差网络模型进行有监督训练，直至满足第一预设训练停止条件；

将满足第一预设训练停止条件时的残差网络模型作为颜色分类模型。

本实施例提供一可选地颜色分类模型的训练方式。

其中，每一类训练样本组的数量可以相同，也可以不同。其中，电路板样本图像可以在实际生产产线对电路板拍摄得到，或者，直接获取已经拍摄得到的电路板样本图像。

比如，本实施例中按照电路板的颜色特性定义有四种颜色类别，分别为灰色、深灰色、浅绿色以及深绿色。相应的，在获取训练样本集时，获取到的训练样本集将包括四类训练样本组，分别为对应灰色的训练样本组，对应深灰色的训练样本组，对应浅绿色的训练样本组，以及对应深绿色的训练样本组。

如上，在获取到训练样本集之后，本实施例进一步根据获取到的训练样本集对残差网络模型进行有监督训练，直至满足第一预设训练停止条件。此处对选取的残差网络模型的层数以及第一预设训练停止条件的配置均不作具体限制，可由本领域技术人员根据实际需要进行配置。比如，可选取的残差网络模型包括但不限于Resnet-18、Resnet-50以及Resnet-101等。

示例性地，可以将训练样本集按比例划分为三部分，比如按照3:1:1的比例将训练样本集划分为训练集、验证集以及测试集。需要说明的是，训练集、验证集以及测试集均包括多类训练样本组，其中，训练集用于调整模型的网络参数，验证集用于调整模型的超参数和用于对模型的能力进行初步评估，测试集用于评估最终模型的泛化能力。

此外，在训练时，可以按照如下方式对训练参数进行配置：

将Epochs配置为“30”，初始学习率配置为“0.001”，Solver type配置为“随机梯度下降”，学习率下降策略配置为“Step down”。

其中，Epochs配置为“30”即为一可选地第一预设训练停止条件，可以通俗的理解为：使用训练集对残差网络模型的网络参数进行调整的轮数达到30轮，其中一轮即为使用训练集中的所有训练样本组对残差网络模型的网络参数进行一次调整。

应当说明的是，由于本实施例仅利用电路板样本图像的颜色特性来训练颜色分类模型，无论获取到的电路板样本图像中存在缺陷，或是不存在缺陷，均不会对颜色分类模型的训练造成影响，也即是说，本实施例获取的电路板样本图像既可以是存在缺陷的电路板样本图像，也可以是不存在缺陷的电路板样本图像。

在一些实施例中，缺陷修复模型按照如下步骤生成：

从一类颜色类别的训练样本组中获取不存在缺陷的目标电路板样本图像；

将每一目标电路板样本图像划分为多个子目标电路板样本图像；

将子目标电路板样本图像作为颜色类别的训练样本；

获取随机噪声数据；

根据训练样本和随机噪声数据，对深度卷积生成对抗网络中的生成器和判别器进行对抗训练，直至满足第二预设训练停止条件；

将满足第二预设训练停止条件时的生成器作为对应颜色类别的缺陷修复模型。

本实施例中，为提升训练效率，复用用于训练颜色分类模型的训练样本集中的电路板样本图像。以下以训练对应一类颜色类别的缺陷修复模型进行说明。

其中，首先从一类颜色类别的训练样本组中获取不存在缺陷的电路板样本图像，记为目标电路板样本图像。比如，对于一类颜色类别的训练样本组中的电路板样本图像，可以先获取用于指示电路板样本图像是否存在缺陷的缺陷标签，然后根据缺陷标签获取不存在缺陷的目标电路板样本图像。

如上，在获取到不存在缺陷的目标电路板样本图像之后，进一步按照以上实施例中划分子原始图像相同的图像划分策略，将每一目标电路板样本图像划分为多个子图像，记为子目标电路板样本图像，并将这些子目标电路板样本图像作为前述颜色类别的训练样本。

此外，还获取随机噪声数据，并根据训练样本和随机噪声数据，对深度卷积生成对抗网络中的生成器和判别器进行对抗训练，直至满足第二预设训练停止条件。此处对第二预设训练停止条件的配置不作具体限制，可由本领域技术人员根据实际需要进行配置。比如，可以配置第二预设训练停止条件为深度卷积生成对抗网络收敛，还可以配置为对深度卷积生成对抗网络的网络参数的迭代轮数达到预设轮数等。

其中，如图3所示，生成器的目标在于将随机噪声映射为与训练样本尽可能一致的生成图像，使得判别器无法区分训练样本和生成图像，而判别器的训练目标在于将生成器的生成图像判别为假，将训练样本判别为真，从而将生成图像和训练样本区分开来。以此，在训练过程中通过生成器和判别器的持续进化和对抗，生成器将学习到训练样本在潜在空间中的流形分布，最终达到平衡，即对于来自生成器的生成图像，判别器判别该生成图像为真的概率为50%，为假的概率也为50%。

根据以上相关描述可知，生成器在于生成与训练样本尽可能一致的图像，而本实施例中训练样本经由不存在缺陷的目标电路板样本图像划分得到，也即是没有缺陷的子目标电路板样本图像，若向生成器输入一张存在缺陷的电路板图像，生成器将对该存在缺陷的电路板图像进行重建，相应生成一张对应的没有缺陷的电路板图像，以此来实现缺陷修复的功能。因此，可以将满足第二预设训练停止条件时的生成器作为对应前述颜色类别的缺陷修复模型。

在一些实施例中，固定生成器的网络参数，根据训练样本和随机噪声数据，对判别器的网络参数进行调整；固定判别器的网络参数，根据训练样本和随机噪声数据，对生成器的网络参数进行调整；重复以上步骤，直至满足第二预设训练停止条件。

本实施例中，将对生成器和判别器的一轮训练划分为两阶段，第一阶段仅对判别器进行训练，其中，固定生成器的网络参数，根据训练样本和随机噪声数据，对判别器的网络参数进行调整，当生成器接近最优时开始第二阶段的训练，第二阶段仅对生成器进行训练，其中，固定判别器的网络参数，根据训练样本和随机噪声数据，对生成器的网络参数进行调整。如此，通过重复的对判别器和生成器进行交叠训练，直至满足第二预设训练停止条件。

应当说明的，以上训练过程中的训练参数可由本领域技术人员根据实际需要进行配置，本实施例不做具体限制。

示例性地，可以将训练样本按比例划分为三部分，比如按照3:1:1的比例将训练样本划分为训练集、验证集以及测试集。

此外，在训练时，可以按照如下方式对训练参数进行配置：

将Epochs配置为“100”，batch size设置为“16”，假设配置的图像划分策略为将原图像划分为宽308（像素）x高257（像素）的子图像时，则可以将深度卷积对抗网络的输入宽设置为308（像素），将输入高设置为257（像素），将输出宽设置为308（像素），以及将输出高设置为257（像素）。

其中，Epochs配置为“100”即为一可选地第二预设训练停止条件，可以通俗的理解为：使用训练集对深度卷积生成对抗网络的网络参数进行调整的轮数达到100轮，其中一轮即为使用训练集中的所有训练样本对深度卷积生成对抗网络的网络参数进行一次调整。

在S140中，根据多个子原始图像以及多个子修复图像，确定原始图像的缺陷区域。

根据以上相关描述，可以理解的是，对于一子原始图像，若该子原始图像中存在缺陷，其经缺陷修复得到的子修复图像相较于该子原始图像将存在较大的差异，若该子原始图像中不存在缺陷，其经缺陷修复得到子修复图像相较于该子原始图像将不存在差异或者仅存在较小的差异。因此，本实施例在根据多个子原始图像以及多个子修复图像确定原始图像的缺陷区域时，可以根据子原始图像与其经缺陷修复得到的子修复图像之间存在的差异来确定出原始图像的缺陷区域。

在一些实施例中，获取每一子原始图像与其对应的子修复图像的子残差图像，得到多个子残差图像；根据多个子残差图像确定原始图像的缺陷区域。

本实施例提供一可选地缺陷区域确定方式。

其中，针对每一子原始图像，对该子原始图像与其对应的子修复图像（即该子原始图像经缺陷修复所得到的子修复图像）进行残差计算，得到该子原始图像与其对应的子修复图像的子残差图像，该子残差图像即表征了该子原始图像与其对应的子修复图像间每一像素点的差异。如此，对于划分得到的多个子原始图像以及对其进行缺陷修复所得到的多个子修复图像，可以获取到多个子残差图像。比如，假设将原始图像划分为了四个子原始图像，则将修复得到四个子修复图像，相应将获取到这四个子原始图像与其对应的子修复图像的子残差图像，共四个子残差图像。

至此，即可根据多个子残差图像确定原始图像的缺陷区域。

在一些实施例中，分别对多个子残差图像进行二值化处理，得到多个子二值化图像；根据每一子二值化图像对应的子原始图像在原始图像中的位置，将多个子二值化图像拼接为对应原始图像的拼接二值化图像；确定拼接二值化图像中像素值为第一预设像素值的第一目标像素点；根据第一目标像素点在拼接二值化图像中的位置，确定出缺陷区域。

其中，本实施例首先按照配置的二值化策略分别对获取到的多个子残差图像进行二值化处理，相应得到多个子二值化图像。此处对二值化策略的配置不作具体限制，可由本领域技术人员根据实际需要进行配置。

示例性地，本实施例中配置的二值化策略包括：

调用OpenCV计算机视觉库实现对子残差图像的二值化处理，其中，二值化方式设置为CV_THRESH_BINARY，阈值设置为200。即：对于子残差图像中的一像素点，若该像素点的灰度值大于200，则将该像素点的像素值置为1，否则将该像素点的像素值置为0，如此，使得子残差图像中任一像素点的像素值为1，或者为0，实现对该子残差图像的二值化处理，得到对应的子二值化图像。通过对子残差图像进行二值化处理，将子残差图像中像素点的像素值置为1或者0，使得该子残差图像所表征的子原始图像与子修复图像间的差异被进一步凸显。

可以理解的是，每一子二值化图像均是由对应的子原始图像经过残差计算以及二值化处理后得到，相应的，为了确定出原始图像中的缺陷区域，本实施例进一步根据每一子二值化图像对应的子原始图像在原始图像中的位置，将多个子二值化图像拼接为对应原始图像的拼接二值化图像。可以理解的是，该拼接二值化图像中的子二值化图像与原始图像中的子元素图像一一对应。

根据以上相关描述可知，对于拼接二值化图像中的一像素点，该像素点的像素值即表征了该像素点处存在差异的大小，根据二值化方式的不同，像素值表征的差异大小也不同。比如，当按照阈值为200，CV_THRESH_BINARY的二值化方式进行二值化处理时，像素值为1的像素点相较于像素值为0的像素点，表征了更大的差异，即像素值为1的像素点处更可能存在缺陷。因此，本实施例通过统计特定像素值的像素点来进行缺陷区域的确定。

其中，首先确定出拼接二值化图像中像素值为第一预设像素值（以第一预设像素值表征更大的差异为约束，第一预设像素值可以取值为1，也可以取值为0）的像素点，记为第一目标像素点，然后根据第一目标像素点在拼接二值化图像中的位置，确定出原始图像的缺陷区域。

示例性地，本实施以拼接二值化图像中一子二值化图像中确定出的第一目标像素点的数量为依据，来确定是否将该子二值化图像在原始图像中对应的子原始图像所在的图像区域确定为缺陷区域。比如，对于拼接二值化图像中的任一子二值化图像，若该子二值化图像中确定出的第一目标像素点的数量达到数量阈值（可由本领域技术人员根据实际需要取合适值，比如，本实施例将数量阈值配置为200），则将该子二值化图像在原始图像中对应的子原始图像所在的图像区域确定为缺陷区域。

由上可知，本实施例通过二值化处理来进一步凸显子残差图像所表征的差异信息，从而可以根据凸显后的差异信息来更准确地确定出原始图像中的缺陷区域。

在一些实施例中，根据每一子修复图像对应的子原始图像在原始图像中的位置，将多个子修复图像拼接为对应原始图像的修复图像；获取原始图像与修复图像的残差图像；根据残差图像确定原始图像的缺陷区域。

本实施例提供另一可选地缺陷区域确定方式。

可以理解的是，每一子修复图像均是由对应的子原始图像经过缺陷修复后得到，相应的，根据每一子修复图像对应的子原始图像在原始图像中的位置，可以将多个子修复图像拼接为一张完整的图像，相当于直接对原始图像进行缺陷修复而得到的图像，本实施例将由多个子修复图像拼接得到图像记为对应原始图像的修复图像。

本实施例在拼接得到对应原始图像的修复图像之后，进一步对原始图像和修复图像进行残差计算，得到该原始图像与修复图像的残差图像，该残差图像即表征了该原始图像与其修复图像间每一像素点的差异。

至此，即可根据多个子残差图像确定出原始图像的缺陷区域。

在一些实施例中，对残差图像进行二值化处理，得到残差图像的二值化图像；确定二值化图像中像素值为第二预设像素值的第二目标像素点；根据第二目标像素点在二值化图像中的位置，确定出缺陷区域。

其中，本实施例首先按照配置的二值化策略对残差图像进行二值化处理，相应得到对应该残差图像的二值化图像。此处对二值化策略的配置不作具体限制，可由本领域技术人员根据实际需要进行配置。比如，可以配置为以上实施例中相同的二值化策略，也可以配置为与以上实施例不同的二值化策略。同理，通过对残差图像进行二值化处理，使得该残差图像所表征的原始图像与修复图像间的差异被进一步凸显。

根据以上相关描述可知，对于拼接二值化图像中的一像素点，该像素点的像素值即表征了该像素点处存在差异的大小，根据二值化方式的不同，像素值表征的差异大小也不同。比如，当按照阈值为200，CV_THRESH_BINARY的二值化方式进行二值化处理时，像素值为1的像素点相较于像素值为0的像素点，表征了更大的差异，即像素值为1的像素点处更可能存在缺陷。因此，本实施例通过统计特定像素值的像素点来进行缺陷区域的确定。

其中，首先确定出二值化图像中像素值为第二预设像素值（以第二预设像素值表征更大的差异为约束，第二预设像素值可以取值为1，也可以取值为0）的像素点，记为第二目标像素点，然后根据第二目标像素点在二值化图像中的位置，确定出原始图像的缺陷区域。

示例性地，本实施例以子原始图像在二值化图像中对应的图像区域内确定出的第二目标像素点的数量为依据，来确定是否将子原始图像所在的图像区域确定为缺陷区域。比如，请参照图4，本实施例中，首先将电路板的原始图像输入到颜色分类模型中进行颜色分类，确定出电路板的颜色类别为浅绿色，然后将原始图像划分为多个子原始图像，并通过对应浅绿色的缺陷修复模型对划分得到多个子原始图像进行缺陷修复，相应得到多个子修复图像，然后根据每一子修复图像对应的子原始图像在原始图像中的位置，将多个子修复图像拼接为对应原始图像的修复图像，最后获取原始图像与修复图像的残差图像，并根据残差图像进行缺陷定位，以确定原始图像的缺陷区域。其中，对残差图像进行二值化处理，得到残差图像的二值化图像，并确定二值化图像中像素值为第二预设像素值的第二目标像素点，对于一子原始图像在二值化图像中对应的图像区域，若该图像区域中确定出的第二目标像素点的数量达到数量阈值（可由本领域技术人员根据实际需要取合适值，比如，本实施例将数量阈值配置为200），则将该子原始图像在原始图像中的图像区域确定为缺陷区域。

为验证本申请提供的缺陷检测方法的缺陷检测性能，进行如下比较试验：

将本申请提供的缺陷检测方法记为BP-AnoGAN，与相关技术中AnoGAN，f-AnoGAN以及GANomaly进行对比，为了保证确保几种缺陷检测方法获取到比较好的实验结果，结合AnoGAN，f-AnoGAN以及GANomaly的具体实现，将AnoGAN的图像输入大小配置为宽108（像素）x高108（像素），f-AnoGAN的图像输入大小配置为宽64（像素）x高64（像素），GANomaly的图像输入大小配置为宽32（像素）x高32（像素）。

分别采用AnoGAN、f-AnoGAN、GANomaly以及BP-AnoGAN对电路板数据集进行缺陷检测，其中电路板数据集中包括存在缺陷的第一电路板测试样本图像和不存在缺陷的第二电路板测试样本图像，以实现对各缺陷检测方法的准确率以及AUC（AUC表征了缺陷检测方法的真实性，真实性越高，表明缺陷检测方法的应用价值越高）进行评估，得到实验结果如下表1所示：

表1示出了AnoGAN、f-AnoGAN、GANomaly以及BP-AnoGAN的准确率指标和AUC指标的评估结果。

从上表1可以看出，本申请提供的BP-AnoGAN在电路板数据集的检测准确率达到了0.67，而目前的AnoGAN和f-AnoGAN在电路板数据集上的检测准确率分别为0.61和0.45，BP-AnoGAN比AnoGAN高了0.06，比f-AnoGAN高了0.21。另外，在AUC指标上，BP-AnoGAN达到了0.83，而GANomaly为0.78提高了0.05。可以看出，本申请提供的BP-AnoGAN相较于现有技术的缺陷检测方法，在准确率和AUC指标上均有所提高。

在一些实施例中，确定原始图像的缺陷区域之后，还包括：

根据颜色类别和缺陷类别的预设对应关系，将对应电路板的颜色类别的缺陷类别，确定为缺陷区域的缺陷类别。

根据以上相关描述可知，对于不同颜色类别的电路板，其可能存在的缺陷的类型不同。因此，本实施例中预先建立不同的颜色类别（的电路板）和缺陷类别的对应关系，记为预设对应关系。其中，对于一颜色类别，其对应的缺陷类别可以为一类，也可以为多类。

本实施例中，在确定出原始图像的缺陷区域之后，进一步根据前述预设对应关系，确定出对应电路板的颜色类别的缺陷类别，作为其缺陷区域的缺陷类别。其中，当电路板的颜色类别所对应的缺陷类别仅为一类时，则将该类缺陷类别直接作为电路板的缺陷区域的缺陷类别，当电路板的颜色类别所对应的缺陷类别为多类时，则将这多类缺陷类别作为电路板的缺陷区域的候选缺陷类别，进而从这些候选缺陷类别中确定电路板的缺陷区域的缺陷类别。

由上可知，本申请通过获取待检测对象的原始图像，并将原始图像划分为多个子原始图像，再通过缺陷修复模型分别对多个子原始图像进行缺陷修复，得到多个子修复图像，最后根据多个子原始图像以及多个子修复图像，确定原始图像的缺陷区域。一方面，通过采用基于人工智能的缺陷检测方式来代替传统的人工目视检测，能够大幅节省人力成本，同时避免人工的主观判断，从而提升缺陷检测的准确性。另一方面，相较于直接通过缺陷修复模型对完整的原始图像进行缺陷修复，本申请将完整的原始图像划分为多个子原始图像分别进行缺陷修复，能够保留更多的图像细节用于缺陷检测，从而进一步提升缺陷检测的准确性。

为了更好实施本申请实施例中缺陷检测方法，在缺陷检测方法基础之上，本申请还提供一种缺陷检测装置，如图5所示，为本申请提供的缺陷检测装置的一结构示意图，该缺陷检测装置300包括：

图像获取模块310，用于获取待检测对象的原始图像；

图像划分模块320，用于将原始图像划分为多个子原始图像；

图像修复模块330，用于通过缺陷修复模型分别对多个子原始图像进行缺陷修复，得到多个子修复图像；

缺陷检测模块340，用于根据多个子原始图像以及多个子修复图像，确定原始图像的缺陷区域。

在一实施例中，缺陷检测模块340用于：

获取每一子原始图像与其对应的子修复图像的子残差图像，得到多个子残差图像；

根据多个子残差图像确定缺陷区域。

在一实施例中，缺陷检测模块340用于：

分别对多个子残差图像进行二值化处理，得到多个子二值化图像；

根据每一子二值化图像对应的子原始图像在原始图像中的位置，将多个子二值化图像拼接为对应原始图像的拼接二值化图像；

确定拼接二值化图像中像素值为第一预设像素值的第一目标像素点；

根据第一目标像素点在拼接二值化图像中的位置，确定出缺陷区域。

在一实施例中，缺陷检测模块340用于：

根据每一子修复图像对应的子原始图像在原始图像中的位置，将多个子修复图像拼接为对应原始图像的修复图像；

获取原始图像与修复图像的残差图像；

根据残差图像确定缺陷区域。

在一实施例中，缺陷检测模块340用于：

对残差图像进行二值化处理，得到残差图像的二值化图像；

确定二值化图像中像素值为第二预设像素值的第二目标像素点；

根据第二目标像素点在二值化图像中的位置，确定出缺陷区域。

在一实施例中，待检测对象包括电路板，图像修复模块330用于：

对原始图像进行颜色分类，确定电路板的颜色类别；

通过对应颜色类别的缺陷修复模型分别对多个子原始图像进行缺陷修复，得到多个子修复图像。

在一实施例中，图像修复模块330用于：

通过颜色分类模型对原始图像进行颜色分类，确定电路板的颜色类别。

在一实施例中，缺陷检测装置还包括模型训练模块，用于：

获取训练样本集，训练样本集包括多类训练样本组，每一类训练样本组对应一类颜色类别，每类训练样本组中的训练样本组包括一张电路板样本图像以及用于指示电路板样本图像的颜色类别的颜色类别标签；

根据训练样本集对残差网络模型进行有监督训练，直至满足第一预设训练停止条件；

将满足第一预设训练停止条件时的残差网络模型作为颜色分类模型。

在一实施例中，模型训练模块还用于：

从一类颜色类别的训练样本组中获取不存在缺陷的目标电路板样本图像；

将每一目标电路板样本图像划分为多个子目标电路板样本图像；

将子目标电路板样本图像作为颜色类别的训练样本；

获取随机噪声数据；

根据训练样本和随机噪声数据，对深度卷积生成对抗网络中的生成器和判别器进行对抗训练，直至满足第二预设训练停止条件；

将满足第二预设训练停止条件时的生成器作为对应颜色类别的缺陷修复模型。

在一实施例中，模型训练模块用于：

固定生成器的网络参数，根据训练样本和随机噪声数据，对判别器的网络参数进行调整；

固定判别器的网络参数，根据训练样本和随机噪声数据，对生成器的网络参数进行调整；

重复以上步骤，直至满足第二预设训练停止条件。

在一实施例中，缺陷检测模块340还用于：

根据颜色类别和缺陷类别的预设对应关系，将对应电路板的颜色类别的缺陷类别，确定为缺陷区域的缺陷类别。

应当说明的是，在具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。

由于该缺陷检测装置可以执行本申请以上任意实施例中缺陷检测方法中的步骤，因此，可以实现以上对应任意实施例中缺陷检测方法所能实现的有益效果，详见前面的说明，在此不再赘述。

此外，为了更好实施本申请实施例中缺陷检测方法，在缺陷检测方法基础之上，本申请还提供一种电子设备，请参照图6，图6示出了本申请提供的电子设备400的一种结构示意图，如图6所示，本申请提供的电子设备400包括处理器410和存储器420，处理器410用于执行存储器420中存储的计算机程序时实现如本申请以上实施例中缺陷检测方法的各步骤。

示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器420中，并由处理器410执行，以完成本申请实施例。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机装置中的执行过程。

电子设备400可包括，但不仅限于处理器410、存储器420。本领域技术人员可以理解，示意仅仅是电子设备400的示例，并不构成对电子设备400的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子备400还可以包括输入输出设备、网络接入设备、总线等，处理器410、存储器420、输入输出设备以及网络接入设备等通过总线相连。

处理器410可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是电子设备400的控制中心，利用各种接口和线路连接整个电子设备400的各个部分。

存储器420可用于存储计算机程序和/或模块，处理器410通过运行或执行存储在存储器420内的计算机程序和/或模块，以及调用存储在存储器420内的数据，实现计算机装置的各种功能。存储器420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据电子设备400的使用所创建的数据（比如音频数据、视频数据等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的缺陷检测装置、电子设备400及其相应单元的具体工作过程，可以参考本申请以上实施例中关于缺陷检测方法的说明，具体在此不再赘述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读的存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请以上实施例中缺陷检测方法中的步骤。

具体操作可参考本申请以上实施例中关于缺陷检测方法的说明，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁盘或光盘等。

由于该计算机可读存储介质中所存储的指令，可以执行本申请以上实施例中缺陷检测方法中的步骤，因此，可以实现本申请以上实施例中缺陷检测方法所能实现的有益效果，详见前面的说明，在此不再赘述。

以上对本申请所提供的一种缺陷检测方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种缺陷检测方法，其特征在于，所述方法包括：

获取电路板的原始图像；

将所述原始图像划分为多个子原始图像；

通过颜色分类模型对所述原始图像进行颜色分类，确定所述电路板的颜色类别；

通过对应所述颜色类别的缺陷修复模型分别对多个所述子原始图像进行缺陷修复，得到多个子修复图像；

根据多个所述子原始图像以及多个所述子修复图像，确定所述原始图像的缺陷区域；

其中，所述颜色分类模型根据训练样本集对残差网络模型进行有监督训练至满足第一预设训练停止条件时得到，所述训练样本集包括多类训练样本组，每一类训练样本组对应一类颜色类别，每类训练样本组中的训练样本组包括一张电路板样本图像以及用于指示所述电路板样本图像的颜色类别的颜色类别标签。

2.如权利要求1所述的缺陷检测方法，其特征在于，所述根据多个所述子原始图像以及多个所述子修复图像，确定所述原始图像的缺陷区域，包括：

获取每一所述子原始图像与其对应的子修复图像的子残差图像，得到多个子残差图像；

根据多个所述子残差图像确定所述缺陷区域。

3.如权利要求2所述的缺陷检测方法，其特征在于，所述根据多个所述子残差图像，确定所述原始图像的缺陷区域，包括：

分别对多个所述子残差图像进行二值化处理，得到多个子二值化图像；

根据每一所述子二值化图像对应的子原始图像在所述原始图像中的位置，将多个所述子二值化图像拼接为对应所述原始图像的拼接二值化图像；

确定拼接二值化图像中像素值为第一预设像素值的第一目标像素点；

根据所述第一目标像素点在所述拼接二值化图像中的位置，确定出所述缺陷区域。

4.如权利要求1所述的缺陷检测方法，其特征在于，所述根据多个所述子原始图像以及多个所述子修复图像，确定所述原始图像的缺陷区域，包括：

根据每一所述子修复图像对应的子原始图像在所述原始图像中的位置，将多个所述子修复图像拼接为对应所述原始图像的修复图像；

获取所述原始图像与所述修复图像的残差图像；

根据所述残差图像确定所述缺陷区域。

5.如权利要求4所述的缺陷检测方法，其特征在于，所述根据所述残差图像确定所述缺陷区域，包括：

对所述残差图像进行二值化处理，得到所述残差图像的二值化图像；

确定所述二值化图像中像素值为第二预设像素值的第二目标像素点；

根据所述第二目标像素点在所述二值化图像中的位置，确定出所述缺陷区域。

6.如权利要求1-5任一项所述的缺陷检测方法，其特征在于，所述缺陷修复模型按照如下步骤生成：

从一类颜色类别的训练样本组中获取不存在缺陷的目标电路板样本图像；

将每一目标电路板样本图像划分为多个子目标电路板样本图像；

将所述子目标电路板样本图像作为所述颜色类别的训练样本；

获取随机噪声数据；

根据所述训练样本和所述随机噪声数据，对深度卷积生成对抗网络中的生成器和判别器进行对抗训练，直至满足第二预设训练停止条件；

将满足第二预设训练停止条件时的生成器作为对应所述颜色类别的缺陷修复模型。

7.如权利要求6所述的缺陷检测方法，其特征在于，所述根据所述训练样本和所述随机噪声数据，对深度卷积生成对抗网络中的生成器和判别器进行对抗训练，直至满足第二预设训练停止条件，包括：

固定所述生成器的网络参数，根据所述训练样本和所述随机噪声数据，对所述判别器的网络参数进行调整；

固定所述判别器的网络参数，根据所述训练样本和所述随机噪声数据，对所述生成器的网络参数进行调整；

重复以上步骤，直至满足所述第二预设训练停止条件。

8.如权利要求1-5任一项所述的缺陷检测方法，其特征在于，所述确定所述原始图像的缺陷区域之后，还包括：

根据颜色类别和缺陷类别的预设对应关系，将对应所述电路板的颜色类别的缺陷类别，确定为所述缺陷区域的缺陷类别。

9.一种缺陷检测装置，其特征在于，所述缺陷检测装置包括：

图像获取模块，用于获取电路板的原始图像；

图像划分模块，用于将所述原始图像划分为多个子原始图像；

图像修复模块，用于通过颜色分类模型对所述原始图像进行颜色分类，确定所述电路板的颜色类别；以及通过对应所述颜色类别的缺陷修复模型分别对多个所述子原始图像进行缺陷修复，得到多个子修复图像；

缺陷检测模块，用于根据多个所述子原始图像以及多个所述子修复图像，确定所述原始图像的缺陷区域；

其中，所述颜色分类模型根据训练样本集对残差网络模型进行有监督训练至满足第一预设训练停止条件时得到，所述训练样本集包括多类训练样本组，每一类训练样本组对应一类颜色类别，每类训练样本组中的训练样本组包括一张电路板样本图像以及用于指示所述电路板样本图像的颜色类别的颜色类别标签。

10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行如权利要求1至8任一项所述的缺陷检测方法中的步骤。

11.一种存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器运行，以执行权利要求1至8任一项所述的缺陷检测方法中的步骤。

Images