CN114898177A - 缺陷图像生成方法、模型训练方法、设备、介质及产品 - Google Patents

Abstract

本公开提供一种缺陷图像生成方法、模型训练方法、设备、介质及产品，方法包括：获取训练图像；所述训练图像包括缺陷区域；对至少所述训练图像的缺陷区域进行遮挡，生成缺陷遮挡图像；根据所述缺陷遮挡图像和所述训练图像对所述缺陷生成模型进行缺陷生成训练，以使所述缺陷生成模型能够在遮挡区域生成缺陷。从而能够使得缺陷生成模型能够准确地实现缺陷图像的生成，使得训练完毕的缺陷生成模型生成的预测图像真实度更高，适用性更强。

Description

缺陷图像生成方法、模型训练方法、设备、介质及产品

技术领域

本公开涉及人工智能领域，尤其涉及一种缺陷图像生成方法、模型训练方法、设备、介质及产品。

背景技术

在实际应用中，很多应用场景下均需要对缺陷的识别操作。举例来说，在制造业中，由于各种原因，产品可能存在缺陷，因此，可以通过缺陷识别的方式对缺陷产品进行识别。当前一般都是通过预先训练的缺陷识别模型进行缺陷识别操作。但是，由于很多场景下的缺陷图像较少，导致训练得到的缺陷识别模型的识别精度也不高。因此，如何实现对缺陷图像的扩充成为了亟待解决的问题。

发明内容

本公开提供一种缺陷图像生成方法、模型训练方法、设备、介质及产品，用于解决现有的缺陷图像数据量较少的技术问题。

本公开的第一个方面是提供一种缺陷图像生成模型的训练方法，包括：

获取训练图像；所述训练图像包括缺陷区域；

对至少所述训练图像的缺陷区域进行遮挡，生成缺陷遮挡图像；

根据所述缺陷遮挡图像和所述训练图像对所述缺陷生成模型进行缺陷生成训练，以使所述缺陷生成模型能够在遮挡区域生成缺陷。

本公开的第二个方面是提供一种缺陷图像生成方法，包括：

获取待处理图像；

对所述待处理图像进行遮挡，生成待处理遮挡图像；

将所述待处理遮挡图像输入缺陷生成模型，得到在遮挡区域具有缺陷的缺陷图像；其中，所述缺陷生成模型为采用如第一方面所述的缺陷图像生成模型的训练方法训练生成的。

本公开的第三个方面是提供一种缺陷图像生成模型的训练装置，包括：

获取模块，用于获取训练图像；所述训练图像包括缺陷区域；

遮挡模块，用于对至少所述训练图像的缺陷区域进行遮挡，生成缺陷遮挡图像；

训练模块，用于根据所述缺陷遮挡图像和所述训练图像对所述缺陷生成模型进行缺陷生成训练，以使所述缺陷生成模型能够在遮挡区域生成缺陷。

本公开的第四个方面是提供一种缺陷图像生成装置，包括：

图像获取模块，用于获取待处理图像；

图像处理模块，用于对所述待处理图像进行遮挡，生成待处理遮挡图像；

生成模块，用于将所述待处理遮挡图像输入缺陷生成模型，得到在遮挡区域具有缺陷的缺陷图像；其中，所述缺陷生成模型为采用如第一方面所述的缺陷图像生成模型的训练装置训练生成的。

本公开的第五个方面是提供一种电子设备，包括：存储器，处理器；

存储器；用于存储所述处理器可执行指令的存储器；

其中，所述处理器用于调用所述存储器中的程序指令执行如第一方面所述的缺陷图像生成模型的训练方法或第二方面所述的缺陷图像生成方法。

本公开的第六个方面是提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如第一方面所述的缺陷图像生成模型的训练方法或第二方面所述的缺陷图像生成方法。

本公开的第七个方面是提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如第一方面所述的缺陷图像生成模型的训练方法或第二方面所述的缺陷图像生成方法。

本公开提供的缺陷图像生成方法、模型训练方法、设备、介质及产品，通过在获取到包括缺陷区域的训练图像之后，对该训练图像中的缺陷区域进行遮挡，使得缺陷生成模型基于遮挡后的缺陷遮挡图像生成预测图像，其中，预测图像中包括缺陷生成模型生成的缺陷，根据该预测图像与训练图像计算损失值，根据该损失值对缺陷生成模型进行迭代训练。从而能够使得缺陷生成模型能够准确地实现缺陷图像的生成，使得训练完毕的缺陷生成模型生成的预测图像真实度更高，适用性更强。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为本公开基于的系统架构示意图；

图2为本公开实施例提供的缺陷图像生成模型的训练方法的流程示意图；

图3为本公开实施例提供的缺陷区域遮挡示意图；

图4为本公开实施例提供的又一缺陷区域遮挡示意图；

图5为本公开又一实施例提供的缺陷图像生成模型的训练方法的流程示意图；

图6为本公开实施例提供的缺陷图像生成模型的结构示意图；

图7为本公开实施例提供的第二子模型中第三个第二子层的训练示意图；

图8为本公开又一实施例提供的缺陷图像生成模型的训练方法的流程示意图；

图9为本公开又一实施例提供的缺陷图像生成模型的训练方法的流程示意图；

图10为本公开实施例提供的缺陷图像生成方法的流程示意图；

图11为本公开实施例提供的缺陷图像生成模型的训练装置的结构示意图；

图12为本公开实施例提供的缺陷图像生成装置的结构示意图；

图13为本公开实施例提供的电子设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例所获得的所有其他实施例，都属于本公开保护的范围。

针对上述提及的现有的缺陷图像数量较少的技术问题，本公开提供了一种缺陷图像生成方法、模型训练方法、设备、介质及产品。

需要说明的是，本公开提供缺陷图像生成方法、模型训练方法、设备、介质及产品可运用在各种缺陷图像生成的场景中。

为了实现对产品中缺陷的识别操作，缺陷识别模型逐渐走进了各种场景。为了保证缺陷识别模型的识别精度，首先需要保证缺陷识别模型训练过程中训练数据的数据量足够充足。但是，现有的缺陷识别模型的训练数据一般都是生产生活过程中实际采集的图像，往往数据量较小，相应地，训练获得的缺陷识别模型的精度较低。

为了提高缺陷识别模型的识别精度，发明人通过研究发现，可以采用人工智能的方式，训练获得缺陷生成模型，使得缺陷生成模型学习到缺陷的纹理等信息，基于该缺陷生成模型进行缺陷图像的扩充操作。

发明人进一步地研究发现，在缺陷生成模型训练的过程中，可以获取包括缺陷区域的缺陷图像，对该缺陷图像中的缺陷区域进行遮挡，使得缺陷生成模型学习缺陷区域的纹理细节，对缺陷生成模型进行训练操作，使得训练后的缺陷生成模型能够基于缺陷图像或正常图像实现新的缺陷图像的生成，进而扩充缺陷图像的数据量，提高缺陷识别模型的识别精度。

图1为本公开基于的系统架构示意图，如图1所示，本公开基于的系统架构至少包括：终端设备11、服务器12，其中，服务器12中设置有缺陷图像生成模型的训练模型，该缺陷图像生成模型的训练模型可采用C/C++、Java、Shell或Python等语言编写；终端设备11则可例如台式电脑、平板电脑等。

服务器12可以从终端设备11或者预设的数据服务器中获取训练图像13，对该训练图像13进行遮挡，获得缺陷遮挡图像14，基于该缺陷遮挡图像14进行缺陷生成模型15的训练操作。

图2为本公开实施例提供的缺陷图像生成模型的训练方法的流程示意图，如图2所示，该方法包括：

步骤201、获取训练图像；所述训练图像包括缺陷区域。

本实施例的执行主体为缺陷图像生成模型的训练装置，该缺陷图像生成模型的训练装置可耦合于服务器中。该服务器能够与终端设备或数据服务器通信连接，从而能够从终端设备或数据服务器中获取训练图像，进而采用训练图像对缺陷生成模型进行训练操作。其中，该训练图像的数量可以为多张。

在本实施方式中，为了实现对缺陷生成模型的训练操作，首先需要获取训练图像，其中，该训练图像中包括缺陷区域。从而在训练过程中，缺陷生成模型能够对该缺陷区域内的缺陷细节进行学习，进而实现缺陷的生成操作。

步骤202、对至少所述训练图像的缺陷区域进行遮挡，生成缺陷遮挡图像。

在本实施方式中，在获取到训练图像之后，可以对训练图像中的缺陷区域进行遮挡操作，获得缺陷遮挡图像。具体地，可以采用与缺陷区域相匹配的掩膜(mask)实现对缺陷区域的遮挡操作，也可以采用其他任意一种方式实现对缺陷区域的遮挡操作，本公开对此不做限制。通过对缺陷区域进行遮挡操作，从而能够使得缺陷生成模型对遮挡区域内的缺陷细节进行学习。使得缺陷生成模型生成的缺陷图像中缺陷的边缘区域更加自然，更加贴近真实缺陷，提高生成的缺陷图像的真实性。

步骤203、根据所述缺陷遮挡图像和所述训练图像对所述缺陷生成模型进行缺陷生成训练，以使所述缺陷生成模型能够在遮挡区域生成缺陷。

在本实施方式中，在对训练图像中的缺陷区域进行遮挡之后，可以将缺陷遮挡图像输入至该缺陷生成模型中。缺陷生成模型能够在该遮挡区域内进行缺陷的生成操作，获得包括预测缺陷区域的预测图像。

进一步地，可以确定预测图像与训练图像之间的损失值，从而能够根据该损失值反向对缺陷生成模型的参数进行调节操作。重复上述步骤对缺陷生成模型进行迭代训练操作，直至该缺陷生成模型满足训练终止条件，得到训练完毕的缺陷生成模型。

其中，训练完毕的缺陷生成模型能够在遮挡区域内生成真实度较高的缺陷。

图3为本公开实施例提供的缺陷区域遮挡示意图，如图3所示，训练图像31中包括缺陷区域32，对该缺陷区域32进行遮挡，获得缺陷遮挡图像33，其中，缺陷遮挡图像33中包括遮挡区域34。

可选地，所述缺陷生成模型为pconv模型。

本实施例提供的缺陷图像生成模型的训练方法，通过在获取到包括缺陷区域的训练图像之后，对该训练图像中的缺陷区域进行遮挡，使得缺陷生成模型基于遮挡后的缺陷遮挡图像生成预测图像，其中，预测图像中包括缺陷生成模型生成的缺陷，根据该预测图像与训练图像计算损失值，根据该损失值对缺陷生成模型进行迭代训练。从而能够使得缺陷生成模型能够准确地实现缺陷图像的生成，使得训练完毕的缺陷生成模型生成的预测图像真实度更高，适用性更强。

进一步地，在上述任一实施例的基础上，步骤202中，所述缺陷遮挡图像中遮挡区域的面积大于缺陷区域的面积。

在本实施例中，为了提高缺陷生成模型生成的缺陷的真实度，在缺陷区域遮挡的过程中，可以控制缺陷遮挡图像中遮挡区域的面积大于缺陷区域的面积。

图4为本公开实施例提供的又一缺陷区域遮挡示意图，如图4所示，训练图像41中包括缺陷区域42，对该缺陷区域42进行遮挡，获得缺陷遮挡图像43，缺陷遮挡图像43中包括遮挡区域44。需要说明的是，遮挡区域44的覆盖面积大于缺陷区域42的覆盖面积。

从而缺陷生成模型能够学习到训练图像缺陷区域周围更多的纹理细节，能够提高缺陷生成模型生成的缺陷图像的真实性以及准确性。

进一步地，在上述任一实施例的基础上，所述缺陷遮挡图像中遮挡区域的边缘位置对应的损失权重大于遮挡区域的中心位置对应的损失权重。

在本实施例中，由于在训练过程中发现缺陷生成模型生成的预测图像中，缺陷区域的中心位置的准确性更高，纹理细节更逼真，而缺陷区域的周围位置则效果不佳。因此，为了进一步地提高缺陷生成模型的精度以及准确性，在训练过程中，缺陷遮挡图像中遮挡区域的边缘位置对应的损失权重大于遮挡区域的中心位置对应的损失权重。

通过在训练过程中，缺陷遮挡图像中遮挡区域的边缘位置对应的损失权重大于遮挡区域的中心位置对应的损失权重。从而缺陷生成模型能够更加关注缺陷区域边缘位置的纹理细节，进而能够保证生成的缺陷图像准确性更高，纹理细节更逼真。

图5为本公开又一实施例提供的缺陷图像生成模型的训练方法的流程示意图，在上述任一实施例的基础上，如图5所示，在步骤201之后，在步骤203中所述“生成缺陷遮挡图像”之前，还包括：

步骤501、对所述训练图像进行随机遮挡，得到随机遮挡图像。

步骤502、根据所述随机遮挡图像和所述训练图像对预设的预训练模型进行复原训练，获得缺陷生成模型，以使所述缺陷生成模型能够将所述随机掩膜图像复原为所述训练图像。

在本实施例中，为了进一步地提高缺陷生成模型生成的缺陷图像的准确性以及真实性，在获取到训练图像之后，采用缺陷遮挡图像进行模型训练之前，可以对训练图像进行随机遮挡，其中，随机遮挡的区域可以为缺陷区域，也可以为非缺陷区域。通过随机遮挡图像对预训练模型进行训练操作，获得缺陷生成模型，使得缺陷生成模型能够具有图像复原的能力。

具体地，可以将随机遮挡图像输入至缺陷生成模型中，获得缺陷生成模型基于该随机遮挡图像生成的复原图像。根据该复原图像与该训练图像计算缺陷生成模型的损失值。并根据该损失值反向对缺陷生成模型的参数进行调节。重复上述步骤对缺陷生成模型进行迭代训练，直至训练过程满足预设的训练终止条件，表征缺陷生成模型学习到复原图像的能力，缺陷生成模型能够将随机掩膜图像复原为训练图像。

进一步地，在采用随机遮挡图像对缺陷生成模型进行训练操作至该缺陷生成模型收敛之后，可以将该收敛的缺陷生成模型当前的权重作为预训练权重。从而后续可以基于该预训练权重采用缺陷遮挡图像继续对该缺陷生成模型进行训练操作。

本实施例提供的缺陷图像生成模型的训练方法，通过在对缺陷生成模型进行缺陷生成训练之前，对预训练模型进行复原训练，获得缺陷生成模型。从而能够在保证缺陷生成模型能够准确地对随机遮挡图像进行复原的基础上，进行缺陷生成训练，能够有效地提高缺陷生成训练的效率，且能够提高缺陷生成训练后的缺陷生成模型的生成准确性以及真实性。

图6为本公开实施例提供的缺陷图像生成模型的结构示意图，在上述任一实施例的基础上，如图6所示，所述缺陷生成模型61包括顺序连接的第一子模型62和第二子模型63，

第一子模型62包括多个第一子层64，第一子模型62用于下采样；

第二子模型63包括多个第二子层65，第二子模型63用于上采样，并且，第二子层65的数量等于第一子层64的数量；

所述训练方法包括：

各所述第二子层根据每个所述第一子层的输出，或者每个所述第一子层的输出及前一第二子层的输出，处理得到当前第二子层的输出。

在本实施例中，pconv模型为一种U-net模型，其包括顺序连接的第一子模型以及第二子模型。其中，第一子模型用于对输入的图像进行下采样操作，其中包括多个第一子层。第二子模型用于对第一子模型下采样后的数据进行上采样操作，其中包括多个第二子层。该缺陷生成模型为U型结构，也即第一子层与第二子层的数量相同。

基于上述模型架构，在训练过程中，针对每一第二子层，其可以根据每个所述第一子层的输出，或者每个所述第一子层的输出及前一第二子层的输出，进行数据处理得到当前第二子层的输出。

具体地，针对第二子模型中的首个第二子层，可以根据第一子模型中的每一第一子层的输出进行数据处理得到当前第二子层的输出。针对第二子模型中除首个第二子层以外的其他第二子层，其可以根据根据第一子模型中的每一第一子层的输出以及前一第二子层的输出进行数据处理得到当前第二子层的输出。

图7为本公开实施例提供的第二子模型中第三个第二子层的训练示意图，如图7所述，第一子模型71中每一第一子层72以及第二子模型73中第三个第二子层74之前的子层75的输出均输入至第三个第二子层74。第三个第二子层74根据上述多个输入进行数据处理，获得第三个第二子层74的输出。

本实施例提供的缺陷图像生成模型的训练方法，通过在训练过程中，针对每一第二子层，其可以根据每个所述第一子层的输出，或者每个所述第一子层的输出及前一第二子层的输出，进行数据处理得到当前第二子层的输出，从而能够使得各第二子层学习到更多的细节，有效地提高了缺陷生成模型的生成准确度以及真实度。

进一步地，在上述任一实施例的基础上，所述“各所述第二子层根据每个所述第一子层的输出，或者每个所述第一子层的输出及前一第二子层的输出，处理得到当前第二子层的输出”包括：

针对所述第二子模型中的首个第二子层，将所述第一子模型中除最后一个第一子层以外的各第一子层的输出的尺寸调整为与所述首个第二子层匹配的目标输入尺寸。

针对所述第二子模型中除首个第二子层以外的任一第二子层，将所述第一子模型中除与所述第二子层位置相匹配的第一子层以外的每个第一子层的输出，及前一第二子层的输出调整为与所述任一第二子层匹配的目标输入尺寸。

对调整后的每个所述第一子层的输出，或者每个所述第一子层的输出及前一第二子层的输出进行拼接操作，获得拼接后的目标输入。

各所述第二子层根据所述目标输入处理得到当前第二子层的输出。

在本实施例中，由于每一第二子层均需要处理多个子层的输出数据，而不同的子层输出数据的尺寸有所不同。因此，为了实现对多个子层输出数据的处理，在获取到多个子层的输出之后，首先需要对多个子层的数据进行尺寸调整，调整至与当前子层相同的数据尺寸。

在完成对各子层输出的尺寸调整之后，获得多个相同尺寸的输出。为了方便当前子层对多个相同尺寸输出的数据处理操作，可以对多个相同尺寸的输出进行数据拼接操作。对调整后的输出数据进行数据拼接操作，获得拼接后的目标输入，从而当前子层仅需对拼接后的一个输出数据进行数据处理，有效地提高当前子层数据处理的效率。具体地，数据拼接操作可以为将多个子层的输出数据进行水平方向的整合，或者垂直方向的整合，得到一个目标输入。其中，可以采用任意一种方式实现对子层输出的尺寸调整以及数据拼接，本公开对此不做限制。

具体地，针对第二子模型中的首个第二子层，可以将第一子模型中除最后一个第一子层以外的各第一子层的输出的尺寸调整为与首个第二子层匹配的目标输入尺寸。针对第二子模型中除首个第二子层以外的任一第二子层，将第一子模型中除与第二子层位置相匹配的第一子层以外的每个第一子层的输出，及前一第二子层的输出调整为与任一第二子层匹配的目标输入尺寸。对调整后的每个第一子层的输出，或者每个第一子层的输出及前一第二子层的输出进行拼接操作，获得拼接后的目标输入。各第二子层根据目标输入进行上采样数据处理得到当前第二子层的输出。

本实施例提供的缺陷图像生成模型的训练方法，通过在每一第二子层进行上采样数据处理之前，对输入数据进行尺寸调整以及数据拼接，从而能够提高缺陷生成模型的训练效率。

图8为本公开又一实施例提供的缺陷图像生成模型的训练方法的流程示意图，在上述任一实施例的基础上，如图8所示，步骤203包括：

步骤801、对所述训练图像进行随机遮挡，得到随机遮挡图像。

步骤802、将所述随机遮挡图像输入至所述预设的预训练模型中，获得所述预训练模型输出的第一预测图像。

步骤803、根据所述第一预测图像以及所述训练图像确定所述预训练模型的第一损失值。

步骤804、根据所述第一损失值对所述预训练模型进行参数调整，直至所述预训练模型满足第一预设终止条件，获得待调整的缺陷生成模型。

步骤805、对至少所述训练图像的缺陷区域进行遮挡，生成缺陷遮挡图像。

步骤806、将所述缺陷遮挡图像输入至所述待调整的缺陷生成模型，获得所述待调整的缺陷生成模型输出的第二预测图像。

步骤807、根据所述第二预测图像与所述训练图像确定所述待调整的缺陷生成模型的第二损失值。

步骤808、根据所述第二损失值对所述待调整的缺陷生成模型进行参数调整，直至所述待调整的缺陷生成模型满足第一预设终止条件，获得训练后的缺陷生成模型，训练后的缺陷生成模型能够在遮挡区域生成缺陷。

在本实施例中，在缺陷生成模型训练过程中，首先可以获取训练图像，对该训练图像进行随机遮挡操作，获得随机遮挡图像。基于该随机遮挡图像对预训练模型进行复原训练。具体地，可以将随机遮挡图像输入至预训练模型中，获得预训练模型输出的第一预测图像。其中，该第一预测图像可以为缺陷生成模型对该随机遮挡区域进行补全之后的图像。根据第一预测图像以及训练图像确定预训练模型的第一损失值。根据第一损失值对预训练模型进行参数调整，直至预训练模型满足第一预设终止条件，获得待调整的缺陷生成模型。

在获得待调整的缺陷生成模型之后，可以在该待调整的缺陷生成模型的预训练参数基础上，进一步地采用对缺陷区域进行遮挡后的缺陷遮挡图像对待调整的缺陷生成模型进行训练，使得该待调整的缺陷生成模型具备缺陷图像生成的能力。具体地，可以对训练图像中的缺陷区域进行遮挡操作，获得缺陷遮挡图像。基于该缺陷遮挡图像对待调整的缺陷生成模型进行缺陷生成训练。具体地，可以将缺陷遮挡图像输入至待调整的缺陷生成模型，获得待调整的缺陷生成模型输出的第二预测图像。根据第二预测图像与训练图像确定待调整的缺陷生成模型的第二损失值。根据第二损失值对待调整的缺陷生成模型进行参数调整，直至待调整的缺陷生成模型满足第一预设终止条件，获得训练后的缺陷生成模型，训练后的缺陷生成模型能够在遮挡区域生成缺陷。

其中，该第一预设终止条件可以为缺陷生成模型的损失值小于预设的第一阈值，或者，两次训练后的缺陷生成模型对应的损失值之间的差值小于预设的第一差值阈值，或者，训练次数达到预设的第一次数阈值，或者，训练时长达到预设的第一训练时长。可以采用任意一种作为缺陷生成模型的第一终止条件，本公开对此不做限制。

本实施例提供的缺陷图像生成模型的训练方法，通过在对缺陷生成模型进行缺陷生成训练之前，对预训练模型进行复原训练，从而能够在保证缺陷生成模型能够准确地对随机遮挡图像进行复原的基础上，进行缺陷生成训练，能够有效地提高缺陷生成训练的效率，且能够提高缺陷生成训练后的缺陷生成模型的生成准确性以及真实性。

图9为本公开又一实施例提供的缺陷图像生成模型的训练方法的流程示意图，在上述任一实施例的基础上，所述训练方法包括：

步骤901、针对所述缺陷生成模型中的各子层，对所述子层进行重点训练，其中，所述子层包括第一子层以及第二子层。

步骤902、检测所述子层是否满足第二预设终止条件。

步骤903、当检测到所述子层满足第二预设终止条件时，对下一子层进行重点训练。

当检测到所述子层不满足第二预设终止条件时，返回执行步骤901。

步骤904、检测是否全部子层均满足预设的第二预设终止条件。

步骤905、若所述缺陷生成模型中的全部子层均满足预设的第二预设终止条件时，获得训练后的缺陷生成模型，所述训练后的缺陷生成模型能够在遮挡区域生成缺陷。

若所述缺陷生成模型中任一子层不满足预设的第二预设终止条件时，返回执行步骤901。

在本实施例中，为了进一步地提高缺陷生成模型生成的缺陷图像的准确性以及真实性，在模型训练过程中，针对缺陷生成模型中的每一子层，可以分别进行重点训练，当每一子层均满足第二预设终止条件时，获得训练完毕的缺陷生成模型。其中，该第二预设终止条件可以为缺陷生成模型的损失值小于预设的第二阈值，或者，两次训练后的缺陷生成模型对应的损失值之间的差值小于预设的第二差值阈值，或者，训练次数达到预设的第二次数阈值，或者，训练时长达到预设的第二训练时长。可以采用任意二种作为缺陷生成模型的第二终止条件，本公开对此不做限制。需要说明的是，第一预设终止条件可以与第二预设终止条件相同，也可以不同，本公开对此不做限制。

具体地，针对缺陷生成模型中的各子层，对子层进行重点训练，其中，子层包括第一子层以及第二子层。检测子层是否满足第二预设终止条件。当检测到子层满足第二预设终止条件时，对下一子层进行重点训练。反之，则继续对当前子层进行训练。检测是否全部子层均满足预设的第二预设终止条件。若缺陷生成模型中的全部子层均满足预设的第二预设终止条件时，获得训练后的缺陷生成模型，训练后的缺陷生成模型能够在遮挡区域生成缺陷。反之，则继续对子层进行训练。

进一步地，在上述任一实施例的基础上，所述重点训练的子层对应的权重占比大于其他子层的权重占比。

在本实施例中，在对每一子层进行重点训练时，为了进一步地提高子层的训练效果，以及训练效率，重点训练的子层对应的权重占比大于其他子层的权重占比。

本实施例提供的缺陷图像生成模型的训练方法，通过对每一子层进行重点训练，直至每一子层均达到第二预设终止条件，从而能够有效地提高缺陷生成训练的效率，且能够训练后的缺陷生成模型的生成的缺陷图像准确性以及真实性。

进一步地，在上述任一实施例的基础上，步骤201包括：

获取预设缺陷类型对应的训练图像；

步骤203包括：

采用所述预设缺陷类型对应的训练图像与所述缺陷遮挡图像对所述缺陷生成模型进行缺陷生成训练，以使所述缺陷生成模型能够在遮挡区域生成预设缺陷类型的缺陷。

在本实施例中，由于实际应用中，缺陷的类型较多，例如，缺陷类型可以包括孔洞类型、划痕类型等。因此，为了进一步地提高缺陷生成模型生成的缺陷图像的准确性，可以针对不同的缺陷类型设置不同的缺陷生成模型。

具体地，可以获取预设缺陷类型对应的训练图像。采用该预设缺陷类型对应的训练图像依次对缺陷生成模型进行复原训练以及缺陷生成训练，以使缺陷生成模型能够在遮挡区域生成预设缺陷类型的缺陷。

本实施例提供的缺陷图像生成模型的训练方法，通过针对不同的缺陷类型，设置不同的缺陷生成模型，从而能够使得缺陷生成模型有针对性地对缺陷类型进行学习，提高缺陷生成模型的生成的缺陷图像准确性以及真实性。

图10为本公开实施例提供的缺陷图像生成方法的流程示意图，如图10所示，该方法包括：

步骤1001、获取待处理图像。

步骤1002、对所述待处理图像进行遮挡，生成待处理遮挡图像。

步骤1003、将所述待处理遮挡图像输入缺陷生成模型，得到在遮挡区域具有缺陷的缺陷图像；其中，所述缺陷生成模型为采用如上述任一实施例所述的缺陷图像生成模型的训练方法训练生成的。

本实施例的执行主体为缺陷图像生成装置，该缺陷图像生成装置可耦合于服务器中，也可以耦合于终端设备中，能够根据获取到的待处理图像进行缺陷图像生成操作。

在本实施例中，缺陷图像生成装置可以获取待处理图像，其中，该待处理图像中可以包括缺陷区域，也可以不包括缺陷区域，本公开对此不做限制。对该待处理图像进行遮挡，生成待处理遮挡图像。将待处理遮挡图像输入缺陷生成模型，得到在遮挡区域具有缺陷的缺陷图像；其中，缺陷生成模型为采用如上述任一实施例的缺陷图像生成模型的训练方法训练生成的，其能够在遮挡区域生成真实准确的缺陷。

本实施例提供的缺陷图像生成模型的训练方法，通过对该待处理图像进行遮挡，生成待处理遮挡图像。将待处理遮挡图像输入缺陷生成模型，得到在遮挡区域具有缺陷的缺陷图像，从而能够准确地实现缺陷图像的生成，且能够根据实际需求确定缺陷区域的位置，使得生成的缺陷图像更加贴合用户的实际需求。

进一步地，在上述任一实施例的基础上，所述生成方法还包括：

将所述待处理图像输入至与所述缺陷类型对应的缺陷生成模型，得到与所述缺陷类型对应的具有缺陷图像。

其中，所述缺陷类型为用户设置的或者根据所述待处理图像进行识别确定的。

在本实施例中，由于实际应用中，缺陷的类型较多，例如，缺陷类型可以包括孔洞类型、划痕类型等。因此，为了进一步地提高缺陷生成模型生成的缺陷图像的准确性，可以针对不同的缺陷类型设置不同的缺陷生成模型。相应地，在模型使用过程中，可以确定待处理图像对应的缺陷类型，其中，该缺陷类型可以为用户输入的，也可以为任意一种识别方式识别获得，本公开对此不做限制。将待处理图像输入至与缺陷类型对应的缺陷生成模型，得到与缺陷类型对应的具有缺陷图像。

本实施例提供的缺陷图像生成模型的训练方法，通过针对不同的缺陷类型，设置不同的缺陷生成模型，从而能够使得缺陷生成模型有针对性地对缺陷类型进行学习，提高缺陷生成模型的生成的缺陷图像准确性以及真实性。

图11为本公开实施例提供的缺陷图像生成模型的训练装置的结构示意图，如图11所示，该装置包括：获取模块1101、遮挡模块1102以及训练模块1103。其中，获取模块1101，用于获取训练图像。所述训练图像包括缺陷区域。遮挡模块1102，用于对至少所述训练图像的缺陷区域进行遮挡，生成缺陷遮挡图像。训练模块1103，用于根据所述缺陷遮挡图像和所述训练图像对所述缺陷生成模型进行缺陷生成训练，以使所述缺陷生成模型能够在遮挡区域生成缺陷。

进一步地，在上述任一实施例的基础上，所述缺陷遮挡图像中遮挡区域的面积大于缺陷区域的面积。

进一步地，在上述任一实施例的基础上，所述缺陷遮挡图像中遮挡区域的边缘位置对应的损失权重大于遮挡区域的中心位置对应的损失权重。

进一步地，在上述任一实施例的基础上，所述装置还包括：随机遮挡模块，用于对所述训练图像进行随机遮挡，得到随机遮挡图像。复原训练模块，用于根据所述随机遮挡图像和所述训练图像对预设的预训练模型进行复原训练，获得缺陷生成模型，以使所述缺陷生成模型能够将所述随机掩膜图像复原为所述训练图像。

进一步地，在上述任一实施例的基础上，所述缺陷生成模型为pconv模型。

进一步地，在上述任一实施例的基础上，所述缺陷生成模型包括顺序连接的第一子模型和第二子模型，第一子模型包括多个第一子层，第一子模型用于下采样。第二子模型包括多个第二子层，第二子模型用于上采样，并且，第二子层的数量等于第一子层的数量。所述训练装置包括：处理模块，用于各所述第二子层根据每个所述第一子层的输出，或者每个所述第一子层的输出及前一第二子层的输出，处理得到当前第二子层的输出。

进一步地，在上述任一实施例的基础上，所述处理模块，用于：针对所述第二子模型中的首个第二子层，将所述第一子模型中除最后一个第一子层以外的各第一子层的输出的尺寸调整为与所述首个第二子层匹配的目标输入尺寸。针对所述第二子模型中除首个第二子层以外的任一第二子层，将所述第一子模型中除与所述第二子层位置相匹配的第一子层以外的每个第一子层的输出，及前一第二子层的输出调整为与所述任一第二子层匹配的目标输入尺寸。对调整后的每个所述第一子层的输出，或者每个所述第一子层的输出及前一第二子层的输出进行拼接操作，获得拼接后的目标输入。各所述第二子层根据所述目标输入处理得到当前第二子层的输出。

进一步地，在上述任一实施例的基础上，所述训练模块，用于：对所述训练图像进行随机遮挡，得到随机遮挡图像。将所述随机遮挡图像输入至预设的预训练模型中，获得所述预训练模型输出的第一预测图像。根据所述第一预测图像以及所述训练图像确定所述预训练模型的第一损失值。根据所述第一损失值对所述预训练模型进行参数调整，直至所述预训练模型满足第一预设终止条件，获得待调整的缺陷生成模型。对至少所述训练图像的缺陷区域进行遮挡，生成缺陷遮挡图像。将所述缺陷遮挡图像输入至所述待调整的缺陷生成模型，获得所述待调整的缺陷生成模型输出的第二预测图像。根据所述第二预测图像与所述训练图像确定所述待调整的缺陷生成模型的第二损失值。根据所述第二损失值对所述待调整的缺陷生成模型进行参数调整，直至所述待调整的缺陷生成模型满足第一预设终止条件，获得训练后的缺陷生成模型，所述训练后的缺陷生成模型能够在遮挡区域生成缺陷。

进一步地，在上述任一实施例的基础上，所述装置包括：重点训练模块，用于针对所述缺陷生成模型中的各子层，对所述子层进行重点训练，其中，所述子层包括第一子层以及第二子层。循环模块，用于当检测到所述子层满足第二预设终止条件时，对下一子层进行重点训练，直至所述缺陷生成模型中的全部子层均满足预设的第二预设终止条件时，获得训练后的缺陷生成模型，所述训练后的缺陷生成模型能够在遮挡区域生成缺陷。

进一步地，在上述任一实施例的基础上，所述重点训练的子层对应的权重占比大于其他子层的权重占比。

进一步地，在上述任一实施例的基础上，所述获取模块，用于：获取预设缺陷类型对应的训练图像。所述训练模块，用于：采用所述预设缺陷类型对应的训练图像与所述缺陷遮挡图像对所述缺陷生成模型进行缺陷生成训练，以使所述缺陷生成模型能够在遮挡区域生成预设缺陷类型的缺陷。

图12为本公开实施例提供的缺陷图像生成装置的结构示意图，如图12所示，该装置包括：图像获取模块1201、图像处理模块1202以及生成模块1203。其中，图像获取模块1201，用于获取待处理图像。图像处理模块1202，用于对所述待处理图像进行遮挡，生成待处理遮挡图像。生成模块1203，用于将所述待处理遮挡图像输入缺陷生成模型，得到在遮挡区域具有缺陷的缺陷图像。其中，所述缺陷生成模型为采用如上述任一实施例所述的缺陷图像生成模型的训练装置训练生成的。

进一步地，在上述任一实施例的基础上，所述装置还包括：图像输入模块，用于将所述待处理图像输入至与所述缺陷类型对应的缺陷生成模型，得到与所述缺陷类型对应的具有缺陷图像。其中，所述缺陷类型为用户设置的或者根据所述待处理图像进行识别确定的。

本实施例提供的设备，可用于执行上述方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。

为了实现上述实施例，本公开实施例还提供了一种电子设备：包括：处理器和存储器。

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如上述任一所述的缺陷生成模型的训练方法或者缺陷图像生成方法。

图13为本公开实施例提供的电子设备的结构示意图，如图13所示，该电子设备1300可以为终端设备或服务器。其中，终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(Personal Digital Assistant，简称PDA)、平板电脑(Portable Android Device，简称PAD)、便携式多媒体播放器(Portable Media Player，简称PMP)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图13示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图13所示，电子设备1300可以包括处理装置(例如中央处理器、图形处理器等)1301，其可以根据存储在只读存储器(Read Only Memory，简称ROM)1302中的程序或者从存储装置1308加载到随机访问存储器(Random Access Memory，简称RAM)1303中的程序而执行各种适当的动作和处理。在RAM 1303中，还存储有电子设备1300操作所需的各种程序和数据。处理装置1301、ROM 1302以及RAM 1303通过总线1304彼此相连。输入/输出(I/O)接口1305也连接至总线1304。

通常，以下装置可以连接至I/O接口1305：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置1306；包括例如液晶显示器(Liquid CrystalDisplay，简称LCD)、扬声器、振动器等的输出装置1307；包括例如磁带、硬盘等的存储装置1308；以及通信装置1309。通信装置1309可以允许电子设备1300与其他设备进行无线或有线通信以交换数据。虽然图13示出了具有各种装置的电子设备1300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置1309从网络上被下载和安装，或者从存储装置1308被安装，或者从ROM1302被安装。在该计算机程序被处理装置1301执行时，执行本公开实施例的方法中限定的上述功能。

本公开又一实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上述任一实施例所述的缺陷生成模型的训练方法或者缺陷图像生成方法。

本公开又一实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一实施例所述的缺陷生成模型的训练方法或者缺陷图像生成方法。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network，简称LAN)或广域网(Wide Area Network，简称WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述各实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。

Claims (16)

1.一种缺陷图像生成模型的训练方法，其特征在于，包括：

获取训练图像；所述训练图像包括缺陷区域；

对至少所述训练图像的缺陷区域进行遮挡，生成缺陷遮挡图像；

根据所述缺陷遮挡图像和所述训练图像对所述缺陷生成模型进行缺陷生成训练，以使所述缺陷生成模型能够在遮挡区域生成缺陷。

2.根据权利要求1所述的训练方法，其特征在于，在“对至少所述训练图像的缺陷区域进行遮挡，生成缺陷遮挡图像”中，所述缺陷遮挡图像中遮挡区域的面积大于缺陷区域的面积。

3.根据权利要求1所述的训练方法，其特征在于，所述缺陷遮挡图像中遮挡区域的边缘位置对应的损失权重大于遮挡区域的中心位置对应的损失权重。

4.根据权利要求1～3任一项所述的训练方法，其特征在于，在“获取训练图像”之后且“生成缺陷遮挡图像”之前，还包括：

对所述训练图像进行随机遮挡，得到随机遮挡图像；

根据所述随机遮挡图像和所述训练图像对预设的预训练模型进行复原训练，获得缺陷生成模型，以使所述缺陷生成模型能够将所述随机掩膜图像复原为所述训练图像。

5.根据权利要求1～3任一项所述的训练方法，其特征在于，所述缺陷生成模型为pconv模型。

6.根据权利要求1～3任一项所述的训练方法，其特征在于，所述缺陷生成模型包括顺序连接的第一子模型和第二子模型，

第一子模型包括多个第一子层，第一子模型用于下采样；

第二子模型包括多个第二子层，第二子模型用于上采样，并且，第二子层的数量等于第一子层的数量；

所述训练方法包括：

各所述第二子层根据每个所述第一子层的输出，或者每个所述第一子层的输出及前一第二子层的输出，处理得到当前第二子层的输出。

7.根据权利要求6所述的训练方法，其特征在于，所述“各所述第二子层根据每个所述第一子层的输出，或者每个所述第一子层的输出及前一第二子层的输出，处理得到当前第二子层的输出”包括：

针对所述第二子模型中的首个第二子层，将所述第一子模型中除最后一个第一子层以外的各第一子层的输出的尺寸调整为与所述首个第二子层匹配的目标输入尺寸；

针对所述第二子模型中除首个第二子层以外的任一第二子层，将所述第一子模型中除与所述第二子层位置相匹配的第一子层以外的每个第一子层的输出，及前一第二子层的输出调整为与所述任一第二子层匹配的目标输入尺寸；

对调整后的每个所述第一子层的输出，或者每个所述第一子层的输出及前一第二子层的输出进行拼接操作，获得拼接后的目标输入；

各所述第二子层根据所述目标输入处理得到当前第二子层的输出。

8.根据权利要求6所述的训练方法，其特征在于，所述“根据所述缺陷遮挡图像和所述训练图像对所述缺陷生成模型进行缺陷生成训练”，包括：

对所述训练图像进行随机遮挡，得到随机遮挡图像；

将所述随机遮挡图像输入至预设的预训练模型中，获得所述预训练模型输出的第一预测图像；

根据所述第一预测图像以及所述训练图像确定所述预训练模型的第一损失值；

根据所述第一损失值对所述预训练模型进行参数调整，直至所述预训练模型满足第一预设终止条件，获得待调整的缺陷生成模型；

对至少所述训练图像的缺陷区域进行遮挡，生成缺陷遮挡图像；

将所述缺陷遮挡图像输入至所述待调整的缺陷生成模型，获得所述待调整的缺陷生成模型输出的第二预测图像；

根据所述第二预测图像与所述训练图像确定所述待调整的缺陷生成模型的第二损失值；

根据所述第二损失值对所述待调整的缺陷生成模型进行参数调整，直至所述待调整的缺陷生成模型满足第一预设终止条件，获得训练后的缺陷生成模型，所述训练后的缺陷生成模型能够在遮挡区域生成缺陷。

9.根据权利要求6所述的训练方法，其特征在于，所述训练方法包括：

针对所述缺陷生成模型中的各子层，对所述子层进行重点训练，其中，所述子层包括第一子层以及第二子层；

当检测到所述子层满足第二预设终止条件时，对下一子层进行重点训练，直至所述缺陷生成模型中的全部子层均满足预设的第二预设终止条件时，获得训练后的缺陷生成模型，所述训练后的缺陷生成模型能够在遮挡区域生成缺陷。

10.根据权利要求9所述的方法，其特征在于，所述重点训练的子层对应的权重占比大于其他子层的权重占比。

11.根据权利要求1～3任一项所述的训练方法，其特征在于，所述“获取训练图像”，包括：

获取预设缺陷类型对应的训练图像；

所述“根据所述缺陷遮挡图像和所述训练图像对所述缺陷生成模型进行缺陷生成训练，以使所述缺陷生成模型能够在遮挡区域生成缺陷”，包括：

采用所述预设缺陷类型对应的训练图像与所述缺陷遮挡图像对所述缺陷生成模型进行缺陷生成训练，以使所述缺陷生成模型能够在遮挡区域生成预设缺陷类型的缺陷。

12.一种缺陷图像生成方法，其特征在于，包括：

获取待处理图像；

对所述待处理图像进行遮挡，生成待处理遮挡图像；

将所述待处理遮挡图像输入缺陷生成模型，得到在遮挡区域具有缺陷的缺陷图像；其中，所述缺陷生成模型为采用如权利要求1-11任一项所述的缺陷图像生成模型的训练方法训练生成的。

13.根据权利要求12所述的方法，其特征在于，所述生成方法还包括：

将所述待处理图像输入至与所述缺陷类型对应的缺陷生成模型，得到与所述缺陷类型对应的具有缺陷图像；

其中，所述缺陷类型为用户设置的或者根据所述待处理图像进行识别确定的。

14.一种电子设备，其特征在于，包括：存储器，处理器；

存储器；用于存储所述处理器可执行指令的存储器；

其中，所述处理器用于调用所述存储器中的程序指令执行如权利要求1-11任一项所述的缺陷图像生成模型的训练方法或权利要求12-13任一项所述的缺陷图像生成方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-11任一项所述的缺陷图像生成模型的训练方法或权利要求12-13任一项所述的缺陷图像生成方法。

16.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-11任一项所述的缺陷图像生成模型的训练方法或权利要求12-13任一项中所述的缺陷图像生成方法。

Images