CN117853426A - 缺陷图像生成方法、面板检测方法、装置和电子设备 - Google Patents

Abstract

本发明提供了一种缺陷图像生成方法、面板检测方法、装置和电子设备。方法包括获取目标的标准图像和第一缺陷图像；获取与第一缺陷图像对应的第一缺陷区域图像；对第一缺陷图像和第一缺陷区域图像分别进行图像变换，以分别生成第二缺陷图像和第二缺陷区域图像；以及基于第二缺陷区域图像，融合第二缺陷图像和标准图像，以获得目标的第三缺陷图像。该技术方案所获得新的缺陷图像中缺陷不仅更逼真，效果更理想；而且形态多样。该新的缺陷图像有助于保证产品缺陷检测的学习模型的训练效果。

Description

缺陷图像生成方法、面板检测方法、装置和电子设备

技术领域

本发明涉及图像处理领域，更具体地涉及一种缺陷图像生成方法、面板检测方法、缺陷图像生成装置、电子设备和存储介质。

背景技术

在工业生产中，已经广泛采用机器视觉代替人工对产品进行检测。大多数机器视觉采用学习模型，通过对大量缺陷图像进行学习，从而快速准确检测产品是否存在缺陷。在实际的应用场景中，由于产品良率高，缺陷图像少，难以收集到足够的缺陷图像用于学习模型训练。

因此，通常采用图像处理的方法，利用已有的缺陷图像，生成新的缺陷图像，用于训练学习模型。

现有的缺陷图像生成方案中，基于生成对抗网络(GAN)的图像生成方法，生成缺陷图像。这种方法所生成的缺陷图像中的缺陷会发生失真，不够真实。

发明内容

考虑到上述问题而提出了本发明。

根据本发明一个方面，提供了一种缺陷图像生成方法，方法包括：获取目标的标准图像和第一缺陷图像；获取与第一缺陷图像对应的第一缺陷区域图像；对第一缺陷图像和第一缺陷区域图像分别进行图像变换，以分别生成第二缺陷图像和第二缺陷区域图像；以及基于所述第二缺陷区域图像，融合第二缺陷图像和标准图像，以获得目标的第三缺陷图像。

示例性地，对第一缺陷图像和第一缺陷区域图像分别进行图像变换包括：对第一缺陷图像和第一缺陷区域图像分别进行相同的形态学处理。

示例性地，获取与第一缺陷图像对应的第一缺陷区域图像包括：根据第一缺陷图像的像素值，对第一缺陷图像进行图像分割；根据分割结果，对经分割的第一缺陷图像进行二值化处理，以生成第一缺陷区域图像。

示例性地，第一缺陷图像是彩色图；在根据第一缺陷图像的像素值对第一缺陷图像进行图像分割之前，方法还包括；对第一缺陷图像进行灰度化处理。

示例性地，基于所述第二缺陷区域图像，融合第二缺陷图像和标准图像，包括：根据如下公式融合第二缺陷图像和标准图像，以获得第三缺陷图像：I＝W*FG+(1-W)*BG，其中，I表示第三缺陷图像中像素的像素值，W表示第二缺陷区域图像中位置对应像素的像素值，FG表示第二缺陷图像中位置对应像素的像素值，BG表示标准图像中位置对应像素的像素值。

示例性地，对第一缺陷图像和第一缺陷区域图像分别进行图像变换包括：对第一缺陷图像和第一缺陷区域图像分别进行以下图像变换操作中的一种或多种：旋转、平移、缩放和填充。

根据本发明另一方面，还提供了一种面板检测方法，面板检测方法包括：基于上文所述的缺陷图像生成方法，生成面板的第三缺陷图像；利用所生成的第三缺陷图像，训练用于面板检测的学习模型；以及利用学习模型，检测待检测面板的缺陷。

根据本发明另一方面，还提供了一种缺陷图像生成装置，包括：第一获取模块，用于获取目标的标准图像和第一缺陷图像；第二获取模块，用于获取与第一缺陷图像对应的第一缺陷区域图像；变换模块，用于对第一缺陷图像和第一缺陷区域图像分别进行图像变换，以分别生成第二缺陷图像和第二缺陷区域图像；以及融合模块，用于基于第二缺陷区域图像，融合第二缺陷图像和标准图像，以获得目标的第三缺陷图像。

根据本发明再一方面，还提供了一种电子设备，包括：处理器和存储器，其中，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行上述的缺陷图像生成方法或上述的面板检测方法。

根据本发明又一方面，还提供了一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行上述的缺陷图像生成方法或上述的面板检测方法。

根据本发明实施例的技术方案，获取与目标的缺陷图像对应的缺陷区域图像，然后对缺陷图像和缺陷区域图像分别进行图像变换，最后融合经变换的图像和标准图像，以获得新的缺陷图像。由此，所获得新的缺陷图像中缺陷不仅更逼真，效果更理想；而且形态多样。该新的缺陷图像有助于保证产品缺陷检测的学习模型的训练效果。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1示出了根据本发明一个示例性实施例的缺陷图像生成方法的示意性流程图；

图2a示出了根据本发明一个示例性实施例的面板的第一缺陷图像；

图2b示出了图2a所示的第一缺陷图像的第一缺陷区域图像；

图2c示出了图2a所示的第一缺陷图像经图像变换后所生成的第二缺陷图像；

图2d示出了图2b所示的第一缺陷区域图像经图像变换后所生成的第二缺陷区域图像；

图2e示出了根据本申请一个示例性实施例的面板的标准图像；

图2f示出了融合图2c所示的第二缺陷图像和图2e所示的标准图像所获得的第三缺陷图像；

图3示出了生成图2f所示第三缺陷图像的缺陷图像生成方法的示意图；

图4示出了根据本发明一个示例性实施例的面板检测方法的示意性流程图；

图5示出了根据本发明一个实施例的缺陷图像生成装置的示意性框图；以及

图6示出了根据本发明一个实施例的电子设备的示意性框图。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

如上文所述，在很多应用场景中，需要使用产品的缺陷图像。例如，在一些工业生产中，利用机器视觉来对产品进行检测。以显示面板的生产为例，显示面板可能因为受潮、偏光片中夹杂气泡、磕碰等原因，造成其中显示的图像不良。在显示面板检测环节，需要将存在上述的不良问题的显示面板筛查出来，以保证产品的良率。通常利用显示面板的缺陷图像来训练学习模型，从而利用学习模型来完成显示面板检测。而学习模型的训练需要大量的正样本和负样本。其中，正样本是良好的显示面板的图像，负样本是存在缺陷的显示面板的图像，简称缺陷图像。因为缺陷图像较少，所以通常基于现有的图像生成缺陷图像。现有技术中，一般通过生成对抗网络生成缺陷图像

虽然基于生成对抗网络可以生成较为准确的缺陷图像，从而训练学习模型，但生成对抗网络本质上是对于已有的缺陷图像引入噪声生成新的缺陷图像，可能与实际的缺陷图像出现较大差异，即生成的缺陷图像失真。例如，实际的缺陷可能是面板上的气泡、连续的亮点或竖条，而生成的缺陷图像中可能表现为随机噪点和失真的纹理等。因此，生成的缺陷图像通常仅供参考和辅助分析使用，最终还需通过人工验证和验收。如果将基于生成对抗网络所生成的缺陷图像直接用于训练学习模型，很可能导致系统的误差逐步累积，例如虚假特征学习以及过拟合等，导致学习模型对产品的检测出现严重的漏杀或者过杀，影响检测质量。

为了至少部分地解决上述技术问题，根据本申请的第一方面，提供了一种缺陷图像生成方法。在该生成方法中，可以根据标准图像和真实的缺陷图像，对二者进行适当的图像处理，从而生成与实际生产中可能出现的缺陷图像更为相似的缺陷图像。

图1示出了根据本申请一个实施例的缺陷图像生成方法1000的示意性流程图。如图1所示，该生成方法1000可以包括以下步骤：步骤S1100、步骤S1200、步骤S1300和步骤S1400。

在步骤S1100中，获取目标的标准图像和第一缺陷图像。

根据本申请实施例的缺陷图像生成方法1000可以应用于各种领域中需要生成缺陷图像的场合。为了简便，下文以目标为面板为例进行展开阐释。

在面板的生产过程中，生产工位上可以设置有机器视觉装置，其可以用于对面板进行定位。可以利用机器视觉装置对面板进行拍照，以获得面板的图像。其中无缺陷的正常面板的图像可以作为标准图像。图2e示出了根据本发明一个实施例的面板的标准图像。该标准图像示出了面板的一个局部。面板的该局部内无任何缺陷。出现缺陷的面板的图像可以作为缺陷图像。对有缺陷的面板进行拍照可以获取各种不同类型的缺陷图像。示例性地，面板的缺陷可以包括崩边、气泡、裂缝等各种类型缺陷。崩边区域通常是面板在边缘出现的破损区域，可能由磕碰造成，是生产过程中有较大可能出现的缺陷类型。气泡和裂缝是形成在面板中的缺陷。图2a示出了根据本发明一个实施例的面板的第一缺陷图像。该第一缺陷图像示出了一个面板的局部，在该局部区域出现了崩边缺陷，如图2a的右侧黑色区域所示。当然，上述标准图像和缺陷图像也可以在日常生产中由用于定位等工作的机器视觉装置获取并存储，然后经过人工等方式筛选后另存入图像库。在执行本申请实施例的缺陷图像生成方法时，从图像库获取标准图像和缺陷图像。优选的，缺陷图像生成方法中所涉及的缺陷图像可以是从图像库中随机选择得到的，这样能够使最终生成的缺陷图像更具有多样性。

在步骤S1200中，获取与第一缺陷图像对应的第一缺陷区域图像。

第一缺陷区域图像中标识了第一缺陷图像中的目标的缺陷区域。面板的缺陷区域例如崩边区域、气泡所在区域和裂缝所在区域等。在第一缺陷区域图像中可以以各种方式来标识目标的缺陷区域。在一个示例中，在第一缺陷区域图像中以缺陷区域的边缘线来标识缺陷区域。在一个替代示例中，第一缺陷区域图像是缺陷区域的掩码(MASK)图。掩码图的掩码区域表示第一缺陷图像的缺陷区域。图2b示出了图2a所示的第一缺陷图像的第一缺陷区域图像。如图2b所示，该第一缺陷区域图像是崩边区域的掩码图。在该第一缺陷区域图像中，右侧的白色掩码区域是面板的崩边区域。可选地，第二缺陷区域图像可以是二值图像，其中，表示缺陷部分对应的像素的像素值可以为1，在图2b中示出为白色，而其他部分对应的像素的像素值可以为0，在图2b中示出为黑色。第一缺陷区域图像可以在后续的图像融合过程中，用于确定第一缺陷图像的缺陷区域，以最终生成存在缺陷的面板的最终图像结果。

示例性地，可以利用人工来手动标注第一缺陷图像中的缺陷区域，以获得第一缺陷区域图像。替代地，可以基于第一缺陷图像中的缺陷区域的图像特征获取第一缺陷区域图像。具体例如，可以利用图像边缘检测算法，确定第一缺陷图像中的缺陷区域，进而获得第一缺陷区域图像。又例如，可以基于缺陷区域的像素值特点，基于区域生长算法获得第一缺陷区域图像。再例如，可以以缺陷为目标对第一缺陷图像进行目标检测，以获得第一缺陷区域图像。

在步骤S1300中，对第一缺陷图像和第一缺陷区域图像分别进行图像变换，以分别生成第二缺陷图像和第二缺陷区域图像。

在此步骤S1300中，对第一缺陷图像和第一缺陷区域图像分别进行相同的图像变换操作。该图像变换操作可以针对第一缺陷图像和第一缺陷区域图像中的缺陷区域进行。通过图像变换操作，可以改变第一缺陷图像和第一缺陷区域图像中的缺陷区域的形状。该图像变换操作例如：旋转、平移等。换言之，第二缺陷图像中的目标的缺陷区域与第一缺陷图像中的是不同，第二缺陷区域图像中的目标的缺陷区域与第一缺陷区域图像中的是不同。由于对第一缺陷图像和第一缺陷区域图像进行相同的图像变换，所以，在第二缺陷区域图像中仍然能够标识第二缺陷图像中的缺陷区域。即，根据第二缺陷区域图像，即可确定第二缺陷图像中的缺陷区域。

图2c示出了图2a所示的第一缺陷图像经图像变换后所生成的第二缺陷图像。图2d示出了图2b所示的第一缺陷区域图像经图像变换后所生成的第二缺陷区域图像。如图2a至图2d所示，图2c所示的面板的局部的缺陷区域(下侧黑色区域)与图2a所示的面板的局部的缺陷区域(右侧黑色区域)明显不同；图2d所示的面板的局部的缺陷区域(下侧白色区域)与图2b所示的面板的局部的缺陷区域(右侧白色区域)明显不同。此外，图2c的缺陷区域相比图2a的缺陷区域的变化趋势与图2d的缺陷区域相比图2b的缺陷区域的变化趋势是相同的。例如，图2c的缺陷区域相比图2a的缺陷区域，宽度和长度都更小了，总面积也因此更小了。图2d的缺陷区域相比图2b的缺陷区域，宽度和长度也都更小了，总面积也更小了。

在步骤S1400中，基于第二缺陷区域图像，融合第二缺陷图像和标准图像，以获得目标的第三缺陷图像。

示例性地，可以将标准图像，即正常面板的图像，作为背景。可以基于第二缺陷区域图像所标识的缺陷区域，将第二缺陷图像，即经变换的缺陷图像，中的缺陷区域合成至标准图像上作为前景。如在步骤S1300中所述，第二缺陷区域图像中标识了第二缺陷图像中的缺陷区域。在步骤S1400中，具体例如，可以根据第二缺陷区域图像确定第二缺陷图像中的缺陷区域。利用第二缺陷图像中的缺陷区域代替标准图像中的位置对应区域，以获得目标的第三缺陷图像。在第三缺陷图像中，包括第二缺陷区域图像中的缺陷区域，其他区域则是标准图像中的位置对应区域。

图2f示出了基于图2d所示的第二缺陷区域图像融合图2c所示的第二缺陷图像和图2e所示的标准图像，所获得的面板的第三缺陷图像。如图2f所示，该第三缺陷图像包括原始的第一缺陷图像中的缺陷区域经变换获得的缺陷区域，该缺陷区域以外的其他区域则是标准图像中的位置对应区域。

图3示出了生成图2f所示第三缺陷图像的缺陷图像生成方法的示意图。如图3所示，在获取第一缺陷图像和第一缺陷区域图像之后，可以分别对二者进行图像变换，以分别获得第二缺陷图像和第二缺陷区域图像。可以理解，第一缺陷区域图像用于标识第一缺陷图像中的缺陷区域。然后，可以基于第二缺陷区域图像，融合第二缺陷图像和标准图像，以获得第三缺陷图像。

根据本发明实施例的技术方案，获取与目标的缺陷图像对应的缺陷区域图像，然后对缺陷图像和缺陷区域图像分别进行图像变换，最后融合经变换的图像和标准图像，以获得新的缺陷图像。由此，所获得新的缺陷图像中缺陷不仅更逼真，效果更理想；而且形态多样。该新的缺陷图像有助于保证产品缺陷检测的学习模型的训练效果。

示例性地，步骤S1200，获取与第一缺陷图像对应的第一缺陷区域图像可以包括步骤S1220和步骤S1230。

在步骤S1220，根据第一缺陷图像的像素值，对第一缺陷图像进行图像分割。

使用图像分割算法对第一缺陷图像进行分割，可以将其划分为不同的区域，其中包括缺陷区域和非缺陷区域。对于图2a所示的第一缺陷图像，通过图像分割操作，可以将其分为崩边区域和正常区域。本步骤S1220可以采用阈值分割、基于区域的分割、边缘检测等图像分割算法实现。对于基于阈值分割的实现方式，可以根据缺陷区域的像素的像素值与非缺陷区域的像素的像素值之间的差异设置一个合适的阈值。根据该阈值，将图像根据像素值的高低进行二分类分割。对于基于区域分割的实现方式，可以根据相邻像素的像素值相似性或区域内的纹理等特征进行图像分割。对于基于边缘检测的实现方式，可以利用边缘检测算法提取缺陷区域的边缘信息，并根据边缘信息确定缺陷区域。总之，可以采用合适的图像分割算法，将缺陷区域和非缺陷区域区分开，划定两者的界限。

在步骤S1230，根据分割结果，对经分割的第一缺陷图像进行二值化处理，以生成第一缺陷区域图像。

二值化处理是将灰度图像转变成只包括两个像素值的像素的图像。结合步骤S1220所获得的分割结果，在此步骤中可以将第一缺陷图像中的、图像分割操作所确定的缺陷区域中的像素全部转换为第一像素值，而将第一缺陷图像中的其他区域，即正常区域，中的像素全部转换为第二像素值，其中第一像素值和第二像素值不同。具体例如，缺陷区域转换为白色，正常区域则转换为黑色。如图2b所示的第一缺陷区域图像所示，其中面板的崩边区域为白色，面板的正常区域为黑色。相比于多级灰度图像，二值图像更加简化，更有助于后续的图像处理。二值化后生成的第一缺陷区域图像更强调目标中的缺陷区域，将缺陷区域和正常区域进行明确的分割。通过将缺陷区域设置为前景，正常区域设置为背景，两者有着极为明确的分界线，可以更加直观地突出目标的缺陷，使其更有助于标识该缺陷。由于二值图像仅包含两种像素值的像素，计算时的数据处理量相对较小，可以提高处理速度和效率，特别是在大规模图像数据的处理中。

在上述技术方案中，通过图像分割获得第一缺陷图像中的较准确的缺陷区域，然后对经分割的第一缺陷图像进行二值化。这可以根据原本界限模糊，不易区分缺陷区域和正常区域的第一缺陷图像，获得缺陷区域和正常区域两者泾渭分明的第一缺陷区域图像。这不仅保证了第一缺陷区域图像能够清楚地标识第一缺陷图像中的缺陷区域，而且保证了所标识的缺陷区域的准确性，最后，这有助于后续图像处理，使得后续处理的数据量较小，处理速度较快。

示例性地，在步骤S1220根据第一缺陷图像的像素值对第一缺陷图像进行图像分割之前，缺陷图像生成方法还可以包括步骤S1210：对第一缺陷图像进行灰度化处理。

示例性地，第一缺陷图像可以是彩色图，以包括更多的颜色信息。相较于不具有颜色的灰度图像，第一缺陷图像采用彩色图的应用场景更加广泛。

将第一缺陷图像进行灰度化处理，可以将彩色的第一缺陷图像转化为灰度图像。具体例如，灰度化方法可以是平均值法或者加权平均法。以彩色图为RGB图像为例，在平均值法中，将彩色图的每个像素点的RGB通道的值按照均值的方式进行加权平均。这种方法简单直观，但可能无法准确地反映颜色的亮度。加权平均法是根据不同的颜色通道对图像亮度的贡献差异，通过使用不同的权重来加权平均RGB通道的值。这些权重是根据人眼对不同颜色通道的敏感度来确定的，可以更准确地反映人眼感知的亮度。

在图像中，灰度值信息能够充分表达缺陷的形态，因此灰度化处理后仍能够保证图像中缺陷区域的图像特征。由于灰度图像只有一个通道，每个像素只有一个灰度值，而彩色图有多个通道，每个像素有多个颜色值，因此灰度图像的数据处理量远小于彩色图。这可以减少数据处理的复杂性，提高了了后续处理的速度。

示例性地，步骤S1300对第一缺陷图像和第一缺陷区域图像分别进行图像变换，可以包括：对第一缺陷图像和第一缺陷区域图像分别进行如旋转、平移、缩放和填充等图像变换操作中的一种或多种。其中，对第一缺陷图像和第一缺陷区域图像执行的图像变换操作相同。

在此步骤中，可以对图像进行旋转、平移、缩放和填充等，由此改变第一缺陷图像中的缺陷区域以及第一缺陷区域图像中的对应区域在图像中呈现的形状。继续以崩边缺陷为例，崩边区域的面积和形状是不同的。通过对图像进行旋转、平移等图像变换，可以改变崩边区域在图像中的所占位置。缩放操作可以改变崩边区域在图像中所占面积。对第一缺陷图像和第一缺陷区域图像进行平移、缩放或者旋转等图像变换操作后，为保持图像原有的长宽比，可以对经前述图像变换操作的图像进行填充。具体例如，将不存在像素的位置以像素值为0的像素进行填充。这样保证第二缺陷图像和第二缺陷区域图像分别与第一缺陷图像和第一缺陷区域图像的尺寸相同，便于后续的图像融合操作。填充操作还可以用于改变缺陷区域在图像中呈现的形状。

通过上述图像变换方法，可以改变缺陷区域在图像中呈现的位置、面积和形状等。由此，在所获得的第二缺陷图像中，缺陷多样。此外，因为第二缺陷图像中的缺陷区域是基于第一缺陷图像进行图像变换所得到的，所以，这些缺陷区域更逼真。由此，该技术方案更加有利于学习模型的训练。

示例性地，步骤S1300对第一缺陷图像和第一缺陷区域图像分别进行图像变换，可以包括：对第一缺陷图像和第一缺陷区域图像分别进行相同的形态学处理。

在此步骤中，可以对第一缺陷图像和第一缺陷区域图像进行同步的形态学变换，由此使得第一缺陷图像和第一缺陷区域图像中的缺陷区域同步地改变形状。

上述形态学处理可以包括，对图像中的缺陷区域以外的正常区域或缺陷区域进行腐蚀，由此扩大或缩小缺陷区域。通过与用于腐蚀操作的结构元素进行逐像素的比较，将所腐蚀区域的边界或细节腐蚀掉。腐蚀操作会使图像中的所腐蚀区域变小。例如，面板在受到磕碰时，对其进行成像可以获得崩边面板的图像。可以对崩边面板的图像中的正常区域，例如图2a所示的第一缺陷图像中的黑色区域外的其他区域，进行腐蚀操作，由此使崩边区域变大。

上述形态学处理可以包括，对图像中的缺陷区域以外的正常区域或缺陷区域进行膨胀，由此缩小或扩大缺陷区域。通过与用于膨胀操作的结构元素进行逐像素的比较，将所膨胀区域的边界或细节膨胀扩展。膨胀操作会使图像中的所膨胀区域变大，甚至发生连接。例如可以对图2a所示的第一缺陷取向中的黑色缺陷区域进行膨胀，由此使该崩边区域变大。

可以理解上述形态学处理可以包括对图像进行膨胀操作和腐蚀操作。示例性地，可以先执行膨胀操作，再执行腐蚀操作，即对图像执行闭运算。由此，能够填充执行闭运算操作的区域中的小空洞、平滑其边界，甚至连接不同区域。在一个用于面板图像的实施例中，例如，可以将不同的缺陷区域连接起来。具体例如，可以连接面板中的两个气泡区域，以获得一个包括更大气泡区域的第二缺陷图像。替代地，也可以先执行腐蚀操作，然后执行膨胀操作，即对图像执行开运算。这样能够去除执行开运算区域中的小噪声、平滑边界、分离相连接的区域等。仍以上述用于面板图像为例，可以将不同的缺陷区域分离开。具体例如，可以将面板中的一个气泡区域分离为两个或更多个较小气泡区域，由此获得一个包括较多较小气泡区域的第二缺陷图像。

通过对第一缺陷图像进行形态学处理，可以获得具有丰富多样的缺陷的第二缺陷图像以及与之对应的第二缺陷区域图像。

示例性地，步骤S1400，基于第二缺陷区域图像，融合第二缺陷图像和标准图像，包括：根据如下公式，执行该融合操作以获得第三缺陷图像。

I＝W*FG+(1-W)*BG，

其中，I表示第三缺陷图像中像素的像素值，W表示第二缺陷区域图像中位置对应像素的像素值，FG表示第二缺陷图像中位置对应像素的像素值，BG表示标准图像中位置对应像素的像素值。

再次参考图3，第二缺陷图像是由第一缺陷图像经过图像变换得到的，其中的像素的像素值给出了缺陷信息。例如图中第二缺陷图像的下侧的黑色区域为崩边缺陷区域。可以理解，虽然在图3中示出该崩边缺陷区域的像素为黑色，但是其像素值可能并不等于0，而是接近0的数值，特别是，对于面板的边缘区域，其中的像素会有灰度变化。

图3所示的第二缺陷区域图像是二值图，其可以作为权重图。对于第三缺陷图像中的像素值I，权重值越大，第二缺陷图像的像素的像素值FG占比越大，标准图像的像素的像素值BG占比越小；否则，反之。

示例性地，缺陷图像生成方法还可以包括对第一缺陷区域图像经图像变换所获得的第二缺陷区域图像进行模糊化处理。如前所述，第二缺陷区域图像可以是二值图像，其中缺陷区域的像素的像素值为1，其他区域的像素的像素值为0。通过模糊化处理，可以将0和1的界限转变为较为平滑的过渡区域，越靠近缺陷区域的像素的像素值越接近1，反之越接近0。模糊化处理后的的第二缺陷区域图像的像素的像素值在0和1之间。这样可以使得在融合操作所获得的第三缺陷图像中缺陷区域与周围背景有着较为自然的过渡，避免图像严重失真。当经模糊化的第二缺陷区域图像的像素的像素值为1时，相当于将第二缺陷区域对应的像素直接覆盖在标准图像的位置对应像素上，原本该位置的像素被完全遮挡。当经模糊化的第二缺陷区域图像的像素的像素值为0.5时，相当于综合考虑了第二缺陷图像和标准图像的对应位置的像素的像素值；以此类推。由此，可以根据第二缺陷区域图像的像素值，调节第三缺陷图像中每个位置对应像素的像素值分别对第二缺陷图像和标准图像的依赖程度，最终，以与第二缺陷区域图像作为依据，将第二缺陷图像叠加至标准图像，从而得到最终的第三缺陷图像。

利用模糊化的第二缺陷区域图像对第二缺陷图像进行加权，可以根据不同的权重值对第二缺陷图像中的不同区域进行调整或增强，以获得更理想的第三缺陷图像。模糊化的第二缺陷区域图像可以使第三缺陷图像中的缺陷区域与周围背景有着较为自然的过渡，避免图像严重失真。

利用上述基于公式确定第三缺陷图像的技术方案，所获得的第三缺陷图像中缺陷区域可以很理想地融入到作为背景的标准图像中，更加逼真。此外，该方案的计算代价较小，保证了图像处理速度。

根据本发明另一方面，还提供了一种面板检测方法。图4示出了根据本发明一个实施例的面板检测方法的示意性流程图。如图4所示，面板检测方法4000包括步骤S4100、步骤S4200和步骤S4300。

在步骤S4100，基于上述的缺陷图像生成方法1000，生成面板的第三缺陷图像。

在步骤S4200，利用所生成的第三缺陷图像，训练用于面板检测的学习模型。

在步骤S4300，利用学习模型，检测待检测面板的缺陷。

在上述技术方案中，通过上述缺陷图像生成方法所生成的较为逼真的第三缺陷图像，训练用于面板检测的学习模型，该第三缺陷图像中的缺陷种类丰富且更为逼真，由此学习模型的训练效果良好，进而保证了缺陷检测的准确性，降低了过杀率和漏杀率。

根据本发明另一方面，还提供了一种缺陷图像生成装置。图5示出了根据本发明一个实施例的缺陷图像生成装置500的示意性框图。如图5所示，缺陷图像生成装置500包括第一获取模块510、第二获取模块520、变换模块530和融合模块540。

第一获取模块510用于获取目标的标准图像和第一缺陷图像。第二获取模块520用于获取与第一缺陷图像对应的第一缺陷区域图像。变换模块530用于对第一缺陷图像和第一缺陷区域图像分别进行图像变换，以分别生成第二缺陷图像和第二缺陷区域图像。融合模块540用于基于第二缺陷区域图像，融合第二缺陷图像和标准图像，以获得目标的第三缺陷图像。

根据本发明另一方面，还提供了一种电子设备。图6示出了根据本发明一个实施例的电子设备600的示意性框图。如图6所示，电子设备600包括处理器610和存储器620，其中，存储器620中存储有计算机程序指令，计算机程序指令被处理器610运行时用于执行如上文所述的缺陷图像生成方法1000或面板检测方法4000。

根据本发明另一方面，还提供了一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行本申请实施例的缺陷图像生成方法1000的相应步骤，或者执行本申请实施例的面板检测方法4000的相应步骤。存储介质例如可以包括存储部件、硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。

本领域普通技术人员通过阅读上述关于缺陷图像生成方法的具体描述，能够理解上述面板检测方法、缺陷图像生成装置、电子设备和存储介质的具体实现和有益效果，为了简洁，在此不再赘述。

尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的缺陷图像生成装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种缺陷图像生成方法，其特征在于，所述方法包括：

获取目标的标准图像和第一缺陷图像；

获取与所述第一缺陷图像对应的第一缺陷区域图像；

对所述第一缺陷图像和所述第一缺陷区域图像分别进行图像变换，以分别生成第二缺陷图像和第二缺陷区域图像；以及

基于所述第二缺陷区域图像，融合所述第二缺陷图像和所述标准图像，以获得所述目标的第三缺陷图像。

2.如权利要求1所述的缺陷图像生成方法，其特征在于，所述对所述第一缺陷图像和所述第一缺陷区域图像分别进行图像变换包括：

对所述第一缺陷图像和所述第一缺陷区域图像分别进行相同的形态学处理。

3.如权利要求1所述的缺陷图像生成方法，其特征在于，所述获取与所述第一缺陷图像对应的第一缺陷区域图像包括：

根据所述第一缺陷图像的像素值，对所述第一缺陷图像进行图像分割；

根据分割结果，对经分割的第一缺陷图像进行二值化处理，以生成所述第一缺陷区域图像。

4.如权利要求3所述的缺陷图像生成方法，其特征在于，所述第一缺陷图像是彩色图；在所述根据所述第一缺陷图像的像素值对所述第一缺陷图像进行图像分割之前，所述方法还包括；

对所述第一缺陷图像进行灰度化处理。

5.如权利要求1所述的缺陷图像生成方法，其特征在于，所述基于所述第二缺陷区域图像，融合所述第二缺陷图像和所述标准图像，包括：

根据如下公式融合所述第二缺陷图像和所述标准图像，以获得所述第三缺陷图像：

I＝W*FG+(1-W)*BG，

其中，I表示所述第三缺陷图像中像素的像素值，W表示所述第二缺陷区域图像中位置对应像素的像素值，FG表示所述第二缺陷图像中位置对应像素的像素值，BG表示所述标准图像中位置对应像素的像素值。

6.如权利要求1至5任一项所述的缺陷图像生成方法，其特征在于，所述对所述第一缺陷图像和所述第一缺陷区域图像分别进行图像变换包括：

对所述第一缺陷图像和所述第一缺陷区域图像分别进行以下图像变换操作中的一种或多种：旋转、平移、缩放和填充。

7.一种面板检测方法，其特征在于，所述面板检测方法包括：

基于如权利要求1至6任一项所述的缺陷图像生成方法，生成面板的第三缺陷图像；

利用所生成的第三缺陷图像，训练用于面板检测的学习模型；以及

利用所述学习模型，检测待检测面板的缺陷。

8.一种缺陷图像生成装置，其特征在于，所述缺陷图像生成装置包括：

第一获取模块，用于获取目标的标准图像和第一缺陷图像；

第二获取模块，用于获取与所述第一缺陷图像对应的第一缺陷区域图像；

变换模块，用于对所述第一缺陷图像和所述第一缺陷区域图像分别进行图像变换，以分别生成第二缺陷图像和第二缺陷区域图像；以及

融合模块，用于基于所述第二缺陷区域图像，融合所述第二缺陷图像和所述标准图像，以获得所述目标的第三缺陷图像。

9.一种电子设备，其特征在于，包括：处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求1至6任一项所述的缺陷图像生成方法或如权利要求7所述的面板检测方法。

10.一种存储介质，其特征在于，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行如权利要求1至6任一项所述的缺陷图像生成方法或如权利要求7所述的面板检测方法。