CN113344910B - 缺陷标注图像的生成方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明公开了一种缺陷标注图像的生成方法，应用于工业缺陷检测领域，用于通过获取样本图像和背景图像，样本图像中包含初始缺陷区域；利用样本图像对背景图像进行缺陷迁移，得到缺陷图片以及缺陷掩膜图，计算迁移后缺陷图的掩膜目标区域的灰度值，作为缺陷灰度值，计算背景图像中与目标区域对应区域的灰度值，作为背景灰度值，并计算缺陷灰度值与背景灰度值的差值，得到灰度值之差；根据灰度值之差对缺陷掩膜图进行区域划分，得到三区图；基于三区图，建立标注模型，并根据标注模型获取掩膜区域；采用自适应形态学的方式，对掩膜区域进行去噪处理，得到缺陷标注图像，提高了缺陷标注图像的质量，进而使得缺陷图像检测模型能够进行有效训练。

Description

缺陷标注图像的生成方法、装置、计算机设备及存储介质

技术领域

本发明涉及工业缺陷检测领域，尤其涉及一种缺陷标注图像的生成方法、装置、计算机设备及存储介质。

背景技术

在工业缺陷检测领域中，越来越重视利用深度学习训练的神经网络模型进行表面缺陷检测。特别是国内关于FPC(Flexible Printed Circuit，柔性电路板)的质量检测还主要依靠人工目测，成本高且效率低。为此，针对FPC柔性电路板表面缺陷需要建立自动化识别和检测训练模型，训练该模型需要一定量的缺陷标注图像。缺陷标注图像的数量以及质量对于模型训练至关重要。

现有方式中，是通过合成的方法快速获得缺陷标注图像，但是该合成方法是通过提取样本图像的缺陷区域，并将该缺陷区域的灰度信息通过直接叠加或泊松融合的方式合成到背景图像中，该合成方法的成功率低，且在合成时对缺陷区域进行灰度信息重构，使得迁移后缺陷不明显，原始的标注掩膜不够精准，导致生成的缺陷标注图像质量较低，需要进行二次标注，进而难以支持检测模型的快速迭代。

因此，目前获取缺陷标注图像存在质量差，导致难以支持检测模型的快速迭代的技术问题。

发明内容

本发明实施例提供一种缺陷标注图像的生成方法、装置、计算机设备及存储介质，以解决获取缺陷标注图像存在质量差，导致难以支持检测模型的快速迭代的技术问题。

一种缺陷标注图像的生成方法，包括：

获取样本图像和背景图像，其中，所述样本图像对应的掩膜图中包含初始缺陷区域；

对所述样本图像和所述背景图像进行缺陷迁移，得到缺陷掩膜图，并将所述缺陷掩膜图中，与所述样本图像对应的掩膜图的初始缺陷区域对应的区域，作为目标区域；

计算所述缺陷掩膜图的目标区域的灰度值，作为缺陷灰度值，计算所述背景图像中与所述目标区域对应区域的灰度值，作为背景灰度值，并计算所述缺陷灰度值与所述背景灰度值的差值，得到灰度值之差；

根据所述灰度值之差对所述缺陷掩膜图进行区域划分，得到三区图；

基于所述三区图，建立标注模型，并根据所述标注模型获取掩膜区域；

采用自适应形态学的方式，对所述掩膜区域进行去噪处理，得到缺陷标注图像。

一种缺陷标注图像的生成装置，包括：

图像获取模块，用于获取样本图像和背景图像，其中，所述样本图像对应的掩膜图中包含初始缺陷区域；

缺陷迁移模块，用于对所述样本图像和所述背景图像进行缺陷迁移，得到缺陷掩膜图，并将所述缺陷掩膜图中，与所述样本图像对应的掩膜图的初始缺陷区域对应的区域，作为目标区域；

灰度值获取模块，用于计算所述缺陷掩膜图的目标区域的灰度值，作为缺陷灰度值，计算所述背景图像中与所述目标区域对应区域的灰度值，作为背景灰度值，并计算所述缺陷灰度值与所述背景灰度值的差值，得到灰度值之差；

三区图获取模块，用于根据所述灰度值之差对所述缺陷掩膜图进行区域划分，得到三区图；

掩膜区域获取模块，用于基于所述三区图，建立标注模型，并根据所述标注模型获取掩膜区域；

缺陷标注图像获取模块，用于采用自适应形态学的方式，对所述掩膜区域进行去噪处理，得到缺陷标注图像。

一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述缺陷标注图像的生成方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述缺陷标注图像的生成方法的步骤。

本发明实施例提供的缺陷标注图像的生成方法、装置、计算机设备及存储介质，通过获取样本图像和背景图像，其中，样本图像中包含初始缺陷区域；对样本图像和背景图像进行缺陷迁移，得到缺陷掩膜图，并将缺陷掩膜图中，与样本图像的初始缺陷区域对应的区域，作为目标区域；计算缺陷掩膜图的目标区域的灰度值，作为缺陷灰度值，计算背景图像中与目标区域对应区域的灰度值，作为背景灰度值，并计算缺陷灰度值与背景灰度值的差值，得到灰度值之差；根据灰度值之差对缺陷掩膜图进行区域划分，得到三区图；基于三区图，建立标注模型，并根据标注模型获取掩膜区域；采用自适应形态学的方式，对掩膜区域进行去噪处理，得到缺陷标注图像，提高了缺陷标注图像的质量，进而使得缺陷图像检测模型能够进行快速有效训练。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中缺陷标注图像的生成方法的一应用环境示意图；

图2是本发明一实施例中缺陷标注图像的生成方法的一流程图；

图3是本发明一实施例中缺席迁移方法的一示例图；

图4是本发明一实施例中缺陷标注图像的生成装置的结构示意图；

图5是本发明一实施例中计算机设备的一示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请提供的缺陷标注图像的生成方法，可应用在如图1的应用环境中，其中，计算机设备通过网络与服务器进行通信。其中，计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一实施例中，如图2所示，提供一种缺陷标注图像的生成方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤S101至S106：

S101、获取样本图像和背景图像，其中，样本图像对应的掩膜图中包含初始缺陷区域。

在步骤S101中，上述样本图像是指在工业生产出来的产品图像上，分割出的可用于缺陷检测模型训练的图像，通过人工标注样本图像中的缺陷区域。

上述背景图像是指在工业生产出来的产品图像上，分割出的与样本图像大小相等但不具有初始缺陷区域的图像。

上述初始缺陷区域是指样本图像上具有缺陷的区域。

S102、对样本图像和背景图像进行缺陷迁移，得到缺陷掩膜图，并将缺陷掩膜图中，与样本图像对应的掩膜图的初始缺陷区域对应的区域，作为目标区域

在步骤S102中，对样本图像和背景图像进行缺陷迁移，得到迁移后的缺陷图像以及对应的缺陷掩膜图。

上述缺陷迁移是指从样本图像上将符合迁移条件的初始缺陷区域迁移到背景图像中，得到缺陷图像以及对应的缺陷掩膜图。

上述缺陷图像是指由符合迁移条件的初始缺陷区域以及背景图像中对应区域结合而成的图像。

上述缺陷掩膜图是指样本图像对应的掩膜图根据缺陷迁移的信息进行平移、放缩、旋转得到的二值图。

上述迁移条件是指计算样本图像的初始缺陷区域的特征值，该特征值大于预设值。

在一可选实施方式中，步骤S102包括如下步骤a至c：

a、提取样本图像对应的掩膜图的初始背景区域的第一特征，并对第一特征进行相关性系数计算，获得样本相关性系数，其中，初始背景区域是样本图像对应的掩膜图中除了初始缺陷区域外的所有区域；

b、提取背景图像与初始背景区域对应区域的第二特征，并对第二特征进行相关性系数计算，获得背景相关性系数；

c、当背景相关性系数与样本相关性系数的差值小于预设差值时，则将样本图像对应的掩膜图的初始缺陷区域迁移到目标区域，得到缺陷掩膜图。

对于上述步骤a，其具体是：

对样本图像对应的掩膜图进行划分，划分成包括初始缺陷区域和初始背景区域的样本图像对应的掩膜图；

选取任一个初始背景区域，并对该初始背景区域的第一特征进行相关性系数计算，获得样本相关性系数。

此处需要说明的是，上述第一特征是指样本图像中初始背景区域具有的特征，第一特征包括但不限于颜色特征、纹理特征等。上述第一特征可以包括单个或多个特征。当第一特征包括多个特征时，样本相关性系数计算的方法包括但不限于将多个特征进行加权求和。

对于上述步骤b，上述第二特征是指背景图像中包含的特征，包括但不限于颜色特征、纹理特征等。上述第二特征可以包括单个或多个特征。当第二特征包括多个特征时，背景相关性系数的计算方法包括但不限于将多个特征进行加权求和。上述第二特征选取的特征与第一特征相同。例如，当第一特征选择颜色特征时，第二特征也为颜色特征。

对于上述步骤c，此处需要说明的是，上述迁移条件为样本相关性系数与背景相关性系数的差值小于预设差值。

下面以一具体实施例以及图3所示的迁移示意图，对上述步骤a至c进行举例说明，在一具体示例中，第一特征为颜色特征和纹理特征，预设差值为0.4。颜色特征的权重为0.7，纹理特征的权重为0.3。

在上述步骤a，提取样本图像中任一个初始背景区域的颜色特征0.3、纹理特征0.5，并对颜色特征、纹理特征进行加权求和计算，得到样本相关性系数0.3×0.7+0.5×0.3＝0.36。

在上述步骤b，提取背景图像与初始背景区域对应区域的颜色特征0.6、纹理特征0.4，并对颜色特征、纹理特征进行加权求和计算，得到背景相关性系数0.6×0.7+0.4×0.3＝0.54。

在上述步骤c中，样本相关性系数与背景相关性系数之差＝|样本相关性系数-背景相关性系数|＝|0.36-0.54|＝0.18，0.18<0.4。因此，符合迁移条件。如图3所示，将符合迁移条件的样本图像对应的掩膜图的初始缺陷区域迁移到目标区域上，得到了缺陷图像以及与缺陷图像对应的掩膜图。

通过对样本图像中的初始背景区域的特征计算样本相关性系数，以及背景图像中与初始背景区域对应的区域的特征计算背景相关性系数，在计算样本相关性系数和背景相关性系数中，对特征进行加权求和，减少误差，使得得到的样本相关性系数和背景相关性系数的差值具有良好的代表性，与预设阈值做判断，确认初始缺陷区域与背景图像中对应区域的差异度的大小，当两者之差大于预设差值，说明初始背景区域与背景图像中对应区域的差异度大，可确定初始缺陷背景与背景图像对应区域差异度大，迁移效果较差。当两者之差小于预设差值时，说明初始背景区域与背景图像中对应区域的差异度小，迁移该初始缺陷区域，会得到较好的迁移效果。通过以上步骤，能够提前避免迁移效果较差的结果，从而节省了大量的人力筛选成本。

S103、计算缺陷掩膜图的目标区域的灰度值，作为缺陷灰度值，计算背景图像中与目标区域对应区域的灰度值，作为背景灰度值，并计算缺陷灰度值与背景灰度值的差值，得到灰度值之差。

对于上述步骤S103，上述计算该灰度值的方法包括但不限于灰度平均值法、灰度浮点法等。上述灰度平均值法是指对灰度值进行相加求平均的方法，上述灰度浮点法是指根据预设的浮点数位数，取灰度值的对应的位数，从而得到灰度值的方法。

S104、根据灰度值之差对缺陷掩膜图进行区域划分，得到三区图。

对于上述步骤S104，上述区域划分是指将缺陷掩膜图根据上述灰度值之差对不同的区域进行标注。上述三区图是指经过区域划分标注后得到的图像。

通过比较灰度值之差，将缺陷掩膜图划分成为目标缺陷区域、未知区域、以及背景区域，上述目标缺陷区域、未知区域、以及背景区域组合形成三区图。

在步骤S104中，其具体包括如下步骤d至h：

d、判断灰度值之差与预设值的关系；

e、当灰度值之差大于预设值时，则将缺陷掩膜图对应的目标区域标记为目标缺陷区域；

f、当灰度值之差不大于预设值时，则将缺陷掩膜图对应的目标区域标记为未知区域；

g、将缺陷掩膜图中，除目标区域以外的所有区域，作为背景区域；

h、根据目标缺陷区域、未知区域和背景区域，得到三区图。

对于上述步骤d，其具体是，比较当前像素点在目标区域和当前像素点对应的背景区域的灰度值之差与预设值的大小关系。

对于上述步骤e，其具体是，当灰度值大于预设值时，则认为该当前像素点所在的目标区域的缺陷程度深，并将缺陷掩膜图对应的目标区域标记为目标缺陷区域。

对于上述步骤f，其具体是，当灰度值小于预设值时，则认为该像素划分目标区域的缺陷程度浅，该区域内存在较多的像素点为噪声点，噪声点是指该像素点不属于缺陷区域，从而将缺陷掩膜图对应的划分目标区域标记为未知区域。

下面以一具体实施例，对上述步骤d至h进行举例说明，在一具体示例中，当前像素点对应两个区域，第一个区域为缺陷掩膜图的目标区域，第二个区域为与缺陷掩膜图对应的背景区域，预设值为30。

在步骤d中，判断当前像素点对应的两个区域的灰度值之差与预设值之间的大小关系。

在步骤e中，当两个区域灰度值之差大于预设值30，则将该当前像素点所在的区域标记为目标缺陷区域。

在步骤f中，当两个区域灰度值之差小于灰度阈值30，则将该当前像素点所在的区域标记为目标未知区域。

通过灰度值之差跟预设值的比较，将缺陷掩膜图划分为缺陷区域、未知区域以及背景区域，从而得到三区图。

S105、基于三区图，建立标注模型，并根据标注模型获取掩膜区域。

在步骤S105中，其具体是，对三区图中的所有像素点进行建模，建立标注模型，并根据标注模型获取掩膜区域。

根据如下算式对三区图中所有像素点进行建模：

I(p)＝A(p)·F(p)+(1-A(p))·B(p)

其中，p为像素点，I(p)为像素点的标注缺陷概率，A(p)为像素点为缺陷的概率，F(p)为目标缺陷区域中的像素点的像素值，B(p)为背景区域中的像素点的像素值。

对于目标缺陷区域中的每一个像素点p而言，A(p)为1，F(p)为p点对应的像素值，B(p)为(0,0,0)。

对于背景区域中的每一个像素点p而言，A(p)为0，B(p)为p点对应的像素值，F(p)为(0,0,0)。

对于未知区域中的每一个像素点p而言，A(p)、B(p)、F(p)未知。为此需要对未知区域中的每一个像素点求A(p)、B(p)、F(p)的值。

在步骤S104之后以及步骤S105之前，还包括步骤A至C：

A、提取与未知区域边界相邻的目标缺陷区域的第三特征，并对第三特征进行相关性系数计算，获得第一相关性系数。

B、提取与未知区域边界相邻的背景区域的第四特征，并对第四特征进行相关性系数计算，获得第二相关性系数。

C、根据第一相关性系数和第二相关性系数的系数，判断未知区域边界上的像素点是否属于目标缺陷区域或背景区域。

对于上述步骤A，其具体是提取未知区域边界上像素点与边界相邻的目标缺陷区域像素点的第三特征，并对第三特征进行相关性系数计算，获得第一相关性系数。此处需要说明的是，上述第三特征是指未知区域边界上具有的特征，第三特征包括但不限于空间特征、颜色特征等。

对于上述步骤B，上述第四特征包括但不限于空间特征、颜色特征等。第四特征与第三特征相同。例如，当第三特征为空间特征时，第四特征也为空间特征。

对于上述步骤C，其具体是，当该第一相关性系数大于阈值时，则确定未知区域边界上的像素点属于目标缺陷区域。同理，当该第二相关性系数大于阈值时，则确定未知区域边界上的像素点属于背景区域。

下面以一具体实施例，对上述步骤A至C进行举例说明，在一具体示例中，计算未知区域边界上像素点，第三特征为颜色特征，第一颜色相关性系数为0.7，第二颜色相关性系数为0.3，阈值为0.5。

在上述步骤A，提取与未知区域边界相邻的目标缺陷区域的像素点的颜色特征，并对颜色特征进行相关性计算，得到第一颜色相关性系数0.7。

在上述步骤B，提取与未知区域边界相邻的背景区域的像素点的颜色特征，并对颜色特征进行相关性计算，得到第二颜色相关性系数0.3。

在上述步骤C中，得到第一颜色相关性系数0.7与第二颜色相关性系数0.3的，第一颜色相关性超过阈值0.5。则该像素点属于目标缺陷区域，则该像素点的A(p)＝1，B(p)为(0,0,0)，F(p)为该像素点的像素值。

通过上述步骤，对未知区域边界中的像素点的A(p)、B(p)、F(p)进行赋值，从而初步减少未知区域像素点数量，减少后续模型建立的运算量。

在步骤S105中，进一步具体包括如下步骤D至I：

D、针对未知区域的任一个像素点，根据预设的采样方式，获取像素点在目标缺陷区域的第一采样点、获取像素点在背景区域的第二采样点，将第一采样点和第二采样点作为像素点对应的一组采样点。

E、对像素点以及像素点对应的采样点进行色差计算，得到每组采样点对应的色差值。

F、比较每组采样点对应的色差值的大小，获取色差值最小对应的一组采样点，并将色差值最小对应的一组采样点作为第一采样点组。

G、提取预设的区域样本信息，并对区域样本信息与第一采样点组对应的色差值进行色差计算，更新标注模型。

H、根据预设的未知区域划分方式，对未知区域进行区域划分，得到目标未知区域；

I、根据标注模型，判断目标未知区域的缺陷概率，并将缺陷概率大于预设概率值的目标未知区域的中心像素点加入到目标缺陷区域，得到掩膜区域。

对于上述步骤D，上述预设的采样方法是指从未知区域中任选一个像素点，通过该像素点顺时针或逆时针做多条不重叠的直线，该直线和目标缺陷区域第一次相交的时候得到的交点作为第一采样点，该直线和背景区域第一次相交的时候，得到的交点作为第二采样点。

对于上述步骤E，按照如下算式对像素点以及像素点对应的采样点进行色差计算：

其中，Mp(Fi，Bj)是指第一采样点Fi与第二采样点Bj的色差值，Fi为第i条直线对应的第一采样点的像素值，Bj为第j条直线对应的第二采样点的像素值，Ip为该像素点的像素值，

表示采样点所在的区域的平均缺陷概率，i＝1,2,3……K，j＝1,2,3……K，K是直线的个数。

对于上述步骤G，上述预设的区域样本信息是指根据预设区域值，截取的未知区域中的所有像素点的像素值的平均数。例如，预设区域值为3*3，以当前像素点为中心，截取3*3未知区域，并计算该3*3未知区域中像素点的第一采样点组的平均数。

其具体是：提取预设的区域样本信息，获取到该区域样本信息的第一采样点组的色差，将色差最小的三组采样点求平均值，将平均值更新为该像素点的第二采样点组；

将该平均值与步骤F中得到的所有像素点的第一采样组对应的色差值进行色差计算，获得色差值；

根据最小的三个色差值，得到对应三个像素点的模型信息，将三组模型信息求平均，更新该像素点的标注模型对应的信息。

对于上述步骤H，其具体包括：上述预设的未知区域划分方式是指根据预设的区域划分值，对未知区域进行区域划分，得到目标未知区域的方式，例如预设的区域划分值为25*25，则将未知区域按照25*25的划分值进行区域划分，得到目标未知区域。

根据该像素点的背景区域、目标缺陷区域和目标未知区域的先验知识，去除孤立点，并更新标注模型。提取当前像素点的区域信息，由于缺陷区域以及背景区域的像素点相对于未知区域的像素点具有更大的影响，因此，缺陷区域以及背景区域的像素点的权重大于未知区域的像素点的权重，从而对区域内所有像素点的模型信息进行加权求和并更新标注模型。例如，缺陷区域以及背景区域像素点的权重为0.7，则未知区域的像素点的权重小于0.7，如0.6。

对于上述步骤I，其具体是：

根据标注模型，获取目标未知区域中所有像素点对应的像素值F(p)和像素值B(p)。根据目标未知区域对应的像素值，计算该目标未知区域的缺陷概率，当缺陷概率大于预设概率值时，则将目标未知区域的中心像素点加入目标缺陷区域，当缺陷概率低于预设概率值时，则将目标未知区域的中心像素点加入背景区域从而形成掩膜区域。

通过上述步骤，对未知区域进行区域划分，对划分后得到的目标未知区域进行进一步的计算缺陷概率，剔除掉前面像素点计算存在的误差，使得该目标未知区域的可靠性更强，从而进一步提高了缺陷标注图像的准确度。

S106、采用自适应形态学的方式，对掩膜区域进行去噪处理，得到缺陷标注图像。

此处需要说明的是，上述自适应形态学的方式是指一系列自动化处理图像形状特征的图像处理技术。上述缺陷标注图像是指对缺陷进行了标注后获得的二值掩膜图像。

在步骤S105之后，步骤S106之前，包括如下步骤：

对掩膜区域进行二值处理。

通过对掩膜区域进行二值处理，以及自适应形态学处理，对掩膜区域进行了去噪，减低了掩膜区域中噪声点的数量，得到的缺陷标注图像的质量高，能够有效支持缺陷图像检测模型的训练。

作为可选的，在本实施例的一个具体应用场景中，涉及柔性电路板的缺陷检测，对柔性电路板的缺陷检测的具体过程包括：

获取缺陷标注样本图像；

基于深度学习和缺陷样本标注图像，构建柔性电路板缺陷检测模型；

采用构建好的柔性电路板缺陷检测模型，对柔性电路板进行缺陷检测。

通过上述步骤获取的缺陷标注样本图像质量高，能保证数量充足，通过该缺陷样本标注图像与深度学习建立的柔性电路板缺陷检测模型，能快速检测出效果较差的缺陷样本图像，并快递对模型进行迭代。

本发明实施例提供的缺陷标注图像的生成方法，通过获取样本图像和背景图像，其中，样本图像中包含初始缺陷区域；对样本图像和背景图像进行缺陷迁移，得到迁移后缺陷图片以及缺陷掩膜图，并将缺陷掩膜图中，与样本图像的初始缺陷区域对应的区域，作为目标区域；计算缺陷掩膜图的目标区域的灰度值，作为缺陷灰度值，计算背景图像中与目标区域对应区域的灰度值，作为背景灰度值，并计算缺陷灰度值与背景灰度值的差值，得到灰度值之差；根据灰度值之差对缺陷掩膜图进行区域划分，得到三区图；基于三区图，建立标注模型，并根据标注模型获取掩膜区域；采用自适应形态学的方式，对掩膜区域进行去噪处理，得到缺陷标注图像，提高了缺陷标注图像的质量，进而使得缺陷图像检测模型能够进行有效训练。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种缺陷标注图像的生成装置，该缺陷标注图像的生成装置与上述实施例中缺陷标注图像的生成方法一一对应。如图4所示，该缺陷标注图像的生成装置包括图像获取模块11、缺陷迁移模块12、灰度值获取模块13、三区图获取模块14、掩膜区域获取模块15和缺陷标注图像获取模块16。各功能模块详细说明如下：

图像获取模块11，用于获取样本图像和背景图像，其中，样本图像中包含初始缺陷区域。

缺陷迁移模块12，用于对样本图像和背景图像进行缺陷迁移，得到缺陷掩膜图，并将缺陷掩膜图中，与样本图像的初始缺陷区域对应的区域，作为目标区域。

灰度值获取模块13，用于计算缺陷掩膜图的目标区域的灰度值，作为缺陷灰度值，计算背景图像中与目标区域对应区域的灰度值，作为背景灰度值，并计算缺陷灰度值与背景灰度值的差值，得到灰度值之差。

三区图获取模块14，用于根据灰度值之差对缺陷掩膜图进行区域划分，得到三区图。

掩膜区域获取模块15，用于基于三区图，建立标注模型，并根据标注模型获取掩膜区域。

缺陷标注图像获取模块16，用于采用自适应形态学的方式，对掩膜区域进行去噪处理，得到缺陷标注图像。

在其中一个实施例中，缺陷迁移模块12进一步包括：

样本相关性系数获取单元，用于提取样本图像的任一个初始缺陷区域的第一特征，并对第一特征进行相关性系数计算，获得样本相关性系数。

背景相关性系数获取单元，用于提取背景图像与初始缺陷区域对应区域的第二特征，并对第二特征进行相关性系数计算，获得背景相关性系数。

缺陷迁移单元，用于当背景相关性系数与样本相关性系数的差值大于预设差值时，则将初始缺陷区域迁移到缺陷掩膜图对应的区域，并作为缺陷掩膜图的目标区域，直到初始缺陷区域的特征提取全部执行完毕，得到缺陷掩膜图。

在其中一个实施例中，三区图获取模块14进一步包括：

判断单元，用于判断灰度值之差与预设值的关系。

目标缺陷区域标记单元，用于当灰度值之差大于预设值时，则将缺陷掩膜图对应的目标区域标记为目标缺陷区域。

未知区域标记单元，用于当灰度值之差不大于预设值时，则将缺陷掩膜图对应的目标区域标记为未知区域。

背景区域标记单元，用于将缺陷掩膜图中，除目标区域以外的所有区域，作为背景区域。

三区图获取单元，用于根据目标缺陷区域、未知区域和背景区域，得到三区图。

在该实施例中，缺陷标注图像的生成装置还包括：

第一相关性系数获取模块，用于提取与未知区域边界相邻的所述目标缺陷区域的第三特征，并对第三特征进行相关性系数计算，获得第一相关性系数。

第二相关性系数获取模块，用于提取与未知区域边界相邻的背景区域的第四特征，并对第四特征进行相关性系数计算，获得第二相关性系数。

区域判断模块，用于根据第一相关性系数和第二相关性系数，判断未知区域边界上的像素点是否属于目标缺陷区域或背景区域。

在其中一个实施例中，掩膜区域获取模块15进一步包括：

采样单元，用于针对未知区域的任一个像素点，根据预设的采样方式，获取像素点在目标缺陷区域的第一采样点、获取像素点在背景区域的第二采样点，将第一采样点和第二采样点作为像素点对应的一组采样点。

色差计算单元，用于对像素点以及像素点对应的采样点进行色差计算，得到每组采样点对应的色差值。

色差比较单元，用于比较每组采样点对应的色差值的大小，获取色差值最小对应的一组采样点，并将色差值最小对应的一组采样点作为第一采样点组。

标注模型更新单元，用于提取预设的区域样本信息，并对区域样本信息与第一采样点组对应的色差值进行色差计算，更新标注模型。

目标位置区域获取单元，用于根据预设的未知区域划分方式，对未知区域进行区域划分，得到目标未知区域；

掩膜区域获取单元，用于根据所述标注模型，判断所述目标未知区域的缺陷概率，并将所述缺陷概率大于预设概率值的所述目标未知区域加入到所述目标缺陷区域，得到所述掩膜区域。

在该实施例中，缺陷标注图像获取模块16还包括；

二值处理模块，用于对掩膜区域进行二值处理。

其中上述模块/单元中的“第一”和“第二”的意义仅在于将不同的模块/单元加以区分，并不用于限定哪个模块/单元的优先级更高或者其它的限定意义。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式。

关于缺陷标注图像的生成装置的具体限定可以参见上文中对于缺陷标注图像的生成方法的限定，在此不再赘述。上述缺陷标注图像的生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储缺陷标注图像的生成方法中涉及到的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种缺陷标注图像的生成方法。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中缺陷标注图像的生成方法的步骤，例如图2所示的步骤S101至步骤S106及该方法的其它扩展和相关步骤的延伸。或者，处理器执行计算机程序时实现上述实施例中缺陷标注图像的生成装置的各模块/单元的功能，例如图4所示模块11至模块16的功能。为避免重复，这里不再赘述。

所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。

所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中缺陷标注图像的生成方法的步骤，例如图2所示的步骤S101至步骤S106及该方法的其它扩展和相关步骤的延伸。或者，计算机程序被处理器执行时实现上述实施例中缺陷标注图像的生成装置的各模块/单元的功能，例如图4所示模块11至模块16的功能。为避免重复，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (8)

1.一种缺陷标注图像的生成方法，其特征在于，包括：

获取样本图像和背景图像，其中，所述样本图像对应的掩膜图中包含初始缺陷区域；

对所述样本图像和所述背景图像进行缺陷迁移，得到缺陷掩膜图，并将所述缺陷掩膜图中，与所述样本图像对应的掩膜图的初始缺陷区域对应的区域，作为目标区域；

其中，所述对所述样本图像和所述背景图像进行缺陷迁移，得到缺陷掩膜图的步骤包括：

提取所述样本图像对应的掩膜图的初始背景区域的第一特征，并对所述第一特征进行相关性系数计算，获得样本相关性系数，其中，所述初始背景区域是所述样本图像对应的掩膜图中除了初始缺陷区域外的所有区域；

提取所述背景图像与所述初始背景区域对应区域的第二特征，并对所述第二特征进行相关性系数计算，获得背景相关性系数；

当所述背景相关性系数与所述样本相关性系数的差值小于预设差值时，则将所述样本图像对应的掩膜图的初始缺陷区域迁移到目标区域，得到缺陷掩膜图；

计算所述缺陷掩膜图的目标区域的灰度值，作为缺陷灰度值，计算所述背景图像中与所述目标区域对应区域的灰度值，作为背景灰度值，并计算所述缺陷灰度值与所述背景灰度值的差值，得到灰度值之差；

根据所述灰度值之差对所述缺陷掩膜图进行区域划分，得到三区图；

基于所述三区图，建立标注模型，并根据所述标注模型获取掩膜区域；

采用自适应形态学的方式，对所述掩膜区域进行去噪处理，得到缺陷标注图像。

2.根据权利要求1所述的方法，其特征在于，所述根据所述灰度值之差对所述缺陷掩膜图进行区域划分，得到三区图包括：

判断所述灰度值之差与预设值的关系；

当所述灰度值之差大于预设值时，则将所述缺陷掩膜图对应的目标区域标记为目标缺陷区域；

当所述灰度值之差不大于预设值时，则将所述缺陷掩膜图对应的目标区域标记为未知区域；

将所述缺陷掩膜图中，除目标区域以外的所有区域，作为背景区域；

根据所述目标缺陷区域、所述未知区域和所述背景区域，得到所述三区图。

3.根据权利要求2所述的方法，其特征在于，所述基于所述三区图，建立标注模型，并根据所述标注模型获取掩膜区域之前，所述方法包括：

提取与未知区域边界相邻的所述目标缺陷区域的第三特征，并对所述第三特征进行相关性系数计算，获得第一相关性系数；

提取与所述未知区域边界相邻的所述背景区域的第四特征，并对所述第四特征进行相关性系数计算，获得第二相关性系数；

根据所述第一相关性系数和所述第二相关性系数，判断所述未知区域边界上的像素点是否属于所述目标缺陷区域或所述背景区域。

4.根据权利要求2所述的方法，其特征在于，所述基于所述三区图，建立标注模型，并根据所述标注模型获取掩膜区域，所述方法还包括：

针对所述未知区域的任一个像素点，根据预设的采样方式，获取所述像素点在所述目标缺陷区域的第一采样点、获取所述像素点在所述背景区域的第二采样点，将所述第一采样点和所述第二采样点作为所述像素点对应的一组采样点；

对所述像素点以及所述像素点对应的采样点进行色差计算，得到每组采样点对应的色差值；

比较所述每组采样点对应的色差值的大小，获取色差值最小对应的一组采样点，并将所述色差值最小对应的一组采样点作为第一采样点组；

提取预设的区域样本信息，并对所述区域样本信息与所述第一采样点组对应的色差值进行色差计算，更新所述标注模型；

根据预设的未知区域划分方式，对未知区域进行区域划分，得到目标未知区域；

根据所述标注模型，判断所述目标未知区域的缺陷概率，并将所述缺陷概率大于预设概率值的所述目标未知区域的中心像素点加入到所述目标缺陷区域，得到所述掩膜区域。

5.根据权利要求1所述的方法，其特征在于，在所述基于所述三区图，建立标注模型，并根据所述标注模型获取掩膜区域之后，并且，在所述采用自适应形态学的方式，对所述掩膜区域进行去噪处理，得到缺陷标注图像之前，所述方法还包括：

对所述掩膜区域进行二值处理。

6.一种缺陷标注图像的生成装置，其特征在于，包括：

图像获取模块，用于获取样本图像和背景图像，其中，所述样本图像对应的掩膜图中包含初始缺陷区域；

缺陷迁移模块，用于对所述样本图像和所述背景图像进行缺陷迁移，得到缺陷掩膜图，并将所述缺陷掩膜图中，与所述样本图像对应的掩膜图的初始缺陷区域对应的区域，作为目标区域；

其中，所述缺陷迁移模块包括：

样本相关性系数获取单元，用于提取所述样本图像对应的掩膜图的初始背景区域的第一特征，并对所述第一特征进行相关性系数计算，获得样本相关性系数，其中，所述初始背景区域是所述样本图像对应的掩膜图中除了初始缺陷区域外的所有区域；

背景相关性系数获取单元，用于提取所述背景图像与所述初始背景区域对应区域的第二特征，并对所述第二特征进行相关性系数计算，获得背景相关性系数；

缺陷迁移单元，用于当所述背景相关性系数与所述样本相关性系数的差值小于预设差值时，则将所述样本图像对应的掩膜图的初始缺陷区域迁移到目标区域，得到缺陷掩膜图；

灰度值获取模块，用于计算所述缺陷掩膜图的目标区域的灰度值，作为缺陷灰度值，计算所述背景图像中与所述目标区域对应区域的灰度值，作为背景灰度值，并计算所述缺陷灰度值与所述背景灰度值的差值，得到灰度值之差；

三区图获取模块，用于根据所述灰度值之差对所述缺陷掩膜图进行区域划分，得到三区图；

掩膜区域获取模块，用于基于所述三区图，建立标注模型，并根据所述标注模型获取掩膜区域；

缺陷标注图像获取模块，用于采用自适应形态学的方式，对所述掩膜区域进行去噪处理，得到缺陷标注图像。

7.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述缺陷标注图像的生成方法的步骤。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述缺陷标注图像的生成方法的步骤。

Images