CN116012339A - 图像处理方法、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请公开了图像处理方法、电子设备及计算机可读存储介质，图像处理方法通过图像处理模型实现，包括：获取到电路板的初始掩码图像与基于初始掩码图像加工出的待检测产品的第一图像；将第一图像输入到图像处理模型的语义分割网络的编码器进行特征提取，得到特征图；将特征图与初始掩码图像输入到语义分割网络的解码器进行特征融合，得到语义分割图像；将语义分割图像与第一图像输入到图像生成模型进行融合渲染，得到无缺陷重构图像。本申请通过图像处理模型在初始掩码图像中融合第一图像的语义特征与纹理信息，不仅能够在缺陷检测与修复中实现自动化操作，还能够精准修复第一图像中可能存在的缺陷，从而有效提高产品的缺陷检测效率与修复精度。

Description

图像处理方法、电子设备及计算机可读存储介质

技术领域

本申请涉及计算机视觉技术领域，特别是涉及图像处理方法、电子设备及计算机可读存储介质。

背景技术

在工业制造中，质检是生产流程的关键，例如在PCB(Printed Circuit Board，印制电路板)的制备领域中，对PCB的表面状态进行检测是对产品质量进行控制的一种重要手段，判断产品是否存在瑕疵和缺陷，并根据检测结果对产品进行相应的处理，对于提高产线良率至关重要。

现有技术中，主要采用机器检测与人工检测结合的手段对PCB进行检测与修复，即先采用图像检测对生产线上的产品进行外表检测，并自动报出疑似缺陷位置，再利用人工进行检测，即依靠现有成像系统进行拍摄后，通过质检员对照片进行观察，以确定缺陷的具体位置，继而通过人工对缺陷图像进行修复。

然而，现有成像系统的检测原理有所不足，用于做特征比对的电路板母图是每批工单的首件产品的表面图像，由于母图本身可能存在缺陷，因而直接用母图进行比对难以保证后续的产品质量；而利用人工对母图进行检测与修复，也存在质检效率低以及准确度不高的问题，不利于产品的实时缺陷检测与修复，从而影响最终的缺陷检测效率与修复精度。

发明内容

本申请主要解决的技术问题是提供图像处理方法、电子设备及计算机可读存储介质，能够解决现有技术中存在的产品缺陷检测效率与修复精度低的问题。

为解决上述技术问题，本申请采用的第一技术方案是提供一种图像处理方法，图像处理方法通过训练好的图像处理模型实现；图像处理模型包括级联的语义分割网络与图像生成模型，语义分割网络包括级联的编码器与解码器；图像处理方法包括：获取到电路板的初始掩码图像与基于初始掩码图像加工出的待检测产品的第一图像；将第一图像输入到图像处理模型的语义分割网络，通过编码器对第一图像进行特征提取，得到第一图像的特征图；将特征图与初始掩码图像输入到解码器，通过解码器对特征图与初始掩码图像进行特征融合，得到语义分割图像；将语义分割图像与第一图像输入到图像生成模型，通过图像生成模型对第一图像与语义分割图像进行融合渲染，得到第一图像的无缺陷重构图像。

其中，将第一图像输入到图像处理模型的语义分割网络，通过编码器对第一图像进行特征提取，得到第一图像的特征图的步骤，包括：利用编码器对第一图像进行下采样以及多次卷积操作，得到第一图像的低级特征图与高级特征图；对高级特征图进行上采样，以使上采样后的高级特征图与低级特征图的分辨率一致；将上采样后的高级特征图与低级特征图进行堆叠，得到特征图。

其中，将特征图与初始掩码图像输入到解码器，通过解码器对特征图与初始掩码图像进行特征融合，得到语义分割图像的步骤前，包括：对初始掩码图像进行下采样，得到第一掩码图像；其中，第一掩码图像的分辨率与特征图的分辨率一致；将特征图与初始掩码图像输入到解码器，通过解码器对特征图与初始掩码图像进行特征融合，得到语义分割图像的步骤，包括：将特征图与第一掩码图像输入到解码器，利用空间自适应归一化机制对特征图与第一掩码图像进行特征融合，得到语义分割图像。

其中，将特征图与第一掩码图像输入到解码器，利用空间自适应归一化机制对特征图与第一掩码图像进行特征融合，得到语义分割图像的步骤，包括：将特征图与第一掩码图像的尺寸均调整至相同的设定尺寸；对特征图进行批量归一化；对第一掩码图像进行卷积，得到第一预设通道数的第二掩码图像；对第二掩码图像进行非线性激活以及卷积，得到第二预设通道数的第三掩码图像；将第三掩码图像与归一化后的特征图逐像素相乘，得到更新后的特征图，再将更新后的特征图与第三掩码图像逐像素相加，以在第三掩码图像的多个区域填充特征图，得到第一次特征融合后的第一输出特征图；将第一输出特征图与第一掩码图像的尺寸再次调整至相同的设定尺寸，并重复以上批量归一化、非线性激活、卷积、逐像素相乘与逐像素相加的步骤，直至得到预设次数特征融合后的输出特征图；对输出特征图进行卷积与非线性激活，得到语义分割图像。

其中，对输出特征图进行卷积与非线性激活，得到语义分割图像的步骤，包括：对输出特征图进行卷积与非线性激活，得到初始语义分割图像；对初始语义分割图像进行上采样操作，得到语义分割图像；其中，语义分割图像与第一图像的分辨率一致。

其中，将语义分割图像与第一图像输入到图像生成模型，通过图像生成模型对第一图像与语义分割图像进行融合渲染，得到第一图像的无缺陷重构图像的步骤，包括：利用图像生成模型对第一图像与语义分割图像进行级联，得到级联图像；对级联图像进行多次卷积以及非线性激活，以将第一图像中的纹理信息与语义分割图像进行融合，得到第一图像的无缺陷重构图像。

其中，语义分割网络的编码器包括多组串行的特征提取单元；解码器包括多组串行的空间自适应归一化残差单元；其中，空间自适应归一化残差单元包括空间自适应归一化单元以及卷积单元。

其中，图像处理模型是利用标注图像进行训练得到的，训练方法包括：获取到多张初始掩码图像、多张第一图像以及基于第一图像进行修复后的多张第二图像，以形成数据集；将数据集中的多张初始掩码图像、多张第一图像以及多张第二图像按设定比例划分为训练集、测试集以及验证集；将训练集中的训练数据输入到预设深度学习模型中进行训练，得到第一模型；将测试集中的测试数据输入到第一模型中进行预测，并基于预测结果计算总损失函数，以基于总损失函数对第一模型的模型参数进行反向更新，得到第二模型；将验证集中的验证数据输入到第二模型中进行预测，并基于预测结果对第二模型的预测结果进行评价，以构建图像处理模型。

为解决上述技术问题，本申请采用的第二技术方案是提供一种电子设备，包括：存储器，用于存储程序数据，程序数据被执行时实现如上述的图像处理方法中的步骤；处理器，用于执行存储器存储的程序数据以实现如上述的图像处理方法中的步骤。

为解决上述技术问题，本申请采用的第三技术方案是提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上述的图像处理方法中的步骤。

本申请的有益效果是：区别于现有技术，本申请提供图像处理方法、电子设备及计算机可读存储介质，通过训练好的图像处理模型对待检测产品的第一图像进行缺陷检测，且图像处理模型包括语义分割网络，能够利用语义分割网络的编码器提取第一图像的特征图，以及利用解码器将提取的特征图与初始掩码图像进行特征融合，从而在初始掩码图像的不同位置上充分融合第一图像的语义特征。进一步地，通过图像生成模型对第一图像与语义分割图像进行融合渲染，能够将第一图像中的纹理信息充分融合到语义分割图像中，从而获取第一图像的无缺陷重构图像。本申请通过图像处理模型对第一图像进行处理，并在初始掩码图像中融合第一图像的语义特征与纹理信息，不仅能够在缺陷检测与缺陷修复的每一步均实现自动化操作，还能够精准修复第一图像中可能存在的缺陷，从而有效提高产品的缺陷检测效率与修复精度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请图像处理模型一实施方式的架构图；

图2是图1中语义分割网络的编码器一具体实施方式的架构图；

图3是图1中语义分割网络的解码器一具体实施方式的架构图；

图4是图3中空间自适应归一化残差单元一实施方式的架构图；

图5是图4中空间自适应归一化单元一实施方式的架构图；

图6是图1中图像生成模型一具体实施方式的架构图；

图7是本申请图像处理模型的训练方法一实施方式的流程示意图图；

图8是本申请图像处理方法一实施方式的流程示意图；

图9是本申请电子设备一实施方式的结构示意图；

图10是本发明计算机可读存储介质一实施方式的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本申请保护的范围。

在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上文清楚地表示其他含义，“多种”一般包含至少两种，但是不排除包含至少一种的情况。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

应当理解，本文中使用的术语“包括”、“包含”或者其他任何变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

现有技术中，主要采用机器检测与人工检测结合的手段对PCB进行检测与修复，即先采用图像检测对生产线上的产品进行外表检测，并自动报出疑似缺陷位置，再利用人工进行检测，即依靠现有成像系统进行拍摄后，通过质检员对照片进行观察，以确定缺陷的具体位置，继而通过人工对缺陷图像进行修复。然而，现有成像系统的检测原理有所不足，用于做特征比对的电路板母图是每批工单的首件产品的表面图像，由于母图本身可能存在缺陷，因而直接用母图进行比对难以保证后续的产品质量；而利用人工对母图进行检测与修复，也存在质检效率低以及准确度不高的问题，不利于产品的实时缺陷检测与修复，从而影响最终的缺陷检测效率与修复精度。

基于上述情况，本申请提供图像处理方法、电子设备及计算机可读存储介质，能够解决现有技术中存在的产品缺陷检测效率与修复精度低的问题。

下面结合附图和实施方式对本申请进行详细说明。

本申请首先提供一种图像处理模型。

具体地，请参阅图1，图1是本申请图像处理模型一实施方式的架构图。本实施方式中，图像处理模型10包括级联的语义分割网络20与图像生成模型30。

本实施方式中，语义分割网络20包括级联的编码器21与解码器22。其中，编码器21用于图像特征提取，解码器22用于还原特征图像尺寸并输出最后的语义分割图像。图像生成模型30用于基于语义分割图像生成最后的融合图像。

本实施方式中，将电路板母图a输入到图像处理模型10的语义分割网络20中，通过编码器21提取电路板母图b的图像特征，进而将图像特征与初始掩码图像a输入到解码器22中，通过解码器22将图像特征与初始掩码图像a进行融合，以利用空间自适应归一化单元221在初始掩码图像a的不同位置上充分融合电路板母图的语义特征，从而生成语义分割图像c。继而将电路板母图b与语义分割图像c输入到图像生成模型30中，利用图像生成模型30提取电路板母图b的纹理信息，并对纹理信息与语义分割图像c进行融合渲染，以将电路板母图b中不同位置的纹理信息填充在语义分割图像c的对应区域，从而生成电路板母图的无缺陷重构图像d。

其中，初始掩码图像a指的是电路板的理论设计图形(Label图)，标注有电路板上各个区域的掩膜信息，即电路板中设计图形的理论参数。在进行板件加工前，需要先编写出电路板的理论设计图形，以基于理论设计图形进行实际加工。

可以理解地，利用语义分割网络20提取电路板母图b的图像特征并基于图像特征与初始掩码图像a进行融合，能够在初始掩码图像a的各个区域中填充具有丰富语义信息的高斯特征，以实现空间自适应归一化语义图像合成。进一步地，利用图像生成模型30提取电路板母图b的纹理信息，并将纹理信息与语义分割图像c进行融合渲染，能够将实际产品中的真实纹理信息融合至理论设计图形中，以使获得的图像既具有电路板的理论参数，又包括母图中丰富的语义信息与纹理信息，从而获取到实际加工产品的无缺陷重构图像d。

可以理解地，由于上述步骤均通过图像处理模型10实现，因而不仅能够在缺陷检测与缺陷修复的每一步均实现自动化操作，还能够精准修复第一图像中可能存在的缺陷，从而有效提高产品的缺陷检测效率与修复精度。

本实施方式中，语义分割网络20的编码器21包括多组串行的特征提取单元210。其中，特征提取单元210用于提取图像特征。

具体地，请参阅图2，图2是图1中语义分割网络的编码器一具体实施方式的架构图。

本实施方式中，编码器21包括六组串行的特征提取单元210。

其中，每组特征提取单元210的卷积核大小均为3×3。其中，第一组特征提取单元210的卷积核个数为64，第二组特征提取单元210的卷积核个数为128，第三组特征提取单元210的卷积核个数为256，第四组、第五组以及第六组特征提取单元210的卷积核个数均为512。

其中，每组特征提取单元210提取图像特征后，对网络层进行实例归一化(instance normalization，InsNorm)以及非线性激活，且使用的激活函数为线性整流函数(Rectified Linear Unit，ReLU)。

具体地，将电路板母图输入到编码器21中，首先对电路板母图进行下采样操作，以缩小图像的分辨率。接着将下采样后的电路板母图输入到第一组特征提取单元210中进行特征提取，得到通道数为64的第一特征图。进而将第一特征图输入到第二组特征提取单元210中进行特征提取，得到通道数为128的第二特征图。接着将第二特征图输入到第三组特征提取单元210中进行特征提取，得到通道数为256的第三特征图。进而将第三特征图输入到第四组特征提取单元210中进行特征提取，得到通道数为256的第四特征图。接着将第四特征图输入到第五组特征提取单元210中进行特征提取，得到通道数为256的第五特征图。进而将第五特征图输入到第六组特征提取单元210中进行特征提取，得到通道数为256的第六特征图。继而对第六特征图进行全局池化处理，得到维度为8192×1×1的输出特征图，其中，8192指的是输出特征图的通道数(channel，C)，第一个1指的是输出特征图的高度(height，H)，第二个1指的是输出特征图的宽度(weight，W)。继而将输出特征图处理为两列(linear)长度为256的高斯向量，其中，两列高斯向量分别为高斯均值与高斯方差。输出两列高斯向量，以通过高斯向量表征电路板母图中多尺度上的高斯特征。

其中，高斯均值可以看做低级特征图，包括电路板母图中较全面的局部特征。高斯方差可以看做高级特征图，包括电路板母图中更深层次的语义特征。

本实施方式中，语义分割网络20的解码器22包括多组串行的空间自适应归一化残差单元(Spatial Adaptive Normalization Residual Block，SPADE resblock)220。其中，空间自适应归一化残差单元220包括空间自适应归一化单元(Spatial AdaptiveNormalization，SPADE)与卷积单元。

具体地，请参阅图3、图4与图5，图3是图1中语义分割网络的解码器一具体实施方式的架构图，图4是图3中空间自适应归一化残差单元一实施方式的架构图，图5是图4中空间自适应归一化单元一实施方式的架构图。

本实施方式中，解码器22包括七组串行的空间自适应归一化残差单元220，每组空间自适应归一化残差单元220均包括左右两侧支路，其中，左侧支路包括两组串行的SPADE与卷积单元，右侧支路包括一组SPADE与卷积单元。

具体地，首先对高斯方差进行上采样，以使高斯方差与高斯均值的分辨率一致后，将两者进行堆叠，得到维度为256×16384的特征图，其中，256指的是特征图的长度，16384指的是特征图的宽度。接着将特征图的尺寸调节(resize)至1024×4×4，其中，1024指的是特征图的长度，第一个4指的是特征图的宽度，第二个4指的是特征图的特征通道数。对初始掩码图像进行下采样，以使下采样后的初始掩码图像与特征图的分辨率一致。

进而将分辨率一致的特征图与初始掩码图像输入到第一组空间自适应归一化残差单元220中。其中，同时将初始掩码图像与特征图送入左侧支路与右侧支路。两侧支路中的SPADE首先将初始掩码图像的尺寸均调整至与特征图相同的设定尺寸，再对初始掩码图像进行卷积，以得到通道数为128的掩码图像。其中，卷积核大小为3×3，卷积核个数为128。接着对掩码图像进行非线性激活(ReLU)以及卷积(3×3×k卷积，3×3×k Conv)，得到通道数为k的掩码图像。其中，k的取值可以为1024。在其他实施方式中，k的取值可以为其余数值，本申请对此不作限定。两侧支路中的SPADE还用于对输入的特征图进行同步批量归一化(Sync Batch Normalization，Sync BN)，继而将通道数为k的掩码图像与与归一化后的特征图逐像素相乘，得到更新后的特征图，再将更新后的特征图与通道数为k的掩码图像逐像素相加，以在掩码图像的多个区域填充对应的高斯向量，得到特征融合后的输出特征图。

进一步地，左侧支路中利用ReLU对第一个SPADE输出的特征图进行非线性激活后，利用卷积单元(3×3×k卷积，3×3×k Conv)对输出特征图进行卷积，并将卷积后的特征图作为第一个SPADE的输入特征图，同时将初始掩码图像作为第二个SPADE的输入图像，以利用第二个SPADE对输入特诊图与初始掩码图像再次进行特征融合，得到特征融合更充分的输出特征图。将左侧支路得到的输出特征图与右侧支路得到的输出特征图进行逐像素相加，得到第一输出特征图。

进一步地，将第一输出特征图与初始掩码图像输入到第二组空间自适应归一化残差单元220中，将第一输出特征图与初始掩码图像的尺寸再次调整至相同的设定尺寸，并重复以上同步批量归一化、非线性激活、卷积、逐像素相乘与逐像素相加的步骤，得到第二输出特征图，并将第二输出特征图与初始掩码图像输入到第三组空间自适应归一化残差单元220中。重复以上步骤，直至通过第七组空间自适应归一化残差单元220得到输出特征图后，利用卷积单元(3×3×1Conv)对输出特征图进行卷积，并利用激活曾对卷积后的输出特征图进行非线性激活，且使用的激活函数为双曲正切函数(Hyperbolic Tangent，TanH)，以得到初始语义分割图像，最后对初始语义分割图像进行上采样操作，得到最终的语义分割图像。其中，语义分割图像与电路板母图的分辨率一致。

可以理解地，通过在空间自适应归一化残差单元220中设置左右两侧支路，并分别利用两侧支路中的SPADE对初始掩码图像与输入特征图进行融合，能够对高斯特征进行特征指导，以引导高斯特征学习更重要和更完整的对象区域，从而实现空间自适应归一化语义图像合成。

进一步地，通过多组串行的空间自适应归一化残差单元220对输入特征图与初始掩码图像进行融合，能够在初始掩码图像的各个区域中填充具有丰富语义信息的高斯特征，以提高空间自适应归一化语义图像合成的精度。

本实施方式中，图像生成模型30包括多个卷积单元301。

具体地，请参阅图6，图6是图1中图像生成模型一具体实施方式的架构图。

本实施方式中，图像生成模型30包括六组串行的卷积单元301。

其中，第一组卷积单元301的卷积核大小为3×3，卷积核个数为32，边距参数(padding)为3。第二组卷积单元301的卷积核大小为5×5，卷积核个数为64，边距参数(padding)为5。第三组卷积单元301的卷积核大小为7×7，卷积核个数为128，边距参数(padding)为7。第四组卷积单元301的卷积核大小为3×3，卷积核个数为32，边距参数(padding)为3。第五组卷积单元301的卷积核大小为3×3，卷积核个数为1，边距参数(padding)为3。

其中，每组卷积单元301对图像进行卷积后，利用激活层对图像进行非线性激活，且使用的激活函数为TanH。

具体地，将电路板母图与语义分割图像输入到图像生成模型30中，首先利用图像生成模型30对电路板母图进行级联(concat)，得到级联图像，继而利用六组串行的卷积单元301以及多个激活层对级联图像进行多次卷积以及非线性激活，以将电路板母图中的纹理信息与语义分割图像进行融合渲染，得到电路板母图的无缺陷重构图像。

本实施方式中，图像处理模型10是利用标注图像进行训练得到的。具体地，请参阅图7，图7是本申请图像处理模型的训练方法一实施方式的流程示意图图。在本实施方式中，该训练方法包括：

S71：获取到多张初始掩码图像、多张第一图像以及基于第一图像进行修复后的多张第二图像，以形成数据集。

本实施方式中，第一图像即为每批工单的首件产品的表面图像，也即电路板母图。

其中，第二图像为人工修复的第一图像的无缺陷图像。

其中，每张初始掩码图像与其对应的第一图像以及第二图像为相关联的训练数据。

S72：将数据集中的多张初始掩码图像、多张第一图像以及多张第二图像按设定比例划分为训练集、测试集以及验证集。

本实施方式中，本实施方式中，训练集用于对预设深度学习模型进行训练，测试集用于对模型进行评估与调整，验证集用于对模型进行最终的评价。

本实施方式中，将数据集中的多张初始掩码图像、多张第一图像以及多张第二图像按70％:20％:10％的比例划分为训练集、测试集以及验证集。

在其他实施方式中，设定比例还可以为其他比例，本申请对此不作限定。

S73：将训练集中的训练数据输入到预设深度学习模型中进行训练，得到第一模型。

本实施方式中，利用训练集中的训练数据进行训练时，计算得到语义分割网络的编码器输出的图像特征与训练集中总体高斯特征向量均值之间的高斯特征损失函数、语义分割网络的解码器输出的语义分割图像与初始掩码图像之间的分割损失函数、解码器输出的语义分割图像与第一图像之间的派生损失函数以及图像生成模型输出的无缺陷重构图像与标注的第二图像之间的缺陷去除损失函数。

其中，计算语义分割图像与初始掩码图像之间的分割损失函数时，将语义分割图像与初始掩码图像进行级联，并利用多层卷积网络与激活层对级联图像进行卷积与非线性激活，以得到分割损失函数。

在一个具体的实施场景中，可以利用五组卷积核大小均为4×4，卷积核个数分别为64、128、256、512、1的多层卷积网络对级联图像进行卷积，并利用ReLU对卷积后的图像进行激活。

本实施方式中，基于高斯特征损失函数、分割损失函数、派生损失函数以及缺陷去除损失函数计算预设深度学习模型的总损失函数，并利用总损失函数反向更新预设深度学习模型的模型参数，以得到第一模型。

可以理解地，训练集中的总损失函数表现为预设深度学习模型的训练方向。

S74：将测试集中的测试数据输入到第一模型中进行预测，并基于预测结果计算总损失函数，以基于总损失函数对第一模型的模型参数进行反向更新，得到第二模型。

具体的损失函数计算方式参见S73中的描述，此处不再赘述。

可以理解地，测试集中的总损失函数表现为第一模型的参数调整依据。

S75：将验证集中的验证数据输入到第二模型中进行预测，并基于预测结果对第二模型的预测结果进行评价，以构建图像处理模型。

具体的损失函数计算方式参见S73中的描述，此处不再赘述。

可以理解地，验证集中的总损失函数表现为第二模型的评价依据。

本实施方式中，利用总损失函数对预设深度学习模型的模型参数进行反向训练，以计算所有模型参数的梯度值，并反向更新预设分割模型的参数值，达到优化模型的目的，继而获取到训练好的图像处理模型。

请参阅图8，图8是本申请图像处理方法一实施方式的流程示意图。在本实施方式中，图像处理方法通过上述的图像处理模型实现，图像处理模型包括级联的语义分割网络与图像生成模型，语义分割网络包括级联的编码器与解码器。

该图像处理方法包括：

S81：获取到电路板的初始掩码图像与基于初始掩码图像加工出的待检测产品的第一图像。

本实施方式中，初始掩码图像指的是电路板的理论设计图形(Label图)，标注有电路板上各个区域的掩膜信息，即电路板中设计图形的理论参数。在进行板件加工前，需要先编写出电路板的理论设计图形，以基于理论设计图形进行实际加工。

本实施方式中，待检测产品为每批工单中基于初始掩码图像加工出的首件产品，第一图像为拍摄得到的首件产品的表面图像，即电路板母图。

S82：将第一图像输入到图像处理模型的语义分割网络，通过编码器对第一图像进行特征提取，得到第一图像的特征图。

本实施方式中，利用编码器对第一图像进行下采样以及多次卷积操作，得到第一图像的低级特征图与高级特征图。

其中，低级特征图为高斯均值，高级特征图为高斯方差，两者均为长度为256的高斯向量。

S83：将特征图与初始掩码图像输入到解码器，通过解码器对特征图与初始掩码图像进行特征融合，得到语义分割图像。

本实施方式中，首先利用解码器对高级特征图进行上采样，以使上采样后的高级特征图与低级特征图的分辨率一致，并将上采样后的高级特征图与低级特征图进行堆叠，得到第一图像的特征图。接着对初始掩码图像进行下采样，对初始掩码图像进行下采样，得到第一掩码图像。其中，第一掩码图像的分辨率与特征图的分辨率一致。

进一步地，将特征图与第一掩码图像输入到解码器的多组串行的空间自适应归一化残差单元(SPADE resblock)中，利用空间自适应归一化机制对特征图与第一掩码图像进行特征融合，得到语义分割图像。

具体地，利用SPADE resblock中的第一组空间自适应归一化单元(SPADE)将特征图与第一掩码图像的尺寸均调整至相同的设定尺寸，继而对特征图进行同步批量归一化。进而对第一掩码图像进行卷积，得到第一预设通道数的第二掩码图像。利用激活函数以及卷积网络对第二掩码图像进行非线性激活以及卷积，得到第二预设通道数的第三掩码图像，继而将第三掩码图像与归一化后的特征图逐像素相乘，得到更新后的特征图，再将更新后的特征图与第三掩码图像逐像素相加，以在第三掩码图像的多个区域填充特征图，得到输出特征图。

利用SPADE resblock的左侧支路中的ReLU对第一个SPADE输出的特征图进行非线性激活后，利用卷积单元对输出特征图进行卷积，并将卷积后的特征图作为第一个SPADE的输入特征图，同时将初始掩码图像作为第二个SPADE的输入图像，以利用第二个SPADE对输入特诊图与初始掩码图像再次进行特征融合，得到特征融合更充分的输出特征图。将左侧支路得到的输出特征图与右侧支路中SPADE得到的输出特征图进行逐像素相加，得到第一次特征融合后的第一输出特征图。

进一步地，将第一输出特征图与初始掩码图像输入到第二组空间自适应归一化残差单元中，将第一输出特征图与初始掩码图像的尺寸再次调整至相同的设定尺寸，并重复以上同步批量归一化、非线性激活、卷积、逐像素相乘与逐像素相加的步骤，得到第二输出特征图，并将第二输出特征图与初始掩码图像输入到第三组空间自适应归一化残差单元中。重复以上步骤，直至通过预设数量组的空间自适应归一化残差单元得到预设次数特征融合后的输出特征图。进而对输出特征图进行卷积与非线性激活，得到初始语义分割图像，并对初始语义分割图像进行上采样操作，得到语义分割图像。其中，语义分割图像与第一图像的分辨率一致。

S84：将语义分割图像与第一图像输入到图像生成模型，通过图像生成模型对第一图像与语义分割图像进行融合渲染，得到第一图像的无缺陷重构图像。

本实施方式中，利用图像生成模型对第一图像与语义分割图像进行级联，得到级联图像。继而对级联图像进行多次卷积以及非线性激活，以将第一图像中的纹理信息与语义分割图像进行融合渲染，得到第一图像的无缺陷重构图像。

进一步地，将无缺陷重构图像作为新的电路板母图供给机台的其余工序。

可以理解地，无缺陷重构图像符合产线的实际情况，且具有规范性，将其作为特征比对的母图，能够降低图像检测的误报率，从而提高检测效率。

区别于现有技术，本实施方式通过训练好的图像处理模型对待检测产品的第一图像进行缺陷检测，且图像处理模型包括语义分割网络，能够利用语义分割网络的编码器提取第一图像的特征图，以及利用解码器将提取的特征图与初始掩码图像进行特征融合，从而在初始掩码图像的不同位置上充分融合第一图像的语义特征。进一步地，通过图像生成模型对第一图像与语义分割图像进行融合渲染，能够将第一图像中的纹理信息充分融合到语义分割图像中，从而获取第一图像的无缺陷重构图像。本申请通过图像处理模型对第一图像进行处理，并在初始掩码图像中融合第一图像的语义特征与纹理信息，不仅能够在缺陷检测与缺陷修复的每一步均实现自动化操作，还能够精准修复第一图像中可能存在的缺陷，从而有效提高产品的缺陷检测效率与修复精度。

对应地，本申请提供一种电子设备。

请参阅图9，图9是本申请电子设备一实施方式的结构示意图。如图9所示，电子设备90包括存储器91以及处理器92。

本实施方式中，存储器91用于存储程序数据，程序数据被执行时实现如上述的图像处理方法中的步骤；处理器92用于执行存储器91存储的程序指令以实现如上述的图像处理方法中的步骤。

具体而言，处理器92用于控制其自身以及存储器91以实现如上述的图像处理方法中的步骤。处理器92还可以称为CPU(Central Processing Unit，中央处理单元)。处理器92可能是一种集成电路芯片，具有信号的处理能力。处理器92还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器92可以由多个集成电路芯片共同实现。

区别于现有技术，本实施方式通过处理器92对待检测产品的第一图像进行缺陷检测，且处理器92使用的图像处理模型包括语义分割网络，能够利用语义分割网络的编码器提取第一图像的特征图，以及利用解码器将提取的特征图与初始掩码图像进行特征融合，从而在初始掩码图像的不同位置上充分融合第一图像的语义特征。进一步地，通过图像生成模型对第一图像与语义分割图像进行融合渲染，能够将第一图像中的纹理信息充分融合到语义分割图像中，从而获取第一图像的无缺陷重构图像。本申请通过图像处理模型对第一图像进行处理，并在初始掩码图像中融合第一图像的语义特征与纹理信息，不仅能够在缺陷检测与缺陷修复的每一步均实现自动化操作，还能够精准修复第一图像中可能存在的缺陷，从而有效提高产品的缺陷检测效率与修复精度。

对应地，本申请提供一种计算机可读存储介质。

请参阅图10，图10是本发明计算机可读存储介质一实施方式的结构示意图。

计算机可读存储介质100包括计算机可读存储介质100上存储的计算机程序1001，所述计算机程序1001被上述处理器执行时实现如上述的图像处理方法中的步骤。具体地，集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质100中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质100中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质100包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种图像处理方法，其特征在于，所述图像处理方法通过训练好的图像处理模型实现；所述图像处理模型包括级联的语义分割网络与图像生成模型，所述语义分割网络包括级联的编码器与解码器；

所述图像处理方法包括：

获取到电路板的初始掩码图像与基于所述初始掩码图像加工出的待检测产品的第一图像；

将所述第一图像输入到所述图像处理模型的所述语义分割网络，通过所述编码器对所述第一图像进行特征提取，得到所述第一图像的特征图；

将所述特征图与所述初始掩码图像输入到所述解码器，通过所述解码器对所述特征图与所述初始掩码图像进行特征融合，得到语义分割图像；

将所述语义分割图像与所述第一图像输入到所述图像生成模型，通过所述图像生成模型对所述第一图像与所述语义分割图像进行融合渲染，得到所述第一图像的无缺陷重构图像。

2.根据权利要求1所述的图像处理方法，其特征在于，

所述将所述第一图像输入到所述图像处理模型的所述语义分割网络，通过所述编码器对所述第一图像进行特征提取，得到所述第一图像的特征图的步骤，包括：

利用所述编码器对所述第一图像进行下采样以及多次卷积操作，得到所述第一图像的低级特征图与高级特征图；

对所述高级特征图进行上采样，以使上采样后的高级特征图与所述低级特征图的分辨率一致；

将所述上采样后的高级特征图与所述低级特征图进行堆叠，得到所述特征图。

3.根据权利要求2所述的图像处理方法，其特征在于，

所述将所述特征图与所述初始掩码图像输入到所述解码器，通过所述解码器对所述特征图与所述初始掩码图像进行特征融合，得到语义分割图像的步骤前，包括：

对所述初始掩码图像进行下采样，得到第一掩码图像；其中，所述第一掩码图像的分辨率与所述特征图的分辨率一致；

所述将所述特征图与所述初始掩码图像输入到所述解码器，通过所述解码器对所述特征图与所述初始掩码图像进行特征融合，得到语义分割图像的步骤，包括：

将所述特征图与所述第一掩码图像输入到所述解码器，利用空间自适应归一化机制对所述特征图与所述第一掩码图像进行特征融合，得到所述语义分割图像。

4.根据权利要求3所述的图像处理方法，其特征在于，

所述将所述特征图与所述第一掩码图像输入到所述解码器，利用空间自适应归一化机制对所述特征图与所述第一掩码图像进行特征融合，得到所述语义分割图像的步骤，包括：

将所述特征图与第一掩码图像的尺寸均调整至相同的设定尺寸；

对所述特征图进行批量归一化；

对所述第一掩码图像进行卷积，得到第一预设通道数的第二掩码图像；

对所述第二掩码图像进行非线性激活以及卷积，得到第二预设通道数的第三掩码图像；

将所述第三掩码图像与归一化后的特征图逐像素相乘，得到更新后的特征图，再将更新后的特征图与所述第三掩码图像逐像素相加，以在所述第三掩码图像的多个区域填充所述特征图，得到第一次特征融合后的第一输出特征图；

将所述第一输出特征图与所述第一掩码图像的尺寸再次调整至相同的设定尺寸，并重复以上批量归一化、非线性激活、卷积、逐像素相乘与逐像素相加的步骤，直至得到预设次数特征融合后的输出特征图；

对所述输出特征图进行卷积与非线性激活，得到所述语义分割图像。

5.根据权利要求4所述的图像处理方法，其特征在于，

对所述输出特征图进行卷积与非线性激活，得到所述语义分割图像的步骤，包括：

对所述输出特征图进行卷积与非线性激活，得到初始语义分割图像；

对所述初始语义分割图像进行上采样操作，得到所述语义分割图像；其中，所述语义分割图像与所述第一图像的分辨率一致。

6.根据权利要求5所述的图像处理方法，其特征在于，

所述将所述语义分割图像与所述第一图像输入到所述图像生成模型，通过所述图像生成模型对所述第一图像与所述语义分割图像进行融合渲染，得到所述第一图像的无缺陷重构图像的步骤，包括：

利用所述图像生成模型对所述第一图像与所述语义分割图像进行级联，得到级联图像；

对所述级联图像进行多次卷积以及非线性激活，以将所述第一图像中的纹理信息与所述语义分割图像进行融合，得到所述第一图像的所述无缺陷重构图像。

7.根据权利要求1所述的图像处理方法，其特征在于，

所述语义分割网络的编码器包括多组串行的特征提取单元；

所述解码器包括多组串行的空间自适应归一化残差单元；其中，所述空间自适应归一化残差单元包括空间自适应归一化单元以及卷积单元。

8.根据权利要求7所述的图像处理方法，其特征在于，

所述图像处理模型是利用标注图像进行训练得到的，训练方法包括：

获取到多张所述初始掩码图像、多张所述第一图像以及基于所述第一图像进行修复后的多张第二图像，以形成数据集；

将所述数据集中的多张所述初始掩码图像、多张所述第一图像以及多张所述第二图像按设定比例划分为训练集、测试集以及验证集；

将所述训练集中的训练数据输入到预设深度学习模型中进行训练，得到第一模型；

将所述测试集中的测试数据输入到所述第一模型中进行预测，并基于预测结果计算总损失函数，以基于所述总损失函数对所述第一模型的模型参数进行反向更新，得到第二模型；

将所述验证集中的验证数据输入到所述第二模型中进行预测，并基于预测结果对所述第二模型的预测结果进行评价，以构建所述图像处理模型。

9.一种电子设备，其特征在于，包括：

存储器，用于存储程序数据，所述存储程序数据被执行时实现如权利要求1～8任一项所述的图像处理方法中的步骤；

处理器，用于执行所述存储器存储的所述程序数据以实现如权利要求1～8任一项所述的图像处理方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1～8任一项所述的图像处理方法中的步骤。

Images