CN114648515A - 印刷缺陷检测模型及印刷缺陷检测方法 - Google Patents

Abstract

本发明公开的印刷缺陷检测模型及印刷缺陷检测方法，涉及人工智能领域，利用2个结构相同的多尺度骨架网络，同时提取参考图像I^ref及待检测图像I^det的语义特征图，根据参考图像I^ref的多个语义特征图与待检测图像I^det的多个语义特征图，计算参考图像I^ref与待检测图像I^det之间的相似度，根据该相似度，判断待检测图像I^det是否存在印刷缺陷，可以有效地检测印刷品中存在的缺陷，提高了检测性能，训练印刷缺陷检测模型时不需要人工标注，极大地降低了训练成本，使用时不需要专业人员进行调试，提高了易用性。

Description

印刷缺陷检测模型及印刷缺陷检测方法

技术领域

本发明涉及人工智能领域，具体涉及一种印刷缺陷检测模型及印刷缺陷检测方法。

背景技术

印刷缺陷检测属于工业缺陷检测领域的一个分支，与其他工业缺陷检测问题相同，印刷缺陷检测的目标同样是希望通过机器视觉技术实现印刷产品质检的自动化，达到降低人工成本、提高检测效率与精度的效果。印刷缺陷检测的特殊之处在于，印刷产品的缺陷具有内容相关性，即缺陷的种类、特征会随着印刷内容的改变而改变。

现有的印刷缺陷检测技术通常采用待检测图像与模板图像对比的思路。在现有技术中，以是否采用深度学习技术为标准，又可以分为基于传统图像处理的技术和基于深度学习的技术，二者的主要差异在于进行图像对比的空间不同，基于传统图像处理的技术在原始图像空间进行对比，即像素空间；基于深度学习的技术在高维特征空间进行对比，即语义空间。从检测性能来看，后者明显优于前者，但在通用性、利用成本等方面，基于传统图像处理的技术依旧具有优势。因此，可以说二者各有优劣。

申请公布号为CN111709909A的发明专利公开了一种基于深度学习的通用印刷缺陷检测方法及其模型，该方案存在的缺陷为：由于像素分类模块输出的是像素级的预测值，并且采用交叉熵函数作为损失函数。因此，为了完成训练必须得到像素级的人工标注，即必须为原图的各个像素标注是否为缺陷，导致训练成本过高。

申请公布号为CN110956630A的发明专利公开了一种平面印刷缺陷检测方法、装置以及系统，该方案存在的缺陷为：图像预处理、图像配准、差值图像计算与分析三个步骤分环环相扣，只能存在极小的误差，导致鲁棒性不好，在利用时需要专业人员进行调试。图像配准、差值图像计算等步骤都在原图上进行，因为光照条件、机械误差等因素的存在，往往难以保证成像质量的稳定，所以容易导致配准效果不佳等问题，进而影响检测结果。在利用时，该技术需要专业人员根据实际情况对大量参数进行调试，费时费力，一旦调试结果不理想，检测性能就会大打折扣，易用性较差。

发明内容

本发明实施例提供了一种印刷缺陷检测模型及检测方法，用以解决现有技术存在的缺陷。

为了实现上述目的，本发明实施例提供的印刷缺陷检测模型及检测方法包括以下技术方案：

第一方面，本发明实施例提供的印刷缺陷检测模型包括：

提取模块，包括2个结构相同的多尺度骨架网络，被配置为同时提取参考图像I^ref及待检测图像I^det对应的多个语义特征图；

计算模块，被配置为基于多尺度注意力机制、所述参考图像I^ref对应的多个语义特征图及所述待检测图像I^det对应的多个语义特征图，计算所述参考图像I^ref与所述待检测图像I^det之间的相似度；

所述计算模块，还被配置为根据所述相似度，判断所述待检测图像I^det是否存在印刷缺陷。

作为第一方面一个优选的实施方式，所述多尺度骨架网络结构包括多个卷积单元、多个残差单元、多个空洞卷积单元和多个上采样单元。

第二方面，本发明实施例提供的利用第一方面所述的印刷缺陷检测模型进行印刷缺陷检测的方法包括以下步骤：

S1利用2个结构相同的多尺度骨架网络，同时提取参考图像I^ref及待检测图像I^det对应的多个语义特征图；

S2基于多尺度注意力机制、所述参考图像I^ref对应的多个语义特征图及所述待检测图像I^det对应的多个语义特征图，计算所述参考图像I^ref与所述待检测图像I^det之间的相似度；

S3根据所述相似度，判断所述待检测图像I^det是否存在印刷缺陷。

作为第二方面一个优选的实施方式，利用2个结构相同的多尺度骨架网络，同时提取参考图像I^ref及待检测图像I^det对应的多个语义特征图包括：

S101，将所述参考图像I^ref依次输入由多个卷积单元和多个残差单元组成的第一序列模块Seq₁及由多个卷积单元和多个残差单元组成的第二序列模块Seq₂，分别得到与所述参考图像I^ref不同分辨率的两个语义特征图。

作为第二方面一个优选的实施方式，在分别得到与所述参考图像I^ref不同分辨率的两个语义特征图之后，所述方法还包括：

S102，将两个所述不同分辨率的语义特征图中的一个语义特征图依次输入所述多尺度骨架网络中空洞率互不相同的多个空洞卷积单元，得到第一语义特征图集合。

作为第二方面一个优选的实施方式，在得到第一语义特征图集合之后，所述方法还包括：

S103，分别将所述第一语义特征图集合中的各个语义特征图依次输入所述多尺度骨架网络中的第一上采样单元和第二上采样单元，分别得到与所述参考图像I^ref分辨率相同的多个语义特征图，生成第二语义特征图集合。

作为第二方面一个优选的实施方式，利用2个结构相同的多尺度骨架网络，同时提取参考图像I^ref及待检测图像I^det的语义特征图包括：

针对待检测图像I^det，重复执行第一方面中的步骤S101-S103，生成第三语义特征图集合。

作为第二方面一个优选的实施方式，所述计算所述参考图像I^ref与所述待检测图像I^det之间的相似度包括：

基于多尺度注意力机制，分别计算所述第二语义特征图集合中的各个语义特征图与所述第三语义特征图集合中相同尺度的语义特征图之间的余弦相似度，得到多个余弦相似度；

使用注意力权重对多个所述余弦相似度加权求和，得到参考图像I^ref与待检测图像I^det之间的相似度。

作为第二方面一个优选的实施方式，所述第二语义特征图集合中语义特征图中语义特征图与所述第三语义特征图集合中语义特征图的数量相同且尺度一一对应相同。

第三方面，本发明实施例提供的对第一方面所述的印刷缺陷检测模型进行自监督训练的方法包括以下步骤：

S201，从训练样本中选取N个无缺陷图像，记为{I₁,I₂,…I_N}。

S202，将N个所述无缺陷图像中的一个图像划分为像素为M×M的图像块，得到第一图像块集合

其中，h、w分别为无缺陷图像的宽和高。

S203，从第一图像块集合中随机选择T个图像块，分别对T个所述图像块进行变换，得到变换后的T个图像块。

S204，将变换后的所述T个图像块与所述第一图像块集合I^k中未变换的图像块相结合，得到第二图像块集合I^k。

S205，根据T个所述图像块的变换情况，得到相应的变换矩阵

S206，将所述第一图像块集合I^k及所述第二图像块集合I^k同时输入所述印刷缺陷检测模型，得到第一图像块I^k对应的无缺陷图像及第二图像块I^k对应的缺陷图像之间的相似度。

S207，对所述相似度进行划分，得到相似度集合O^k。

S208，基于V^k和O^k，分区域计算所述印刷缺陷检测模型的损失L。

S209，基于损失L，利用反向传播算法对所述印刷检测模型的各个参数进行更新。

S2010，重复上述步骤S202-S209，直至所述印刷检测模型收敛。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述第二方面或第三方面所述的方法。

第五方面，本发明实施例提供了一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述第二方面或第三方面所述的方法。

本发明实施例提供的印刷缺陷检测模型及印刷缺陷检测方法具有以下有益效果：

(1)提出了一种可用于印刷缺陷检测的深度学习模型，该模型经过海量样本训练后，可以有效地检测印刷品中存在的缺陷，提高了检测性能；

(2)提出了一种用于印刷缺陷检测模型的自监督训练方法，该方法使得训练印刷缺陷检测模型时不需要人工标注，极大地降低了训练成本；

(3)利用自监督训练方法，降低了训练印刷缺陷检测模型时对数据的要求，使得模型可以从更广泛的样本中学习，因此训练后的印刷缺陷检测模型具有较好的自适应性，使用时不需要专业人员进行调试，提高了易用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要利用的附图作简单介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的印刷缺陷检测模型结构示意图。

图2为本发明实施例提供的印刷缺陷检测模型中多尺度骨架网络结构示意图。

图3为本发明实施例提供的印刷缺陷检测的方法流程示意图。

图4为本发明实施例提供的对印刷缺陷检测模型进行自监督训练的方法流程示意图。

图5为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

如图1所示，本发明实施例提供的印刷缺陷检测模型包括提取模块和计算模块，其中：

提取模块包括2个结构相同的多尺度骨架网络，被配置为提取参考图像I^ref及待检测图像I^det对应的多个语义特征图。

具体地，如图2所示，各个多尺度骨架网络均包括5个卷积单元(Conv(64，3，1)，Conv(64，3，2)，Conv(128，3，2)，Conv(256，3，2)，Conv(512，3，2))、15个残差单元(1个ResBlock(64)，2个ResBlock(128)，4个ResBlock(256)，8个ResBlock(512))、6个上采样单元(6个UpBlock(4,128))和3个空洞卷积单元(DCONV(128,3,1,1)，DCONV(128,3,1,6)，DCONV(128,3,1,12))。

具体地，各个卷积单元由一个卷积层(Convolutional，简称Conv)、一个批归一化层(Batch Normalization，简称BN)和一个漏式整流线性单元(Leaky Rectified LinearUnit，简称LeakyReLU)激活函数组成。Conv(kn，ks，s)包括三个关键参数：kn、ks及s，其中，kn表示卷积核个数、ks表示卷积核大小、s表示步长。用Conv(kn，ks，s)表示卷积单元。

具体地，空洞卷积单元与卷积单元类似，不同之处是空洞卷积层的第4个参数d表示空洞率。用DCONV(kn,ks,s,d,A)表示一个完整的空洞卷积单元，其中，A为LeakyReLU激活函数。

具体地，各个残差单元包括两个卷积单元和一个跳跃结构。用ResBlock(c)表示残差单元。其中，各个残差单元的运算过程如下：

X_tmp＝CONV(c/2,1,1)(X)；

X_tmp＝CONV(c,3,1)(X_tmp)；

X_out＝LeakyReLU(X+X_tmp)。

其中，c是残差单元中和两个卷积单元卷积核个数相关的变量(第一个卷积单元有c/2个卷积核、第二个卷积单元有c个卷积核)，X表示输入变量，X_tmp表示中间变量，X_out表示输出变量。

具体地，上采样单元由一次双线性插值、两个卷积单元和一个可选的跳跃结构组成。根据是否利用跳跃结构，上采样单元的运算过程可以分为以下两种情况：

利用跳跃结构时，上采样单元的运算过程如下：

X_tmp＝Bilinear(sf)(X)；

X_tmp＝CONV(c,3,1)(X_tmp)；

X_tmp＝X_tmp+X_skip；

X_out＝CONV(c,1,1)(X_tmp)。

其中，X_skip为跳跃结构的输入，sf为上采样倍数，Bilinear(sf)为双线性插值函数，c为X_skip的通道数。

不利用跳跃结构时，运算过程如下：

X_tmp＝Bilinear(sf)(X)；

X_tmp＝CONV(c,3,1)(X_tmp)；

X_out＝CONV(c,1,1)(X_tmp)。

以上两种情况都称为上采样过程，用UpBlock(sf,c)表示一个完整的上采样单元。

计算模块被配置为基于多尺度注意力机制、所述参考图像I^ref对应的多个语义特征图及所述待检测图像I^det对应的多个语义特征图，计算参考图像与待检测图像之间的相似度。

计算模块还被配置为根据该相似度，判断待检测图像I^det是否存在印刷缺陷。

实施例2

如图3所示，本发明实施例提供的印刷缺陷检测方法包括以下步骤：

S101，利用2个结构相同的多尺度骨架网络，同时提取参考图像I^ref及待检测图像I^det对应的多个语义特征图。

可选地，该步骤具体包括：

S1011，将所述参考图像I^ref依次输入由多个卷积单元和多个残差单元组成的第一序列模块Seq₁及由多个卷积单元和多个残差单元组成的第二序列模块Seq₂，分别得到与所述参考图像I^ref不同分辨率的两个语义特征图。

具体地，通过步骤

得到与参考图像I^ref不同分辨率的两个语义特征图

及

可选地，在分别得到与参考图像I^ref不同分辨率的两个语义特征图之后，该方法还包括：

S1012，将两个所述不同分辨率的语义特征图中的一个语义特征图依次输入多尺度骨架网络中空洞率互不相同的多个空洞卷积单元，得到第一语义特征图集合。

具体地，将语义特征图

依次输入空洞率分别为1、6、12的空洞卷积单元得到第一语义特征图集合，即三种不同感受野的语义特征图，具体步骤如下：

可选地，在得到第一语义特征图集合之后，该方法还包括：

S1013，分别将多个所述第一语义特征图中的个语义特征图依次输入所述多尺度骨架网络中的第一上采样单元及第二上采样单元，分别得到与参考图像I^ref分辨率相同的多个语义特征图，生成第二语义特征图集合。

可选地，所述第二语义特征图集合中语义特征图与所述第三语义特征图集合中语义特征图的数量相同且尺度一一对应相同。具体地，第一上采样单元利用跳跃结构，跳跃结构的输入为特征图

步骤如下：

F_s ^ref＝UpBlock(4,128)(F_s ^ref)；

F_l ^ref＝UpBlock(4,128)(F_l ^ref)。

可选地，步骤S101具体还包括：

针对待检测图像I^det，重复执行步骤S1011-S1013，生成第三语义特征图集合

可选地，利用2个结构相同的多尺度骨架网络，同时提取参考图像I^ref及待检测图像I^det的语义特征图包括：

S102，基于多尺度注意力机制、参考图像I^ref对应的多个语义特征图与待检测图像I^det对应的多个语义特征图，计算参考图像I^ref与待检测图像I^det之间的相似度。

可选地，步骤S102具体包括：

S1021，基于多尺度注意力机制，分别计算所述第二语义特征图集合中的各个语义特征图与所述第三语义特征图集合中相同尺度的语义特征图之间的余弦相似度，得到多个余弦相似度。

具体地，计算公式如下：

式(1)中，|| ||₂为向量求模函数，

分别表示参考图像I^ref和待检测图像I^det相同尺度的语义特征图的第i行j列的特征向量，S_i,j表示该位置对应特征向量间的余弦相似度。

S1022，使用注意力权重对步骤S1021中得到的多个余弦相似度加权求和，得到参考图像I^ref与待检测图像I^det之间的相似度。

具体地，根据公式O_i,j＝w₀s_s,i,j+w₁s_m,i,j+w₂s_l,i,j，计算参考图像I^ref与待检测图像I^det之间的相似度。计算公式如下：

w＝Softmax(CONV(3,1,1)(m)) (2)

式(2)中，h、w和c分别代表参考图像I^ref的宽、高和通道数，c的值为128，m、w分别表示长度为6和3的向量，其中，

S103，根据该相似度，判断该待检测图像I^det是否存在印刷缺陷。

具体地，该步骤包括：

相似度的值为在-1和1之间，-1表示最不相似，1表示最相似。当相似度小于0.5时，则代表待检测图像I^det与参考图像I^ref存在差异，即待检测图像I^det存在缺陷。

实施例3

如图4所示，本发明实施例提供了一种对印刷缺陷检测模型进行自监督训练的方法，该方法包括以下步骤：

S201，从训练样本中选取N个无缺陷图像，记为{I₁,I₂,…I_N}。

S202，将N个无缺陷图像中的一个图像划分为像素为M×M的图像块，得到第一图像块集合

其中，h、w分别为无缺陷图像的宽和高。

具体地，第一图像块集合组成了一个无缺陷图像。

S203，从第一图像块集合中随机选择T个图像块，分别对T个图像块进行变换，得到变换后的T个图像块。

具体地，变换方法采用以下几种方法中的随机一种：随机旋转、随机旋转与叠加相结合、随机平移、随机平移与叠加相结合、均分后再打乱、均分后再打乱与叠加相结合、随机颜色变换，其中，叠加表示在前一种变换方法的基础上在将原图像块与变换图像块相叠加，叠加权重随机。

S204，将变换后的T个图像块与第一图像块集合I^k中未变换的图像块相结合，得到第二图像块集合I^k。

具体地，第二图像块集合组成了与第一图像块集合对应的存在缺陷的图像，以生成相应的训练样本。通过该方式，可以随机生成不同的训练样本，方便后续对印刷缺陷检测模型进行自监督训练。

S205，根据T个图像块的变换情况，得到相应的变换矩阵

具体地，当图像块存在变换时，将相应的变化矩阵中元素取值为-1，否则取值为1。

S206，将第一图像块集合I^k及第二图像块集合I^k同时输入实施例1中所述的印刷缺陷检测模型，得到第一图像块I^k对应的无缺陷图像及第二图像块I^k对应的缺陷图像之间的相似度。

S207，对该相似度进行划分，得到相似度集合O^k。

具体地，采用与步骤S202相同的方法对该相似度进行划分，得到相似度集合

S208，基于V^k和O^k，分区域计算该印刷缺陷检测模型的损失L。

具体地，损失L的计算公式如下：

其中，Mean()为求取平均值的函数。

S209，基于损失L，利用反向传播算法对该印刷检测模型的各个参数进行更新。

S2010，重复上述步骤S202-S209，直至该印刷检测模型收敛。

实施例4

图5是本发明一示例性实施例提供的电子设备的结构。如图5所示，该电子设备可以是第一设备和第二设备中的任一个或两者、或与它们独立的单机设备，该单机设备可以与第一设备和第二设备进行通信，以从它们接收所采集到的输入信号。图5图示了根据本发明公开实施例的电子设备的框图。如图5所示，电子设备包括一个或多个处理器401和存储器402。

处理器401可以是中央处理单元(CPU)或者具有渗透数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。

存储器402可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器401可以运行所述程序指令，以实现上文所述的被公开的各个实施例的软件程序的对历史变更记录进行信息挖掘的方法以及/或者其他期望的功能。在一个示例中，电子设备还可以包括：输入装置403和输出装置404，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

此外，该输入装置403还可以包括例如键盘、鼠标等等。

该输出装置404可以向外部输出各种信息。该输出设备404可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图5中仅示出了该电子设备中与本发明公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备还可以包括任何其他适当的组件。

实施例5

除了上述方法和设备以外，本发明公开的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本发明公开各种实施例的渗透数据标注、封装及获取方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本发明公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本发明公开各种实施例的渗透数据标注、封装及获取方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本发明公开的基本原理，但是，需要指出的是，在本发明公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本发明公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本发明公开为必须采用上述具体的细节来实现。

本说明书中各个实施例均采用递进的方式描述，各个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本发明公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换利用。这里所利用的词汇“或”和“和”指词汇“和/或”，且可与其互换利用，除非上下文明确指示不是如此。这里所利用的词汇“诸如”指词组“诸如但不限于”，且可与其互换利用。

可能以许多方式来实现本发明公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明公开的方法的机器可读指令。因而，本发明公开还覆盖存储用于执行根据本发明公开的方法的程序的记录介质。

还需要指出的是，在本发明公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明公开的等效方案。提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者利用本发明公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本发明公开的范围。因此，本发明公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本发明公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

需要说明的是，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

Claims (10)

1.一种印刷缺陷检测模型，其特征在于，包括：

提取模块，包括2个结构相同的多尺度骨架网络，被配置为同时提取参考图像I^ref及待检测图像I^det对应的多个语义特征图；

计算模块，被配置为基于多尺度注意力机制、所述参考图像I^ref对应的多个语义特征图及所述待检测图像I^det对应的多个语义特征图，计算所述参考图像I^ref与所述待检测图像I^det之间的相似度；

所述计算模块，还被配置为根据所述相似度，判断所述待检测图像I^det是否存在印刷缺陷。

2.根据权利要求1所述的印刷缺陷检测模型，其特征在于：

所述多尺度骨架网络结构包括多个卷积单元、多个残差单元、多个空洞卷积单元和多个上采样单元。

3.一种利用权利要求1所述的印刷缺陷检测模型进行印刷缺陷检测的方法，其特征在于，包括以下步骤：

S1利用2个结构相同的多尺度骨架网络，同时提取参考图像I^ref及待检测图像I^det对应的多个语义特征图；

S2基于多尺度注意力机制、所述参考图像I^ref对应的多个语义特征图及所述待检测图像I^det对应的多个语义特征图，计算所述参考图像I^ref与所述待检测图像I^det之间的相似度；

S3根据所述相似度，判断所述待检测图像I^det是否存在印刷缺陷。

4.根据权利要求3所述的印刷缺陷检测的方法，其特征在于，利用2个结构相同的多尺度骨架网络，同时提取参考图像I^ref及待检测图像I^det对应的多个语义特征图包括：

将所述参考图像I^ref依次输入由多个卷积单元和多个残差单元组成的第一序列模块Seq₁及由多个卷积单元和多个残差单元组成的第二序列模块Seq₂，分别得到与所述参考图像I^ref不同分辨率的两个语义特征图。

5.根据权利要求4所述的印刷缺陷检测的方法，其特征在于，在分别得到与所述参考图像I^ref不同分辨率的两个语义特征图之后，所述方法还包括：

将两个所述不同分辨率的语义特征图中的一个语义特征图依次输入所述多尺度骨架网络中空洞率互不相同的多个空洞卷积单元，得到第一语义特征图集合。

6.根据权利要求5所述的印刷缺陷检测的方法，其特征在于，在得到第一语义特征图集合之后，所述方法还包括：

分别将所述第一语义特征图集合中的各个语义特征图依次输入所述多尺度骨架网络中的第一上采样单元和第二上采样单元，分别得到与所述参考图像I^ref分辨率相同的多个语义特征图，生成第二语义特征图集合。

7.根据权利要求6所述的印刷缺陷检测的方法，其特征在于，利用2个结构相同的多尺度骨架网络，同时提取参考图像I^ref及待检测图像I^det的语义特征图包括：

针对待检测图像I^det，重复执行权利要求4-6中的步骤，生成第三语义特征图集合。

8.根据权利要求7所述的印刷缺陷检测的方法，其特征在于，所述计算所述参考图像I^ref与所述待检测图像I^det之间的相似度包括：

基于多尺度注意力机制，分别计算所述第二语义特征图集合中的各个语义特征图与所述第三语义特征图集合中相同尺度的语义特征图之间的余弦相似度，得到多个余弦相似度；

使用注意力权重对多个所述余弦相似度加权求和，得到参考图像I^ref与待检测图像I^det之间的相似度。

9.根据权利要求8所述的印刷缺陷检测方法，其特征在于：

所述第二语义特征图集合中语义特征图中语义特征图与所述第三语义特征图集合中语义特征图的数量相同且尺度一一对应相同。

10.一种对权利要求1或2所述的印刷缺陷检测模型进行自监督训练的方法，其特征在于，包括：

S201，从训练样本中选取N个无缺陷图像，记为{I₁,I₂,…I_N}；

S202，将N个所述无缺陷图像中的一个图像划分为像素为M×M的图像块，得到第一图像块集合

其中，h、w分别为无缺陷图像的宽和高；

S203，从第一图像块集合中随机选择T个图像块，分别对T个所述图像块进行变换，得到变换后的T个图像块；

S204，将变换后的所述T个图像块与所述第一图像块集合I^k中未变换的图像块相结合，得到第二图像块集合I^k；

S205，根据T个所述图像块的变换情况，得到相应的变换矩阵

S206，将所述第一图像块集合I^k及所述第二图像块集合I^k同时输入所述印刷缺陷检测模型，得到第一图像块I^k对应的无缺陷图像及第二图像块I^k对应的缺陷图像之间的相似度；

S207，对所述相似度进行划分，得到相似度集合O^k；

S208，基于V^k和O^k，分区域计算所述印刷缺陷检测模型的损失L；

S209，基于损失L，利用反向传播算法对所述印刷检测模型的各个参数进行更新；

S2010，重复上述步骤S202-S209，直至所述印刷检测模型收敛。

Images