CN111709909A - 基于深度学习的通用印刷缺陷检测方法及其模型 - Google Patents

Abstract

本发明公开了一种基于深度学习的通用印刷缺陷检测方法，包括以下步骤：S1：获取缺陷印刷图像和对应的模板图像，进行初匹配；S2：对获取的缺陷图像进行人工标注，生成训练样本集，并对生成的训练样本集进行预处理；S3：搭建基于深度学习的卷积神经网络；S4：利用训练样本集离线训练深度学习算法；S5：将待检测后的缺陷图像和模板图像输入至预先训练好的印刷缺陷检测模型中进行检测，得出检测结果。还公开了一种基于深度学习的通用印刷缺陷检测模型。本发明基于深度学习方法建立深度卷积神经网络，通过印刷缺陷检测模型进行印刷缺陷检测，显著提高了印刷缺陷的检测速度和效率，该方法模型简洁，成本低，检测速度快，通用性强。

Description

基于深度学习的通用印刷缺陷检测方法及其模型

技术领域

本发明涉及工业检测领域，特别是涉及一种基于深度学习的通用印刷缺陷检测方法及其模型。

背景技术

随着印刷技术的普及及其快速的更新换代，工业产线的印刷产品，有着极大的产量需求。由于印刷生产的工艺不成熟，印刷产品上通常存在各种缺陷，例如缺印、漏印和多印等缺陷，而这些存在缺陷的印刷产品会影响用户的使用体验，因而是需要筛选剔除，禁止这些瑕疵产品流入市场。尽管过去几十年中，印刷技术生产水平不断提高，但是对印刷产品的缺陷检测仍然依靠低效率的人工筛选的方法和传统的图像处理的方法。基于人工筛选的印刷缺陷检测方法效率低下，并且存在人的主观因素影响，使得缺陷检测标准不统一，而且提高了厂商的雇佣成本。基于图像处理的传统方法则要求模板图像和待检图像非常精确的配准，才能较好地进行缺陷检测，而且对光照变化也不具有鲁棒性。否则性能很差，不能满足实际应用的要求，印刷缺陷检测成为制约印刷产品生产自动化的重要环节。

随着深度学习技术的快速发展，使得传统图像处理算法无法解决的难题相继得到解决，使用传统图像处理方法进行缺陷检测具有很大的局限性，因为模板图像和待检图像进行非常精确的配准是很难实现的，这使得传统基于像素比较的方法有较高的误检，并且待检图像和模板图像因为采集图片时的环境变化，可能存在图像形变、图像亮度变化等情况，也会造成传统图像处理方法的误检。

因此亟需提供一种新型的印刷缺陷检测方法来解决上述问题。

发明内容

本发明所要解决的技术问题是提供一种基于深度学习的通用印刷缺陷检测方法及其模型，能够显著提高印刷缺陷的检测速度和效率。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于深度学习的通用印刷缺陷检测方法，包括以下步骤：

S1：获取缺陷印刷图像和对应的模板图像，进行初匹配；

S2：对获取的缺陷图像进行人工标注，生成训练样本集，并对生成的训练样本集进行预处理；

S3：搭建基于深度学习的卷积神经网络；

S4：利用训练样本集离线训练深度学习算法；

S5：将待检测后的缺陷图像和模板图像输入至预先训练好的印刷缺陷检测模型中进行检测，得出检测结果。

在本发明一个较佳实施例中，在步骤S1中，初匹配的具体步骤包括：

采用平均绝对差算法，选取缺陷图像印刷定位点位置局部图像块，遍历模板图像对应位置上下左右50像素以内的相同尺寸的图像块，使用平均绝对差公式计算其与定位点局部图像块的相似度；

找到与定位点局部图像块最相似的位置作为最终匹配结果，根据偏移量调整缺陷图像的位置，完成初匹配。

在本发明一个较佳实施例中，在步骤S2中，人工标注为生成一张与缺陷图像同样大小的的二值图像，对处于缺陷位置的像素值及不是缺陷位置的像素值分别进行标记，得到标签图片。

在本发明一个较佳实施例中，在步骤S2中，预处理的具体步骤包括：

随机对所述训练样本集进行上下左右翻转，随机变换图像的对比度，对比度值取0.8到1.2的随机数，对得到的训练图片进行归一化处理。

在本发明一个较佳实施例中，步骤S3的具体步骤包括：

S301：搭建共享参数的双分支特征提取模块；

S302：搭建特征互相关层模块；

S303：搭建像素分类模块。

进一步的，所述双分支特征提取模块的两个分支采用相同的特征提取网络结构，且参数保持一致。

更进一步的，所述双分支特征提取网络结构采用resnet18的前17个卷积层单元，每个卷积层单元由卷积层、批归一化层和线性整流激活函数构成。

进一步的，所述特征互相关层模块采用互相关算子计算两个输入特征的局部区域的相关性，从两个输入特征图中分别取一个局部特征块，计算相关系数，作为当前位置的输出值。

在本发明一个较佳实施例中，步骤S5的具体步骤包括：

将待检测的印刷图片和模板图片进行初匹配，初匹配后进行图像归一化处理，随后送入训练好的印刷检测模型中进行检测，网络输出0到1的概率图，根据预设的阈值，概率大于阈值的表示该位置为缺陷，概率小于阈值的表示该位置不是缺陷，得到检测的结果。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种基于深度学习的通用印刷缺陷检测模型，主要包括：

双分支特征提取网络，包括两个具有相同网络结构且参数保持一致的分支，分别用于提取待检缺陷印刷图片和对应模板图片的特征；

特征互相关层模块，采用互相关算子计算所述双分支特征提取网络提取的两个输入特征的局部区域的相关性；

像素分类模块，用于对所述特征互相关层模块计算后的特征中的每个像素，输出一个判断为缺陷的概率。

本发明的有益效果是：

(1)本发明颠覆传统方法，使用基于深度学习的方法，建立深度卷积神经网络使用大量标注数据进行训练得到印刷缺陷检测模型，通过该缺陷检测模型进行印刷缺陷检测，该方法模型简洁，成本低，检测速度快；

(2)本发明采用共享参数的双分支网络提取缺陷图像和模板图像的特征，并使用互相关算子对两个特征进行互相关运算，实现了在高维特征层的比对，相比于现有基于像素级的比对方法，该方法无需待检图像和模板图像精确配准，并且对光照变化具有鲁棒性，极大的减少误检；

(3)本发明实现了基于模板比对的缺陷检测网络，该方法只关注模板和缺陷图像的差异，而无需考虑图像内容，因此针对不同模板，无需重新训练，具有很强的通用性。

附图说明

图1是本发明基于深度学习的通用印刷缺陷检测方法的流程图；

图2是所述基于深度学习的通用印刷缺陷检测模型的结构框图；

图3是所述双分支特征提取模块的网络示意图；

图4是所述像素分类模块的网络示意图。

具体实施方式

下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。

请参阅图1，本发明实施例包括：

一种基于深度学习的通用印刷缺陷检测方法，包括以下步骤：

S1：获取缺陷印刷图像和对应的模板图像，进行初匹配；

初匹配是为了解决获取的印刷图像和模板图像存在少量偏移的问题。初匹配算法采用平均绝对差算法，选取缺陷图像印刷定位点位置局部图像块，其大小为M×N，遍历模板图对应位置上下左右50像素以内的相同尺寸的图像块，使用平均绝对差公式计算相似度；找到与最相似的位置作为最终匹配结果，根据偏移量调整缺陷图像的位置，完成初匹配。其中平均绝对差算法的公式为：

其中，在模板图像中，以(i，j)为左上角，取M×N大小的子图，计算其与定位点局部图像块的相似度；s和t表示图像块当前像素的坐标位置(s，t)，每次匹配图像块，都要遍历该M×N大小的图像所有像素，也就是s从1到m，t从1到n。遍历对应模板图(i，j)位置50像素距离以内的子图，在所有能够取到的子图中，找到与模板图像最相似的子图即平均绝对差最小的子图，作为最终匹配结果。

S2：对获取的缺陷图像进行人工标注，生成训练样本集，并对生成的训练样本集进行预处理；

对获取的缺陷图像进行人工标注，是指生成一张与缺陷图像同样大小的的二值图像，将处于缺陷位置的像素值标记为1，不是缺陷位置的像素值标记为0，得到标签图片。

生成训练样本集的具体步骤包括随机选取5000对图像作为训练集，3000对图像作为验证集。

预处理的步骤包括以0.5的概率值随机对训练样本集进行上下左右翻转，随机变换图像的对比度，对比度值取0.8到1.2的随机数，对训练图片进行归一化处理，归一化方法为对所有像素减去128再除以128，归一化成平均值为0，标准差为1；

S3：搭建基于深度学习的卷积神经网络，具体步骤包括：

S301：搭建共享参数的双分支特征提取模块；

结合图3，特征提取网络采用resnet18的前17个卷积层单元，每个卷积层单元由卷积层、批归一化层和线性整流激活函数构成。第一层卷积核大小为7*7，卷积核数量为64；第二层到第第五层卷积核大小为3*3，卷积核数量为64；第六层到第九层的卷积核大小为3*3，卷积核数量为128；第十层到第十三层的卷积核大小为3*3，卷积核数量为256；第十四层到第十七层的卷积核大小为3*3，卷积核数量为512。双分支特征提取模块的两个分支都采用该网络结构，并且参数保持一致。

S302：搭建特征互相关层模块；

互相关算子计算两个输入特征的局部区域的相关性，从待检特征图中取C维的向量，分别和对应位置模板特征图中范围在k以内的向量进行相关系数的计算，作为当前位置的输出值。相关系数计算公式为：

其中f₁和f₂是两张输入的特征图，大小都是W*H*C，比较的是在f₁上x₁位置和f₂上x₂位置的C维特征向量，匹配的最大位移为k，针对待检图像特征图上的每个C维特征向量，只会对范围为k以内的对应模板图像特征的特征向量进行匹配；总共(2k+1)²次计算，得到W*H*(2k+1)²的互相关特征。也就是说，对于f1中的x1，在f2中，找出对应位置的点和该点上下左右k距离以内的点，总共(2k+1)*(2k+1)个点，和x1分别用上述公式计算相关系数。对每个x1，算出来(2k+1)*(2k+1)个相关系数。本实例中，k设置为2。

S303：搭建像素分类模块；

结合图4，像素分类模块包括三层卷积单元和最后一个卷积层，每个卷积层单元由卷积层和批归一化层和线性整流激活函数构成，第一层卷积核大小为3*3，卷积核数量为256；第二层卷积核大小为3*3，卷积核数量为128；第三层卷积核大小为3*3，卷积核数量为128；最后一个卷积层卷积核大小为1*1，卷积核数量为1，该卷积层后没有批归一化层和线性整流激活函数，而是使用sigmoid激活函数，输出0到1之间的浮点数作为缺陷预测的置信度；经过卷积网络后的输出，再经过sigmoid激活函数，得到的结果使用损失函数计算损失值。网络训练的损失函数采用交叉熵函数，交叉熵函数的数学公式如下：

其中，t是标签值，y是网络预测值。损失函数为所述像素分类模块输出的结果与人工标注图片的标签进行比较的函数，用来度量预测值与真实值之间的差异。

S4：训练样本集离线训练深度学习算法的方法，具体步骤包括：

设置学习率为0.001，设置迭代次数为10000，每一次迭代随机从训练样本中选16组数据作为输入，设置学习策略为SGD随机梯度下降方法进行训练；

S5：将待检测后的缺陷图像和模板图像输入至预先训练好的印刷缺陷检测模型中进行检测；具体步骤包括：

将待检测的印刷图片和模板图片进行初匹配，初匹配后进行图像归一化处理，即对每个像素减去128再除128，使得像素平均值为0，标准差为1，送入训练好的印刷检测模型中进行检测，网络输出0到1的概率图，根据预设的阈值，大于阈值的则设为1，表示该位置为缺陷，小于阈值的设为0，表示该位置不是缺陷，从而得到检测的结果；进一步的，阈值大小为0—1。

本发明采用共享参数的双分支网络提取缺陷图像和模板图像的特征，并使用互相关算子对两个特征进行互相关运算，实现了在高维特征层的比对，相比于现有基于像素级的比对方法，该方法无需待检图像和模板图像精确配准，并且对光照变化具有鲁棒性，极大的减少误检；本发明实现了基于模板比对的缺陷检测网络，该方法只关注模板和缺陷图像的差异，而无需考虑图像内容，因此针对不同模板，无需重新训练，具有很强的通用性。

参阅图2，一种基于深度学习的通用印刷缺陷检测模型，主要包括双分支特征提取网络、特征互相关层模块、像素分类模块。

所述双分支特征提取网络，包括两个具有相同网络结构且参数保持一致的分支，分别用于提取待检缺陷印刷图片和对应模板图片的特征；

所述特征互相关层模块，采用互相关算子计算所述双分支特征提取网络提取的两个输入特征的局部区域的相关性；

所述像素分类模块，用于对所述特征互相关层模块计算后的特征中的每个像素，输出一个判断为缺陷的概率。

该模型中各模块的具体内容参阅上述描述，此处不做赘述。

本实例中，深度学习算法利用开源深度学习框架tensorflow进行开发，并利用英伟达GPU加速网络训练和网络推断速度；本发明颠覆传统方法，使用基于深度学习的方法，建立深度卷积神经网络使用大量标注数据进行训练得到印刷缺陷检测模型，通过该缺陷检测模型进行印刷缺陷检测，该方法模型非常简洁，成本低，检测速度快，具有广阔的应用前景。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于深度学习的通用印刷缺陷检测方法，包括以下步骤：

S1：获取缺陷印刷图像和对应的模板图像，进行初匹配；

S2：对获取的缺陷图像进行人工标注，生成训练样本集，并对生成的训练样本集进行预处理；

S3：搭建基于深度学习的卷积神经网络；

S4：利用训练样本集离线训练深度学习算法；

S5：将待检测后的缺陷图像和模板图像输入至预先训练好的印刷缺陷检测模型中进行检测，得出检测结果。

2.根据权利要求1所述的基于深度学习的通用印刷缺陷检测方法，其特征在于，在步骤S1中，初匹配的具体步骤包括：

采用平均绝对差算法，选取缺陷图像印刷定位点位置局部图像块，遍历模板图像对应位置上下左右50像素以内的相同尺寸的图像块，使用平均绝对差公式计算其与定位点局部图像块的相似度；

找到与定位点局部图像块最相似的位置作为最终匹配结果，根据偏移量调整缺陷图像的位置，完成初匹配。

3.根据权利要求1所述的基于深度学习的通用印刷缺陷检测方法，其特征在于，在步骤S2中，人工标注为生成一张与缺陷图像同样大小的的二值图像，对处于缺陷位置的像素值及不是缺陷位置的像素值分别进行标记，得到标签图片。

4.根据权利要求1所述的基于深度学习的通用印刷缺陷检测方法，其特征在于，在步骤S2中，预处理的具体步骤包括：

随机对所述训练样本集进行上下左右翻转，随机变换图像的对比度，对比度值取0.8到1.2的随机数，对得到的训练图片进行归一化处理。

5.根据权利要求1所述的基于深度学习的通用印刷缺陷检测方法，其特征在于，步骤S3的具体步骤包括：

S301：搭建共享参数的双分支特征提取模块；

S302：搭建特征互相关层模块；

S303：搭建像素分类模块。

6.根据权利要求5所述的基于深度学习的通用印刷缺陷检测方法，其特征在于，所述双分支特征提取模块的两个分支采用相同的特征提取网络结构，且参数保持一致。

7.根据权利要求6所述的基于深度学习的通用印刷缺陷检测方法，其特征在于，所述双分支特征提取网络结构采用resnet18的前17个卷积层单元，每个卷积层单元由卷积层、批归一化层和线性整流激活函数构成。

8.根据权利要求5所述的基于深度学习的通用印刷缺陷检测方法，其特征在于，所述特征互相关层模块采用互相关算子计算两个输入特征的局部区域的相关性，从两个输入特征图中分别取一个局部特征块，计算相关系数，作为当前位置的输出值。

9.根据权利要求1所述的基于深度学习的通用印刷缺陷检测方法，其特征在于，步骤S5的具体步骤包括：

将待检测的印刷图片和模板图片进行初匹配，初匹配后进行图像归一化处理，随后送入训练好的印刷检测模型中进行检测，网络输出0到1的概率图，根据预设的阈值，概率大于阈值的表示该位置为缺陷，概率小于阈值的表示该位置不是缺陷，得到检测的结果。

10.一种基于深度学习的通用印刷缺陷检测模型，其特征在于，主要包括：

双分支特征提取网络，包括两个具有相同网络结构且参数保持一致的分支，分别用于提取待检缺陷印刷图片和对应模板图片的特征；

特征互相关层模块，采用互相关算子计算所述双分支特征提取网络提取的两个输入特征的局部区域的相关性；

像素分类模块，用于对所述特征互相关层模块计算后的特征中的每个像素，输出一个判断为缺陷的概率。

Images