CN111709936A - 一种基于多级特征比对的令纸缺陷检测方法 - Google Patents

Abstract

本发明涉及图像处理及令纸缺陷检测技术领域，特别地涉及一种基于多级特征比对的令纸缺陷检测方法，包括：步骤S1、训练特征提取模型：基于正常令纸样本图像并采用自编码器的方式对令纸样本图像的特征提取模型进行训练；步骤S2、建立多级特征字典：采用训练好的特征提取模型对大量正常令纸样本图像进行多级特征提取，获得各级特征向量，建立正常令纸样本图像的多级特征字典；步骤S3、令纸缺陷检测判定：应用特征提取模型提取待测令纸图像的多级特征向量并转变成特征码，比对待测令纸的多级特征码与多级特征字典中的特征码的欧氏距离，求出各个距离值后由缺陷判定模块来判断是否为有缺陷令纸，完成令纸的缺陷检测。

Description

一种基于多级特征比对的令纸缺陷检测方法

技术领域

本发明涉及图像处理及令纸缺陷检测技术领域，特别地涉及一种基于多级特征比对的令纸缺陷检测方法。

背景技术

所述令纸(Ream Paper)在造纸工业中是指一定数量单位完全相同的纸页，一般以500张完全相同的纸页为一令纸，即成令的纸张。例如在办公用纸上，普通的A4打印纸一包纸一般为500页装。令纸在造纸企业自动化生产流水线上都需要经过质检筛选，将有缺陷的令纸产品剔除出生产流水线队列并让合格的正常令纸进入下一步包装工序。

大型造纸企业的机械化和自动信息化生产水平在日益提高，但是令纸生产过程中由于来料、刀具、流水线各环节以及生产环境等一系列因素的影响会出现各种各样的缺陷，如：脏污、折皱、凸出、参差不齐、死纹、毛边等。这些缺陷的存在降低了纸品出厂的品质，对此造纸企业一般采用人工检查的方式来进行品质管理。但人工检查的方式抽检率低、准确性不高、实时性差、效率低、劳动强度大、受人工经验和主观因素的影响大，且工作重复、现场嘈杂、人员容易疲劳，无法对良品率做出有效统计，给信息化生产管理工作也带来很大的不便，检查的效果并不理想。

为了解决这个问题，部分造纸企业引入了令纸视觉检测系统，拍摄流水线上令纸的实时图像并进行一系列的图像处理操作(如：边缘检测、投影、阈值分割、纹理比对等)，从而找出有缺陷的令纸。但由于缺陷类别众多且表现各异，算法很难适应各种例外，以致较难达到实用的效果。除了上述传统的令纸视觉处理方式，基于神经网络的深度学习分类方法也在推广使用。由于令纸缺陷检测过程中缺陷的表现形式各种各样，缺陷大小尺度上跨度较大，要求分类模型具备较高的复杂度才能确保有能力进行区分，因此需要大量的令纸缺陷样本图像来进行模型训练。但工厂缺少有缺陷的令纸样本图像，需要耗费时间和精力来收集。在费时费力收集到大量令纸样本图像后仍然需要耗费更多的人力来进行令纸缺陷图像筛选和标注，另外，模型训练还涉及反复调参调优过程。这一系列困难也导致基于深度学习分类模型的令纸缺陷检测项目难以落地。

发明内容

针对上述问题，本发明提出了一种基于多级特征比对的令纸缺陷检测方法。本发明的技术方案同样基于深度学习模型，但是为了避免对大量令纸标注图像的依赖，通过采用品质合格的正常令纸样本图像来进行训练，让模型学习得到正常令纸样本图像的特征，考虑到正常令纸样本图像的表现也有一定的多样性，在技术方案中专门设定了正常令纸样本图像的多级特征码字典。

在具体检测时，待检测令纸图像通过特征提取模型提取得到的特征码与正常令纸样本图像的特征字典中的特征码进行比对，判断欧氏距离值，差异大的就是有缺陷令纸。

另外，深度学习模型中随着数据由网络低层向网络高层传递，特征平面不断缩小，所包含的信息也不断抽象，高层的特征包含更多全局信息，而低层的特征包含更多的局部细节信息，以致小尺度对象的特征信息不太容易在网络高层中表现出来。因此，考虑到令纸缺陷大小的尺度跨度较大，本发明技术方案中采用了多级特征提取和比对的方式。令纸中较大的缺陷通过高层的特征信息来检测发现；中等大小的缺陷通过中层特征信息来检测发现；较小的缺陷通过低层特征信息来检测发现，大、中、小缺陷兼顾，进而综合判断，因此需要建立正常令纸样本图像的多级特征码字典。

为实现上述目的，本发明提供的一种基于多级特征比对的令纸缺陷检测方法，具体包括以下的实施步骤：

步骤S1、训练特征提取模型：基于正常令纸样本图像并采用自编码器的方式对令纸样本图像的特征提取模型进行训练，并作为自编码器中的编码器部分，再相应添加解码器网络，与编码器部分串联形成一个自编码器；对自编码器输入正常令纸样本图像，让编码器部分学习正常令纸样本图像的特征表示，自编码器训练完成后去掉解码器网络部分，保留编码器部分即完成对特征提取模型的训练；

步骤S2、建立多级特征字典：采用训练好的特征提取模型对大量正常令纸样本图像进行多级特征提取，获得各级特征向量，特征向量在放入特征字典前统一进行归一化处理形成特征码，并对字典中的特征码进行聚类处理，建立正常令纸样本图像的多级特征字典；

步骤S3、令纸缺陷检测判定：通过工业高速高清摄像头采集待测令纸图像，应用特征提取模型提取待测令纸图像的多级特征向量并转变成特征码，采用欧氏距离的方法，在特征比对模块下将提取得到的待测令纸的多级特征码与多级特征字典中的特征码进行比对，求出各个距离值后由缺陷判定模块来判断是否为有缺陷令纸，完成令纸的缺陷检测。

本发明提供的技术方案，以反向的技术思维，降低了对大量的令纸缺陷样本图像来进行模型训练的依赖性，通过建立正常令纸样本图像的多级特征字典，以待测令纸的特征码与正常令纸样本的特征码进行比对，进而判别是否为有缺陷令纸。既节省了收集并标注大量有缺陷令纸图像时间和精力，也提高了技术方案实施落地的可行性，可靠性。

附图说明

图1是本发明令纸检测流程图；

图2是本发明自编码器结构示意图；

图3是本发明网络模块Block结构示意图；

图4是本发明特征向量在特征平面上的空间布局示意图；

图5是本发明特征提取模型网络示意图；

图6是本发明相同缩放比例下令纸缺陷尺寸跨度示意图。

具体实施方式

为了使本发明的目的及技术方案更加清晰，以下结合附图，对本发明技术方案作进一步清楚、完整地描述。应当理解，此处所描述的具体技术实施例仅仅用以解释本发明的技术方案，本领域技术人员在没有作出创造性劳动前提下所获得的其他实施例，应属于本发明的保护范围。

参照图1所示是本发明令纸检测流程图。本发明提供的一种基于多级特征比对的令纸缺陷检测方法，具体包括以下的实施步骤：

步骤S1、训练特征提取模型：基于正常令纸样本图像并采用自编码器的方式对令纸样本图像的特征提取模型进行训练，并作为自编码器中的编码器部分，再相应添加解码器网络，与编码器部分串联形成一个自编码器；对自编码器输入正常令纸样本图像，让编码器部分学习正常令纸样本图像的特征表示，自编码器训练完成后去掉解码器网络部分，保留编码器部分即完成对特征提取模型的训练。

参照图2所示为本发明自编码器结构示意图，训练完成后的编码器部分即为特征提取模型。

具体的，自编码器包含两部分：编码器和解码器，本发明直接采用特征提取模型的网络作为编码器，另外添加对应的解码器网络形成自编码器结构。解码器包含3个与Block对应的反卷积层以及与底层卷积网络对应的反卷积网络。

更具体的，所述特征提取模型是基于深度学习的特征提取模型，输入为令纸图像，输出为多个多级特征向量，令纸图像经过特征提取模块处理后将产生1个高层特征向量、4个中层特征向量、16个低层特征向量，特征提取模型还包括：

1)、基础的网络模块Block，参照图3所示为网络模块Block结构示意图，其包含了一个3x3的卷积和一个1x1的卷积，其中3x3卷积的步长为2，特征平面变小的同时特征通道数相应变大，即经过Block的处理后，特征图的大小变为原来的1/4，特征通道数变为原来的2倍；

2)、卷积网络由多层普通卷积层堆叠构成，用于提取底层初级特征信息，在该卷积网络之上放置3个Block块用于提取高、中、低三级特征，由于Block有特征抽象及降采样的过程，因此经过特征提取模块处理后将给出1个512维的高层特征向量、4个256维的中层特征向量、16个128维的低层特征向量。

参照图4所示为特征向量在特征平面上的空间布局示意图；图5所示为本发明特征提取模型网络示意图，向特征提取网络输入令纸图像，输出为多个多级特征向量。

本发明采用合格的正常令纸样本图像来训练自编码器，输入为原始正常令纸样本图像，输出为重构的正常令纸样本图像，损失函数为原始图像和重构图像之间的差值，loss函数的公式为：

其中，x_i表示第i个原图，x′_i表示第i个重构图，N为一系列图像的个数。

经过上述训练，编码器部分将学习到合格的正常令纸样本图像的表示特征，以完成特征提取模型网络的训练。

步骤S2、建立多级特征字典：采用训练好的特征提取模型对大量正常令纸样本图像进行多级特征提取，获得各级特征向量，特征向量在放入特征字典前统一进行归一化处理形成特征码，并对字典中的特征码进行聚类处理，建立正常令纸样本图像的多级特征字典。

具体的，所述多级特征字典是用于保存正常令纸样本的多级特征，在多级特征字典中将放入系列有代表性的正常令纸特征码，不同层级的特征向量在归一化处理形成特征码后，将被放入特征字典中的不同位置，产生的归一化参数也将保留在特征字典中用于对后续提取的特征向量进行归一化处理，并采用K-Means聚类方法对字典中保存的大量特征码进行聚类处理，取每一类的中心点作为最具代表性的正常令纸特征码。

具体的，为确保一个特征向量内不同维度上的特征能够平衡地发挥作用，需要对特征向量进行归一化处理。针对某一个具体层次的特征向量，其处理过程为：

首先，计算特征向量各维度的均值和方差，计算公式如下：

其中，μ_i为特征向量第i维的均值，σ_i为特征向量第i维的方差，T为该层次特征向量的总数，

为正常令纸图片第t个特征向量上的第i维特征值。

其次，将全部特征向量的所有维度都进行减均值除方差的操作，公式如下：

其中，M为该层次特征向量的维度，即高层特征向量维度为512，中层特征向量维度为256，低层特征向量维度为128。如此，所有的特征向量的每个维度都变成了均值为零且方差为1的特征量。

进一步的，对特征向量进行向量模长归一化处理，公式如下：

其中，f为特征向量，M为特征向量的维度，f′为向量模长归一化处理后的结果，也就是特征向量对应的特征码。

计算出系列特征码后，为了后续比对方便针对每级特征字典都做精简处理，需先设置字典大小，再采用聚类方法对特征字典中的特征样本进行聚类精简，精简后的多级特征字典将加快令纸缺陷的检测速度。

在深度学习模型中，随着数据由网络低层向网络高层传递，特征平面不断缩小，所包含的信息也不断抽象，高层的特征包含更多全局信息，而低层的特征包含更多的局部细节信息，以致小尺度对象的特征信息不太容易在网络高层中表现出来。

参照图6所示为本发明相同缩放比例下令纸缺陷尺寸跨度示意图，示意图中的令纸缺陷是采用相同缩放比例的情况下从令纸缺陷样本原图中截取的。

优选的，基于令纸缺陷大小的尺度跨度较大的情况，本发明技术方案中采用了多级特征提取和比对的方式。令纸中较大的缺陷通过高层的特征信息来检测发现；中等大小的缺陷通过中层特征信息来检测发现；较小的缺陷通过低层特征信息来检测发现，大、中、小缺陷兼顾，进而综合判断，因此需要建立正常令纸样本图像的多级特征码字典。

步骤S3、令纸缺陷检测判定：通过工业高速高清摄像头采集待测令纸图像，应用特征提取模型提取待测令纸图像的多级特征向量并转变成特征码，采用欧氏距离的方法，在特征比对模块下将提取得到的待测令纸的多级特征码与多级特征字典中的特征码进行比对，求出各个距离值后由缺陷判定模块来判断是否为有缺陷令纸，完成令纸的缺陷检测。

具体的，所述特征比对模块是用于计算待测令纸图像提取到的多级特征码与正常令纸样本图像的多级特征字典中保存的特征码的距离，每级每个待测令纸的特征码与多级特征字典中对应级别的所有正常令纸的特征码都计算距离，找出距离最小的m个，再求距离的平均值，该平均值即为该级特征码的距离，特征比对模块的输入为特征提取模型提取到的待测令纸的特征码和特征码层级信息以及正常令纸的多级特征字典信息，输出为待测令纸的特征码与字典中正常令纸的特征码计算出的距离。

具体的，所述缺陷判定模块是结合多级多个特征码的距离进行综合判断，给出是否为缺陷令纸的结论，具体包括以下步骤：

1)、特征比对模块给出的高、中、低三级特征码的距离值，令dL1为高层特征码的距离值，dL2＝Max{dL2i，0≤i≤3}为中层特征码的距离值，dL3＝Max{dL3i，0≤i≤15}为低层特征码的距离值；

2)、逐级判断是否有超过该级设定阈值的情况，如公式一、公式二、公式三所示：

dL1＞th1 公式一

dL2＞th2 公式二

dL3＞th3 公式三

其中，th1、th2和th3分别为高、中、低三级对应的缺陷判断阈值；

3)、如果出现超过阈值的情况则判断为有缺陷令纸，如果没有超过阈值则再计算一个综合距离值，计算方式见公式四：

d＝λ1*dL1+λ2*dL2+λ3*dL3 公式四

其中，d为综合距离值，λ1、λ2、λ3为平衡系数，求出综合距离后再根据设定的阈值进行判断，如公式五所示：

d＞th0 公式五

其中，th0为综合距离判断阈值；当d＞th0，则判定待测令纸为有缺陷令纸；当d≤th0，则为待测令纸为正常令纸。

本领域技术人员在知悉本发明技术方案说明书及实施例后，容易想到本公开的其他实施方案。应当理解本公开并不局限与上述描述及公开的实施例，在不脱离本公开的范围内进行的各种修改和改变，应包含在本公开要求保护的范围内。

Claims (5)

1.一种基于多级特征比对的令纸缺陷检测方法，其特征在于，包括以下的实施步骤：

S1、训练特征提取模型：基于正常令纸样本图像并采用自编码器的方式对令纸样本图像的特征提取模型进行训练，并作为自编码器中的编码器部分，再相应添加解码器网络，与编码器部分串联形成一个自编码器；对自编码器输入正常令纸样本图像，让编码器部分学习正常令纸样本图像的特征表示，自编码器训练完成后去掉解码器网络部分，保留编码器部分即完成对特征提取模型的训练；

S2、建立多级特征字典：采用训练好的特征提取模型对大量正常令纸样本图像进行多级特征提取，获得各级特征向量，特征向量在放入特征字典前统一进行归一化处理形成特征码，并对字典中的特征码进行聚类处理，建立正常令纸样本图像的多级特征字典；

S3、令纸缺陷检测判定：通过工业高速高清摄像头采集待测令纸图像，应用特征提取模型提取待测令纸图像的多级特征向量并转变成特征码，采用欧氏距离的方法，在特征比对模块下将提取得到的待测令纸的多级特征码与多级特征字典中的特征码进行比对，求出各个距离值后由缺陷判定模块来判断是否为有缺陷令纸，完成令纸的缺陷检测。

2.根据权利要求1所述的一种基于多级特征比对的令纸缺陷检测方法，其特征在于，所述步骤S1中的特征提取模型是基于深度学习的特征提取模型，输入为令纸图像，输出为多个多级特征向量，令纸图像经过特征提取模块处理后将产生1个高层特征向量、4个中层特征向量、16个低层特征向量，特征提取模型还包括：

1)、基础的网络模块Block，其包含了一个3x3的卷积和一个1x1的卷积，其中3x3卷积的步长为2，特征平面变小的同时特征通道数相应变大，即经过Block的处理后，特征图的大小变为原来的1/4，特征通道数变为原来的2倍；

2)、卷积网络由多层普通卷积层堆叠构成，用于提取底层初级特征信息，在该卷积网络之上放置3个Block块用于提取高、中、低三级特征，由于Block有特征抽象及降采样的过程，因此经过特征提取模块处理后将给出1个512维的高层特征向量、4个256维的中层特征向量、16个128维的低层特征向量。

3.根据权利要求1所述的一种基于多级特征比对的令纸缺陷检测方法，其特征在于，所述步骤S2中多级特征字典是用于保存正常令纸样本的多级特征，在多级特征字典中将放入系列有代表性的正常令纸特征码，不同层级的特征向量在归一化处理形成特征码后，将被放入特征字典中的不同位置，产生的归一化参数也将保留在特征字典中用于对后续提取的特征向量进行归一化处理，并采用K-Means聚类方法对字典中保存的大量特征码进行聚类处理，取每一类的中心点作为最具代表性的正常令纸特征码。

4.根据权利要求1所述的一种基于多级特征比对的令纸缺陷检测方法，其特征在于，所述步骤S3中特征比对模块是用于计算待测令纸图像提取到的多级特征码与正常令纸样本图像的多级特征字典中保存的特征码的距离，每级每个待测令纸的特征码与多级特征字典中对应级别的所有正常令纸的特征码都计算距离，找出距离最小的m个，再求距离的平均值，该平均值即为该级特征码的距离，特征比对模块的输入为特征提取模型提取到的待测令纸的特征码和特征码层级信息以及正常令纸的多级特征字典信息，输出为待测令纸的特征码与字典中正常令纸的特征码计算出的距离。

5.根据权利要求1所述的一种基于多级特征比对的令纸缺陷检测方法，其特征在于，所述步骤S3中缺陷判定模块是结合多级多个特征码的距离进行综合判断，给出是否为缺陷令纸的结论，具体包括以下步骤：

1)、特征比对模块给出的高、中、低三级特征码的距离值，令dL1为高层特征码的距离值，dL2＝Max{dL2i，0≤i≤3}为中层特征码的距离值，dL3＝Max{dL3i，0≤i≤15}为低层特征码的距离值；

2)、逐级判断是否有超过该级设定阈值的情况，如公式一、公式二、公式三所示：

aL1＞th1 公式一

dL2＞th2 公式二

dL3＞th3 公式三

其中，th1、th2和th3分别为高、中、低三级对应的缺陷判断阈值；

3)、如果出现超过阈值的情况则判断为有缺陷令纸，如果没有超过阈值则再计算一个综合距离值，计算方式见公式四：

d＝λ1*dL1+λ2*dL2+λ3*dL3 公式四

其中，d为综合距离值，λ1、λ2、λ3为平衡系数，求出综合距离后再根据设定的阈值进行判断，如公式五所示：

d＞th0 公式五

其中，th0为综合距离判断阈值；当d＞th0，则判定待测令纸为有缺陷令纸；当d≤th0，则为待测令纸为正常令纸。

Images