CN113505865B - 一种基于卷积神经网络的片材表面缺陷图像识别处理方法 - Google Patents

一种基于卷积神经网络的片材表面缺陷图像识别处理方法 Download PDF

Info

Publication number
CN113505865B
CN113505865B CN202111061921.5A CN202111061921A CN113505865B CN 113505865 B CN113505865 B CN 113505865B CN 202111061921 A CN202111061921 A CN 202111061921A CN 113505865 B CN113505865 B CN 113505865B
Authority
CN
China
Prior art keywords
defect
image
neural network
convolutional neural
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111061921.5A
Other languages
English (en)
Other versions
CN113505865A (zh
Inventor
钟洪萍
章灵伟
胡美琴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Shuangyuan Technology Co ltd
Original Assignee
Zhejiang Shuangyuan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Shuangyuan Technology Co ltd filed Critical Zhejiang Shuangyuan Technology Co ltd
Priority to CN202111061921.5A priority Critical patent/CN113505865B/zh
Publication of CN113505865A publication Critical patent/CN113505865A/zh
Application granted granted Critical
Publication of CN113505865B publication Critical patent/CN113505865B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于卷积神经网络的片材表面缺陷图像识别处理方法，该方法通过收集多种类型的缺陷图像构建可训练数据库来训练一个卷积神经网络模型；再将现场的片材表面成像图像输入已训练的深度学习模型里，获得对当前输入图像的缺陷类型识别结果，并通过像素级梯度加权类激活映射的方式，可获得当前模型对输出结果的可视化解释；最后在获得模型分类结果的前提下，通过对目标缺陷属性的特征值设定限定规则，提升了现有方法的识别精度和适用范围。本发明结合卷积神经网络与图像处理技术，实现了对各类片材表面缺陷快速、准确检测的效果，提高了现有方法的自动化程度和识别精度，且具有较好的可解释性。

Description

一种基于卷积神经网络的片材表面缺陷图像识别处理方法
技术领域
本发明涉及机器视觉的片材表面缺陷检测技术领域，尤其是涉及一种基于卷积神经网络的片材表面缺陷图像识别处理方法。
背景技术
缺陷识别是片材领域中十分重要的环节，在包括锂电池、铝箔、纸张、无纺布等行业都具有非常广泛的应用。
目前为了满足产品的质量要求，片材质量检验主要通过人工视觉检测和传统图像处理技术来完成。但是，人工检测的方法易受外界干扰以及检测人员的主观影响，长时间的单一重复性工作会使检测人员产生视觉疲劳，导致检测质量和效率低下。
公开号为CN112184615A的中国专利文献公开了一种基于图像处理的织物有色纤维检测系统，包括样品处理、检测处理和图像处理步骤。选用数码显微镜检测布面上有色纤维，将采集到有色纤维布面图像，经图像均衡化、去噪、边缘检测等处理方法，增强有色纤维图像信息，采用双阈值法进行判断。
公开号为CN112666791A的中国专利文献公开了一种缺陷检验方法，包含：接收具有多个图案的衬底；获得所述衬底的灰度图像，其中所述灰度图像包含多个区，且所述区中的每一者具有灰度值；比较每一区的所述灰度值与灰度参考以定义第一群组、第二群组及第N群组，其中所述第一群组、所述第二群组及所述第N群组中的每一者具有至少一区；执行计算以获得得分；及当所述得分大于一个值时，确定所述衬底具有ESD缺陷，且当所述得分小于所述值时，确定所述衬底不具有所述ESD缺陷。
但是，上述传统图像处理的表面缺陷检测技术，在遇到噪声信号时容易导致算法失效，稳定性不高，另一方面算法泛化能力差，难以准确识别复杂多变的产品表面缺陷，进一步导致检测精度的降低。
发明内容
为了克服以上技术的不足，本发明提供了一种基于卷积神经网络的片材表面缺陷图像识别处理方法，解决传统方法对缺陷漏检率高且分类精度低，以及自动检测系统在实际应用中适应性差的问题，同时降低人工成本。
一种基于卷积神经网络的片材表面缺陷图像识别处理方法，包括以下步骤：
（1）采集经过标记的包含各类缺陷类型的图像数据，预处理后根据缺陷图像所属的类别构建训练标签，并划分为训练集、验证集和测试集；
（2）构建以二维卷积神经网络为核心的深度学习模型，通过训练集对深度学习模型进行训练，通过验证集在反向传播的过程中优化模型参数，评估模型分类性能，通过测试集衡量模型的泛化性能；
（3）深度学习模型训练完毕后，将待检测的片材图像预处理后输入深度学习模型中，输出当前图像中缺陷类别的分类结果；
（4）通过加权梯度类激活映射的方式，获得分类结果的可视化解释；
（5）根据深度学习模型输出的分类结果，基于目标缺陷的轮廓计算多种缺陷属性，根据目标缺陷属性的特征值设定相应限定规则，对缺陷类型进一步分类。
进一步地，步骤（1）中，以欠采样的方式，通过随机抽取与各类缺陷类型样本数量相当的背景图像样本，对数据集进行样本均衡。
所述的图像数据由单通道的灰度图像或三通道的RGB图像组成；若为RGB图像，则对每张图像先进行灰度化。
所述的预处理包括对图像数据分别进行水平翻转、垂直翻转，以及顺时针旋转90°、180°、270°，并将数据集中的所有样本统一缩放成相同的像素大小。
进一步地，步骤（2）中，所述的深度学习模型包含多个二维卷积神经网络组成的卷积模块，卷积模块中包含卷积层、最大池化层、批归一化层和Dropout层；在卷积模块后设置全连接层，最后一层采用以softmax为激活函数的全连接层进行分类。
所述深度学习模型训练的结束条件为损失函数收敛，损失函数如下：
Figure 374242DEST_PATH_IMAGE001
其中，
Figure 300610DEST_PATH_IMAGE002
代表整体损失，
Figure 662452DEST_PATH_IMAGE003
代表样本数，
Figure 281652DEST_PATH_IMAGE004
代表类别数，
Figure 96156DEST_PATH_IMAGE005
代表第
Figure 91794DEST_PATH_IMAGE006
个样本的实际类标签
Figure 291831DEST_PATH_IMAGE007
，
Figure 816353DEST_PATH_IMAGE008
代表第
Figure 118152DEST_PATH_IMAGE006
个样本的类标签预测值
Figure 386323DEST_PATH_IMAGE009
。
进一步地，步骤（4）中，通过对深度学习模型中卷积模块最终输出的特征图中特定空间位置的梯度以逐像素加权平均的方式，获得模型在分类决策过程中的可视化解释，避免了偏导数未加权平均导致可视化定位不对应整个目标而只是目标的部分的情况。同时在一定程度上规避了同一种类别在一张图中出现多次时，可视化性能出现下降的情况。具体过程为：
（4-1）对深度学习模型中最后一层二维卷积神经网络中每个滤波单元
Figure 440866DEST_PATH_IMAGE007
输出的特征图的权重
Figure 979750DEST_PATH_IMAGE010
进行重构；
其中，
Figure 752534DEST_PATH_IMAGE011
是特征提取后最后一层卷积层的输出，代表输入数据在像素空间
Figure 558816DEST_PATH_IMAGE012
上被滤波单元
Figure 999025DEST_PATH_IMAGE007
所激活；
Figure 616082DEST_PATH_IMAGE013
代表对于一个特定的类
Figure 876162DEST_PATH_IMAGE014
所对应的最终分类得分；
Figure 751714DEST_PATH_IMAGE015
是常数，代表特征图中像素数量；重构后的权重如下：
Figure 531582DEST_PATH_IMAGE016
其中，
Figure 834388DEST_PATH_IMAGE017
为线性整流函数，
Figure 316185DEST_PATH_IMAGE018
表示类别
Figure 995428DEST_PATH_IMAGE014
和卷积特征图
Figure 629802DEST_PATH_IMAGE019
的像素梯度的加权系数，
Figure 103509DEST_PATH_IMAGE020
表示每个滤波单元
Figure 72602DEST_PATH_IMAGE007
对应的特征图对最后分类输出类别
Figure 24378DEST_PATH_IMAGE014
的重要性；
（4-2）对于某一特定类别
Figure 775908DEST_PATH_IMAGE014
，计算该类别在softmax分类结果输出之前的输入
Figure 420516DEST_PATH_IMAGE021
，公式如下：
Figure 876906DEST_PATH_IMAGE022
（4-3）将结构重构的权重
Figure 914263DEST_PATH_IMAGE020
代入分类得分公式
Figure 506918DEST_PATH_IMAGE021
，得到：
Figure 322427DEST_PATH_IMAGE023
考虑
Figure 282424DEST_PATH_IMAGE017
只作为梯度回流的阈值，在推导式中先屏蔽
Figure 841582DEST_PATH_IMAGE017
，同时对等式两边求关于
Figure 554323DEST_PATH_IMAGE024
的一阶偏导和二阶偏导：
Figure 275154DEST_PATH_IMAGE025
Figure 722447DEST_PATH_IMAGE026
根据上述等式，进一步得到加权系数
Figure 819716DEST_PATH_IMAGE027
，
Figure 918122DEST_PATH_IMAGE028
（4-4）将得到的加权系数
Figure 829096DEST_PATH_IMAGE027
带入重构的权重
Figure 747373DEST_PATH_IMAGE029
中得到：
Figure 648333DEST_PATH_IMAGE030
（4-5）将加权梯度类激活图重采样到原始输入图像的大小，再以热力图的方式映射到原始输入图像上便得到模型在分类决策过程中的可视化解释。
进一步地，步骤（5）中，基于目标缺陷的轮廓计算多种缺陷属性的具体过程为：
（5-1）由于积分图
Figure 86399DEST_PATH_IMAGE031
中每个单元存储的信息是原图中此位置左上角所有像素之和，因此利用优化的积分图算法对一张
Figure 945771DEST_PATH_IMAGE032
像素大小灰度化后的缺陷图像直接求积分图
Figure 85765DEST_PATH_IMAGE031
，公式如下：
Figure 541148DEST_PATH_IMAGE033
其中，
Figure 348567DEST_PATH_IMAGE034
代表积分图某一坐标点
Figure 847682DEST_PATH_IMAGE035
的值，
Figure 474972DEST_PATH_IMAGE036
代表原图某一坐标点
Figure 999625DEST_PATH_IMAGE035
处的像素值；
（5-2）采用改进式Sauvola自适应阈值法对缺陷灰度图进行二值化，并对局部均值
Figure 395972DEST_PATH_IMAGE037
采用开方运算，公式如下：
Figure 65987DEST_PATH_IMAGE038
Figure 928377DEST_PATH_IMAGE039
Figure 974830DEST_PATH_IMAGE040
其中，
Figure 756841DEST_PATH_IMAGE037
代表局部均值偏差，
Figure 82912DEST_PATH_IMAGE036
代表某一点像素值，
Figure 684794DEST_PATH_IMAGE041
代表局部均值，
Figure 534939DEST_PATH_IMAGE042
代表某一点像素值对应的二值化阈值，
Figure 905877DEST_PATH_IMAGE043
代表修正系数，取值范围为(0,1)；
Figure 934007DEST_PATH_IMAGE044
代表二值化后的像素值，
Figure 757607DEST_PATH_IMAGE036
代表某一点像素值，
Figure 411442DEST_PATH_IMAGE042
代表某一点像素值对应的二值化阈值；
（5-3）创建十字形的结构元素，并对二值化后的缺陷图像进行形态学滤波闭运算，得到去除噪声平滑图像的效果；同时，闭运算的扩展性使得经过二值化后缩小的目标缺陷区域得到了一定的补偿；
（5-4）最后获取目标缺陷区域的轮廓，基于轮廓计算缺陷属性，所述的缺陷属性包括但不限于目标灰度均值、灰度标准差、长、宽、面积、长轴和短轴；其中，长和宽由目标缺陷最大外接矩形的长和宽来计算，长轴和短轴由带旋转角的最小外接矩形的长和宽来计算。
与现有技术相比，本发明具有以下有益效果。
1、本发明通过采集多种类型的缺陷图像构建训练图库来训练深度学习模型，完成对片材表面复杂多变的缺陷类型识别，避免了传统方法漏检率高、检测精度低和适应性差的弊端。同时，引入激活图的像素级梯度加权平均技术可视化卷积特征图来映射分类决策过程中重要的特征区域，增强了方法的可解释性。最后，对神经网络检测输出的特定缺陷类型的属性进一步快速分析，基于缺陷特征值设定限定规则，进一步提升了方法的准确度和适用范围。
2、本发明不限于某类特定类型的片材表面缺陷检测，对其他片材缺陷类型的识别和分析具有普遍适用性。与现有技术比较，本发明提出的片材表面缺陷识别方法具有高度自动化、高检测精度和普遍适用性的特点，并且方法具有高度可解释性。并且基于图像处理技术的目标缺陷属性评估，进一步提升了现有方法的准确度。
附图说明
图1为本发明一种基于卷积神经网络的片材表面缺陷图像识别处理方法的流程示意图。
图2为本发明提出的基于卷积神经网络模型的结果可视化方案示意图。
图3为本发明提出的优化的积分图算法方案示意图。
图4为本发明方法结合具体实施例在软件中实时检测的效果图。
图5为本发明方法结合具体实施例在软件中分类结果可视化效果图。
图6为本发明方法结合具体实施例在软件中用户对缺陷属性标记效果图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
为了解决现有片材表面缺陷识别方法漏检率高且分类精度低以及方法适用性差等问题，本发明提出了一种基于卷积神经网络的通用型片材表面缺陷识别方法及系统。通过参数推导提出更好的卷积神经网络架构的解释方法，使用户更信任模型，增强了深度学习方法的可解释性。此外，基于目标缺陷属性的特征值分析，对模型识别结果进一步调整，提升了所提出方法对缺陷类型的识别精度。
参见图1，一种基于卷积神经网络的片材表面缺陷图像识别处理方法，包括：用于缺陷类型识别的深度学习模型训练和不同缺陷类型的加权梯度类激活图获取步骤和根据训练好的深度学习模型对缺陷类型识别后的目标缺陷属性快速计算和特征值分析步骤。
其中，用于缺陷类型识别的深度学习模型训练和不同缺陷类型的加权梯度类激活图获取步骤具体包括：
S1、预处理；
采集标记的包含各类缺陷类型的图像数据，图像数据可由单通道的灰度图像或三通道的RGB图像组成。若为RGB图像，则对每张图像先进行灰度化。再对数据集进行数据增强，最后将数据集中的所有样本统一缩放成相同的像素大小。
具体如下：先人工筛选各类缺陷类型的图像，构建缺陷图库。由于标记的数据集中各类缺陷类型的图像样本数要远多于背景样本数，所以以欠采样的方式，通过随机抽取与各类缺陷类型样本数量相当的背景图像样本，对数据集进行样本均衡。图像数据可由单通道的灰度图像或三通道的RGB图像组成。为了增加神经网络在线上的实际处理速度，统一将图像转变为单通道的灰度图像。所以若为RGB图像，则应对每张图像先进行灰度化处理。然后，通过对图像数据分别进行水平翻转、垂直翻转，以及顺时针旋转90°、180°、270°旋转的方式进行数据增强。最后，将数据集中的所有样本统一缩放成相同的像素大小224*244，作为本地的可训练数据集。在本实施例中，进行数据增强之前各类缺陷图像样本量均在1000至1500张左右，进行数据增强后数据量可翻倍。
S2、将步骤S1预处理的本地缺陷图像样本分为训练集、验证集和测试集；
此步骤的具体实施例为：先将本地缺陷图像数据集按9:1随机划分为训练部分和测试部分的数据，再按7:3将训练部分的数据随机划分为训练集和验证集。训练集用以训练模型参数，验证集在反向传播的过程中用以优化模型参数，测试集用以衡量模型的泛化性能。
S3、构建一个多层以二维卷积神经网络为核心的深度学习模型；
此步骤的具体实施例为：即使一张缺陷图像是RBG模式，经过S1预处理步骤后，均统一转变成单通道的灰度图像，由此构建一个单通道模式的五层二维卷积神经网络，所述卷积模块中除了基本的卷积层外包含了最大池化层、批归一化层和Dropout层。最后在卷积模块后设置全连接层以增加非线性特征，最后一层采用以softmax为激活函数的全连接层进行分类输出。表1列出了实施例中使用的详细的网络参数的定义。
表 1
Figure 387619DEST_PATH_IMAGE045
S4、根据数据所属的类别和识别任务要求，构建训练标签并转换为独热编码，然后训练深度学习模型所构建的深度学习模型。训练的结束条件为深度学习模型的损失函数收敛，具体表现为模型性能在规定的迭代轮次中不再提升或所述深度学习模型的迭代次数达到预设迭代次数。
Figure 835918DEST_PATH_IMAGE046
其中，
Figure 412393DEST_PATH_IMAGE047
代表整体损失，
Figure 346283DEST_PATH_IMAGE048
代表样本数，
Figure 691814DEST_PATH_IMAGE049
代表类别数，
Figure 311014DEST_PATH_IMAGE050
代表第
Figure 859938DEST_PATH_IMAGE051
个样本的实际类标签
Figure 121155DEST_PATH_IMAGE052
，
Figure 321192DEST_PATH_IMAGE053
代表第
Figure 127606DEST_PATH_IMAGE051
个样本的类标签预测值
Figure 413093DEST_PATH_IMAGE054
。
在具体实施例中，训练了三个卷积神经网络模型分别用于无纺布、锂电池隔膜和纸张表面多种缺陷类型检测。表2给出了实施例在不同片材表面缺陷类型识别任务中训练的网络模型的分类性能。
表 2
Figure 681264DEST_PATH_IMAGE055
结果表明，本发明提出的方法可在小数据集的条件下，通过数据增强和参数调优可得到较高检测精度。图4展示了纸张表面缺陷识别模型集成在软件中对实时检测的效果图。
S5、本实施例中还基于对深度学习模型输出的特征图进行参数推导，通过加权梯度类激活映射的方式，获得模型在每个缺陷类型的样本分类决策过程中的可视化解释，基于卷积神经网络模型的结果可视化方案如图2，具体如下：
S5-1、对于一张缺陷图像，
Figure 752119DEST_PATH_IMAGE056
是特征提取模块的最后一层卷积层的输出，代表输入数据在像素空间
Figure 713122DEST_PATH_IMAGE057
上被滤波单元
Figure 485906DEST_PATH_IMAGE052
所激活。然后，对深度学习模型中最后一层二维卷积神经网络中每个滤波单元
Figure 292188DEST_PATH_IMAGE052
输出的特征图的权重
Figure 214620DEST_PATH_IMAGE058
进行重构；其中，
Figure 346524DEST_PATH_IMAGE059
代表对于一个特定的类
Figure 872183DEST_PATH_IMAGE060
所对应的最终分类得分。
Figure 232888DEST_PATH_IMAGE061
是常数，代表特征图中像素数量。
Figure 527604DEST_PATH_IMAGE062
其中，
Figure 564830DEST_PATH_IMAGE063
为线性整流函数，
Figure 62938DEST_PATH_IMAGE064
表示类别
Figure 476602DEST_PATH_IMAGE060
和卷积特征图
Figure 360244DEST_PATH_IMAGE065
的像素梯度的加权系数，
Figure 99530DEST_PATH_IMAGE066
表示每个滤波单元
Figure 350514DEST_PATH_IMAGE052
对应的特征图对最后分类输出类别
Figure 36711DEST_PATH_IMAGE060
的重要性。
S5-2、对于某一特定类别
Figure 40439DEST_PATH_IMAGE060
，计算该类别在softmax分类结果输出之前的输入
Figure 501026DEST_PATH_IMAGE067
。
Figure 957415DEST_PATH_IMAGE068
S5-3、将结构重构的权重
Figure 463614DEST_PATH_IMAGE066
代入分类得分公式
Figure 587427DEST_PATH_IMAGE067
，得到：
Figure 402937DEST_PATH_IMAGE069
从一般性考虑
Figure 97354DEST_PATH_IMAGE063
只作为梯度回流的阈值，所以在推导式中先屏蔽
Figure 390932DEST_PATH_IMAGE063
，同时对等式两边求关于
Figure 103673DEST_PATH_IMAGE070
的一阶偏导和二阶偏导：
Figure 355663DEST_PATH_IMAGE071
Figure 537377DEST_PATH_IMAGE072
根据上述等式，进一步得到了加权系数
Figure 900225DEST_PATH_IMAGE073
，
Figure 467473DEST_PATH_IMAGE074
S5-4、将得到的加权系数
Figure 372587DEST_PATH_IMAGE073
带入重构的权重
Figure 290865DEST_PATH_IMAGE066
中即可得到：
Figure 926245DEST_PATH_IMAGE075
S5-5、将加权梯度类激活图重采样到原始输入图像的大小，再以热力图的方式映射到原始输入图像上便可得到模型在分类决策过程中的可视化解释。
图5展示了训练完成的模型集成在软件中对分类结果可视化的效果图。图中，高亮区域就是特征区域，是模型判断的主要依据，通过可视化特征局域，可以说明模型训练和检测结果均是有效的，学到的不是虚假特征，使人信服。
S6、进一步地，针对神经网络判别的特定缺陷类型，实施缺陷属性快速计算和基于特征值设定限定规则，具体如下：
S6-1、由于积分图
Figure 895470DEST_PATH_IMAGE076
中每个单元存储的信息是原图中此位置左上角所有像素之和，所以利用优化的积分图算法对一张
Figure 223683DEST_PATH_IMAGE077
像素大小灰度化后的缺陷图像直接求积分图
Figure 894836DEST_PATH_IMAGE076
，为接下来步骤S6-2中对每个像素点求自适应阈值过程中参数均值
Figure 350219DEST_PATH_IMAGE078
加快速度。
Figure 892059DEST_PATH_IMAGE079
通过遍历一次图像可有效计算出积分图，而且积分图的每一点
Figure 391173DEST_PATH_IMAGE080
的值为：
Figure 300354DEST_PATH_IMAGE081
于是对一张
Figure 277538DEST_PATH_IMAGE077
像素大小的图像求取积分图在时间复杂度上需要进行
Figure 939463DEST_PATH_IMAGE082
次加法运算。
利用优化的积分图快速计算方法只需要上方
Figure 875058DEST_PATH_IMAGE083
加上当前行的和即可，在时间复杂度上只需进行
Figure 20605DEST_PATH_IMAGE084
次加法运算，如图3所示，具体公式如下：
Figure 801479DEST_PATH_IMAGE085
S6-2、采用改进式Sauvola自适应阈值法对缺陷灰度图进行二值化，避免可能因光照不均而导致二值化过程中出现缺陷特征丢失或在背景区域受到噪声干扰产生虚假缺陷特征的问题。另外对局部均值
Figure 317911DEST_PATH_IMAGE086
采用开方运算，会对噪声点有更好的抑制作用，增强了目标像素的自适应性。公式如下：
Figure 175140DEST_PATH_IMAGE087
Figure 308181DEST_PATH_IMAGE088
Figure 892746DEST_PATH_IMAGE040
其中，
Figure 14417DEST_PATH_IMAGE086
代表局部均值偏差，
Figure 26235DEST_PATH_IMAGE089
代表某一点像素值，
Figure 115414DEST_PATH_IMAGE078
代表局部均值，
Figure 254402DEST_PATH_IMAGE090
代表某一点像素值对应的二值化阈值，
Figure 479847DEST_PATH_IMAGE091
代表修正系数，取值范围为(0,1)；
Figure 662567DEST_PATH_IMAGE092
代表二值化后的像素值，
Figure 504621DEST_PATH_IMAGE089
代表某一点像素值，
Figure 178791DEST_PATH_IMAGE090
代表某一点像素值对应的二值化阈值。
修正系数
Figure 258743DEST_PATH_IMAGE052
通常在0.15左右，本实施例中最终调整为0.18，同时邻域大小设定为31*31，但在实际应用中可根据实际情况分析后做适当调整。
S6-3、创建十字形的结构元素，并对二值化后的缺陷图像进行形态学滤波闭运算，即可得到去除噪声平滑图像的效果。同时，闭运算的扩展性使得经过二值化后缩小的目标缺陷区域得到了一定的补偿。本实施例中设定了3*3大小的十字形结构元素。
S6-4、最后获取目标缺陷区域的轮廓，基于轮廓计算其包括目标灰度均值、灰度标准差、长、宽、面积、长轴和短轴等重要缺陷属性，其中目标缺陷的长和宽由最大外接矩形的长和宽来计算，目标缺陷的长轴和短轴由带旋转角的最小外接矩形的长和宽来计算。
S6-5、进一步地，基于目标缺陷属性的特征值设定限定规则，对缺陷类型进一步分类。在本实施例的无纺布表面缺陷类型检测中，对孔洞类型设定直径小于5个像素点的孔洞为小空洞，大于5个像素点且小于15个像素点的孔洞为中孔洞，大于15个像素点的孔洞为大孔洞。另外，对亮斑设定目标灰度均值大于220的缺陷类型，修正标签为孔洞。图6展示了实施例在软件中用户对缺陷属性标记效果图。
实施例中无纺布、锂电池隔膜和纸张三种片材表面多种缺陷类型进行检测、识别并做可视化分析，但本发明不限于上述片材材料表面的缺陷类型检测，对其他片材材料表面的缺陷类型的识别和分析具有普遍适用性。
本发明的方法，通过采集多种类型的缺陷图像构建训练图库来训练深度学习模型，完成对片材表面复杂多变的缺陷类型识别，避免了人工检测漏检率高和检测效率低、传统图像处理方法检测精度低和适应性差的弊端。同时，通过可视化梯度加权类激活图映射分类决策过程中重要的特征区域，增强了深度学习方法的可解释性。最后，对神经网络检测输出的特定缺陷类型的属性进行快速分析，并基于缺陷特征值设定限定规则，进一步提升了方法的准确度和适用范围。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于卷积神经网络的片材表面缺陷图像识别处理方法，其特征在于，包括以下步骤：
（1）采集经过标记的包含各类缺陷类型的图像数据，预处理后根据缺陷图像所属的类别构建训练标签，并划分为训练集、验证集和测试集；
（2）构建以二维卷积神经网络为核心的深度学习模型，通过训练集对深度学习模型进行训练，通过验证集在反向传播的过程中优化模型参数，评估模型分类性能，通过测试集衡量模型的泛化性能；
（3）深度学习模型训练完毕后，将待检测的片材图像预处理后输入深度学习模型中，输出当前图像中缺陷类别的分类结果；
（4）通过加权梯度类激活映射的方式，获得分类结果的可视化解释；具体过程为：
（4-1）对深度学习模型中最后一层二维卷积神经网络中每个滤波单元
Figure DEST_PATH_IMAGE001
输出的特征图的权重
Figure 11796DEST_PATH_IMAGE002
进行重构；
其中，
Figure DEST_PATH_IMAGE003
是特征提取后最后一层卷积层的输出，代表输入数据在像素空间
Figure 206017DEST_PATH_IMAGE004
上被滤波单元
Figure 13567DEST_PATH_IMAGE001
所激活；
Figure DEST_PATH_IMAGE005
代表对于一个特定的类
Figure 403966DEST_PATH_IMAGE006
所对应的最终分类得分；
Figure DEST_PATH_IMAGE007
是常数，代表特征图中像素数量；重构后的权重如下：
Figure DEST_PATH_IMAGE009
其中，
Figure 777310DEST_PATH_IMAGE010
为线性整流函数，
Figure DEST_PATH_IMAGE011
表示类别
Figure 611274DEST_PATH_IMAGE006
和卷积特征图
Figure 358650DEST_PATH_IMAGE012
的像素梯度的加权系数，
Figure DEST_PATH_IMAGE013
表示每个滤波单元
Figure 287160DEST_PATH_IMAGE001
对应的特征图对最后分类输出类别
Figure 170803DEST_PATH_IMAGE006
的重要性；
（4-2）对于某一特定类别
Figure 644509DEST_PATH_IMAGE006
，计算该类别在softmax分类结果输出之前的输入
Figure 364335DEST_PATH_IMAGE014
，公式如下：
Figure 316110DEST_PATH_IMAGE016
（4-3）将结构重构的权重
Figure 850997DEST_PATH_IMAGE013
代入分类得分公式
Figure 744872DEST_PATH_IMAGE014
，得到：
Figure 466841DEST_PATH_IMAGE018
考虑
Figure 753466DEST_PATH_IMAGE010
只作为梯度回流的阈值，在推导式中先屏蔽
Figure 96853DEST_PATH_IMAGE010
，同时对等式两边求关于
Figure 912363DEST_PATH_IMAGE003
的一阶偏导和二阶偏导：
Figure 59310DEST_PATH_IMAGE020
Figure 467070DEST_PATH_IMAGE022
根据上述等式，进一步得到加权系数
Figure DEST_PATH_IMAGE023
，
Figure DEST_PATH_IMAGE025
（4-4）将得到的加权系数
Figure 320756DEST_PATH_IMAGE023
带入重构的权重
Figure 41588DEST_PATH_IMAGE013
中得到：
Figure 721837DEST_PATH_IMAGE026
（4-5）将加权梯度类激活图重采样到原始输入图像的大小，再以热力图的方式映射到原始输入图像上便得到模型在分类决策过程中的可视化解释；
（5）根据深度学习模型输出的分类结果，基于目标缺陷的轮廓计算多种缺陷属性，根据目标缺陷属性的特征值设定相应限定规则，对缺陷类型进一步分类。
2.根据权利要求1所述的基于卷积神经网络的片材表面缺陷图像识别处理方法，其特征在于，步骤（1）中，以欠采样的方式，通过随机抽取与各类缺陷类型样本数量相当的背景图像样本，对数据集进行样本均衡。
3.根据权利要求1所述的基于卷积神经网络的片材表面缺陷图像识别处理方法，其特征在于，步骤（1）中，所述的图像数据由单通道的灰度图像或三通道的RGB图像组成；若为RGB图像，则对每张图像先进行灰度化。
4.根据权利要求1所述的基于卷积神经网络的片材表面缺陷图像识别处理方法，其特征在于，步骤（1）中，所述的预处理包括对图像数据分别进行水平翻转、垂直翻转，以及顺时针旋转90°、180°、270°，并将数据集中的所有样本统一缩放成相同的像素大小。
5.根据权利要求1所述的基于卷积神经网络的片材表面缺陷图像识别处理方法，其特征在于，步骤（2）中，所述的深度学习模型包含多个二维卷积神经网络组成的卷积模块，卷积模块中包含卷积层、最大池化层、批归一化层和Dropout层；在卷积模块后设置全连接层，最后一层采用以softmax为激活函数的全连接层进行分类。
6.根据权利要求1所述的基于卷积神经网络的片材表面缺陷图像识别处理方法，其特征在于，所述深度学习模型训练的结束条件为损失函数收敛，损失函数如下：
Figure 553526DEST_PATH_IMAGE028
其中，
Figure DEST_PATH_IMAGE029
代表整体损失，
Figure 199403DEST_PATH_IMAGE030
代表样本数，
Figure DEST_PATH_IMAGE031
代表类别数，
Figure 622294DEST_PATH_IMAGE032
代表第
Figure DEST_PATH_IMAGE033
个样本对应类j的标签，
Figure 117735DEST_PATH_IMAGE034
代表第
Figure 18695DEST_PATH_IMAGE033
个样本是类j的概率。
7.根据权利要求1所述的基于卷积神经网络的片材表面缺陷图像识别处理方法，其特征在于，步骤（5）中，基于目标缺陷的轮廓计算多种缺陷属性的具体过程为：
（5-1）由于积分图
Figure DEST_PATH_IMAGE035
中每个单元存储的信息是原图中此位置左上角所有像素之和，因此利用优化的积分图算法对一张
Figure 722340DEST_PATH_IMAGE036
像素大小灰度化后的缺陷图像直接求积分图
Figure 50553DEST_PATH_IMAGE035
，公式如下：
Figure 190547DEST_PATH_IMAGE038
其中，
Figure DEST_PATH_IMAGE039
代表积分图某一坐标点
Figure 410045DEST_PATH_IMAGE040
的值，
Figure DEST_PATH_IMAGE041
代表原图某一坐标点
Figure 279781DEST_PATH_IMAGE040
处的像素值；
（5-2）采用改进式Sauvola自适应阈值法对缺陷灰度图进行二值化，并对局部均值
Figure 529627DEST_PATH_IMAGE042
采用开方运算，公式如下：
Figure 891339DEST_PATH_IMAGE044
Figure 930839DEST_PATH_IMAGE046
Figure 101752DEST_PATH_IMAGE048
其中，
Figure 506188DEST_PATH_IMAGE042
代表局部均值偏差，
Figure DEST_PATH_IMAGE049
代表局部灰度均值，
Figure 902666DEST_PATH_IMAGE050
代表某一点像素值对应的二值化阈值，
Figure DEST_PATH_IMAGE051
代表修正系数，取值范围为(0,1)；
Figure 214698DEST_PATH_IMAGE052
代表二值化后的像素值；
（5-3）创建十字形的结构元素，并对二值化后的缺陷图像进行形态学滤波闭运算，得到去除噪声平滑图像的效果；同时，闭运算的扩展性使得经过二值化后缩小的目标缺陷区域得到了一定的补偿；
（5-4）最后获取目标缺陷的轮廓，基于轮廓计算缺陷属性，所述的缺陷属性包括但不限于目标灰度均值、灰度标准差、长、宽、面积、长轴和短轴；其中，长和宽由目标缺陷最大外接矩形的长和宽来计算，长轴和短轴由带旋转角的最小外接矩形的长和宽来计算。
CN202111061921.5A 2021-09-10 2021-09-10 一种基于卷积神经网络的片材表面缺陷图像识别处理方法 Active CN113505865B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111061921.5A CN113505865B (zh) 2021-09-10 2021-09-10 一种基于卷积神经网络的片材表面缺陷图像识别处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111061921.5A CN113505865B (zh) 2021-09-10 2021-09-10 一种基于卷积神经网络的片材表面缺陷图像识别处理方法

Publications (2)

Publication Number Publication Date
CN113505865A CN113505865A (zh) 2021-10-15
CN113505865B true CN113505865B (zh) 2021-12-07

Family

ID=78016738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111061921.5A Active CN113505865B (zh) 2021-09-10 2021-09-10 一种基于卷积神经网络的片材表面缺陷图像识别处理方法

Country Status (1)

Country Link
CN (1) CN113505865B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113947597B (zh) * 2021-12-20 2022-03-22 宁波海棠信息技术有限公司 一种基于屏蔽重建的工业缺陷检测方法、装置及介质
CN114581446B (zh) * 2022-05-06 2022-08-09 浙江双元科技股份有限公司 一种叠片电池的电芯异常检测方法及系统
CN114800660B (zh) * 2022-06-27 2022-09-30 浙江双元科技股份有限公司 一种用于片材分切的缺陷定位系统及方法
CN117788385B (zh) * 2023-12-05 2024-05-03 中山大学孙逸仙纪念医院深汕中心医院 基于射线探伤的物体缺陷识别方法及系统
CN117876342A (zh) * 2024-01-15 2024-04-12 泰州市华亿源机械有限公司 基于深度学习的自适应齿轮缺陷检测方法
CN117635606B (zh) * 2024-01-23 2024-04-05 锐卡(常州)科技有限公司 激光切管机卡盘缺陷检测方法、装置、设备及存储介质
CN117911407B (zh) * 2024-03-19 2024-06-14 华域生物科技(天津)有限公司 一种精子缺陷形态的图像识别方法
CN118154999B (zh) * 2024-05-10 2024-08-02 深圳市曜通科技有限公司 基于半导体切筋产品外表面缺陷的智能识别系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945161A (zh) * 2017-11-21 2018-04-20 重庆交通大学 基于纹理特征提取的道路表面缺陷检测方法
CN111079764A (zh) * 2019-12-06 2020-04-28 深圳久凌软件技术有限公司 一种基于深度学习的低照度车牌图像识别方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104866900B (zh) * 2015-01-29 2018-01-19 北京工业大学 一种反卷积神经网络训练方法
CN109242829A (zh) * 2018-08-16 2019-01-18 惠州学院 基于小样本深度学习的液晶屏缺陷检测方法、系统及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945161A (zh) * 2017-11-21 2018-04-20 重庆交通大学 基于纹理特征提取的道路表面缺陷检测方法
CN111079764A (zh) * 2019-12-06 2020-04-28 深圳久凌软件技术有限公司 一种基于深度学习的低照度车牌图像识别方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于Kernel Rank-order距离的重构权重局部线性嵌入算法;鞠玲;《计算机应用与软件》;20200830;第37卷(第8期);全文 *
基于深度卷积神经网络的超分辨率图像重构技术研究;商丽娟;《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》;20190115(第12期);全文 *
融合加权均值滤波与流形重构保持嵌人;黄鸿;《光子学报》;20161030;第45卷(第10期);全文 *

Also Published As

Publication number Publication date
CN113505865A (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN113505865B (zh) 一种基于卷积神经网络的片材表面缺陷图像识别处理方法
US10803573B2 (en) Method for automated detection of defects in cast wheel products
CN109255344B (zh) 一种基于机器视觉的数显式仪表定位与读数识别方法
CN111402226A (zh) 一种基于级联卷积神经网络的表面疵点检测方法
CN111915704A (zh) 一种基于深度学习的苹果分级识别方法
CN112132196B (zh) 一种结合深度学习和图像处理的烟盒缺陷识别方法
CN112102229A (zh) 一种基于深度学习的工业ct检测缺陷的智能识别方法
CN107369155A (zh) 一种基于机器视觉的布匹表面疵点检测方法及其系统
CN109886960A (zh) 基于机器视觉的玻璃边缘缺陷检测的方法
CN114926407A (zh) 一种基于深度学习的钢材表面缺陷检测系统
CN112862744A (zh) 一种基于超声图像的电容内部缺陷智能检测方法
CN111161237A (zh) 一种果蔬表面质检方法及其储存介质、分拣装置
CN113221881B (zh) 一种多层级的智能手机屏幕缺陷检测方法
CN106340007A (zh) 一种基于图像处理的车身漆膜缺陷检测识别方法
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
CN115829995A (zh) 基于像素级的多尺度特征融合的布匹瑕疵检测方法及系统
CN113313678A (zh) 一种基于多尺度特征融合的精子形态学自动分析方法
Haoran et al. Egg crack detection based on support vector machine
CN113673396B (zh) 一种孢子发芽率计算方法、装置及存储介质
CN115187544A (zh) 基于DR-RSBU-YOLOv5的织物瑕疵检测方法
CN116363136B (zh) 一种机动车部件自动化生产在线筛选方法及系统
CN117522778A (zh) 一种空心砖瑕疵检测系统
CN115761606A (zh) 基于图像处理的箱体电能表识别方法及装置
CN114898362A (zh) 一种基于神经网络的菌子图像分类方法
CN113920087A (zh) 基于深度学习的微小元器件缺陷检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant