CN108520274A - 基于图像处理及神经网络分类的高反光表面缺陷检测方法 - Google Patents

基于图像处理及神经网络分类的高反光表面缺陷检测方法 Download PDF

Info

Publication number
CN108520274A
CN108520274A CN201810258749.4A CN201810258749A CN108520274A CN 108520274 A CN108520274 A CN 108520274A CN 201810258749 A CN201810258749 A CN 201810258749A CN 108520274 A CN108520274 A CN 108520274A
Authority
CN
China
Prior art keywords
neural network
output
image
input
reflecting surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810258749.4A
Other languages
English (en)
Other versions
CN108520274B (zh
Inventor
王鹏
陈丰
孙长库
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201810258749.4A priority Critical patent/CN108520274B/zh
Publication of CN108520274A publication Critical patent/CN108520274A/zh
Application granted granted Critical
Publication of CN108520274B publication Critical patent/CN108520274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30136Metal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Abstract

本发明公开了一种基于图像处理及神经网络分类的高反光表面缺陷检测方法:将原始采集的图像先进行背景减除、去噪等基本处理,通过特征提取初步确定可能存在瑕疵的零件部位并得到一系列对应部位的区域图像,再将图像序列输入以局部特征区域图块作为训练数据所得到的神经网络分类器,进行是否为真缺陷的判断,以分类器的输出结果作为最终判定结果。本发明提出了一种运用前端二维数字图像处理模块进行缺陷特征搜索及提取、结合后端神经网络分类器进行特征过滤增强搜索结果准确性的高反光被测件表面缺陷检测方法,可在保证对被测件表面缺陷进行充分提取的前提下,降低传统图像处理检测方法中错漏检的概率,同时可兼顾运算效率及通用性。

Description

基于图像处理及神经网络分类的高反光表面缺陷检测方法
技术领域
本发明涉及模式分类技术,特别涉及机器视觉二维图像处理技术及基于神经网络深度学习的模式分类技术。
背景技术
在金属等高反光表面零件的生产过程中,由于生产线环境下难免对零件表面造成磕碰及划伤,产生了对残次品及合格品进行快速有效的识别分类的需求。基于机器视觉的非接触式检测方法,以图像处理理论为核心,具有效率高、错漏检概率低、避免对被测件造成二次损伤的优点,已经被广泛应用于无损检测领域。
常见的机器视觉智能无损检测方法之一是直接对采集到的被测件图像进行基于数字图像处理算法的特征提取及分析,进而做出合格与否的判断,具有容易实现、模型简单的优势,但这种方法对采集图像的质量(清晰度、对比度及亮度) 及采集现场的环境要求较高,需要根据具体应用环境对检测模型算法参数做精细的手工搭建及调试才能保证较高的鲁棒性,但这也同时限制了该模型的应用场景;还有一种是基于激光三维扫描的表面检测方法,通过激光扫描得到的表面点云数据对被测件表面进行特征分析,但这种方法在被测件表面特征细微的情况下,对点云扫描精度及处理算法的要求很高,且数据处理难度大,不易实现;基于机器学习的分类器检测法,如支持向量机SVM(Support Vector Machine)、卷积神经网络CNN(Convolutional Neural Network)等,也被应用于无损检测领域,一般是直接将被测面图像数据集作为训练数据,但这种方法较适用于缺陷特征十分明显或被测表面形貌信息较少(无过多的细节,如凹槽、凸起、纹路等)的情况,当被测面形态复杂或相较于被测件形貌目标特征过于细微时,神经网络分类器的训练通常具有更大的难度且需要更长的训练和调整周期。
本发明的应用场景要求在生产线上实现对具有较复杂特征的金属零件表面的划痕、凹坑及磨削瑕疵等缺陷的检测,因此就要求算法具有较强的鲁棒性及保证可配合流水线生产的运算速度,在保证检测准确率的前提下让其尽可能具有更强的通用性和灵活性。
发明内容
本发明的目的是在生产线上实现对合格/非合格金属高反光表面零件进行分类,需要通过检测出金属零件表面的划痕、凹坑及磨削瑕疵等缺陷作为判断依据。综合考虑应用场景及被测件的特点,采用数字图像处理与神经网络分类器相结合的算法模型,在保证算法有效性的前提下,相比上述其他方法具有鲁棒性强、运行速度快、易于实现的特点。
本发明所采用的技术方案是:一种基于图像处理及神经网络分类的高反光表面缺陷检测方法,包括以下步骤:
步骤一,对采集的基础图像进行背景减除、降噪处理,剔除干扰;
步骤二,对剔除干扰后的图像进行轮廓提取/筛选和聚类,得到一系列具有固定大小的矩形区块;
步骤三,将步骤二得到的矩形区块进行局部特征区域图块的截取,局部特征区域图块即为可能具有目标缺陷的图像区域;
步骤四,将局部特征区域图块输入神经网络分类器进行逐个判定,输出一个 0/1序列,若判定结果中含有“1”则表明该局部特征区域图块对应的被测件是残次品,反之则为合格。
进一步的,步骤一中,所述的背景减除具体为:利用多幅固定工件位置上的合格件图像作为标准图组制作背景减除的样本,并根据被测件形貌特征制作掩膜,在后续处理各个样本的过程中,通过以样本图像减除掩膜的方式,去除大部分由背景及光照条件所引入的图像干扰。
进一步的,步骤二具体包括:加入阈值过滤模块,得到可能的瑕疵轮廓,并根据瑕疵轮廓的位置、大小信息进行特征聚类,得到一系列具有固定大小的矩形区块。
进一步的,步骤四中,所述的神经网络分类器具体包括三部分内容:网络模型的搭建、数据集制作、训练模型测试筛选。
进一步的,所述的网络模型的搭建是采用基本的多层神经网络结构,通过不同卷积核尺寸下的循环降维卷积得到不同尺度的区域细节,之后进行深度叠加综合各层次的特征,最后进行特征的聚类进而得到一个判定值,分为三个部分:输入预处理层、特征提取层、预测输出层。
所述的输入预处理层的内部处理层包括:交替进行的两次卷积核大小为3*3、步长为1的卷积计算,以及两次核大小3*3、步长为2的最大池化。
所述的特征提取层的内部处理层包含三个首尾相接的同结构处理模块,每个所述处理模块有两个输入及两个输出,分别对应多尺度特征处理结构和全局特征传递结构,所述多尺度特征处理结构和全局特征传递结构为各自所属的处理模块产生一个独立输出;其中,第一个处理模块的两个输入均取自输入预处理层的单个输出;
1)多尺度特征处理结构
多尺度特征处理结构的处理对象是上一个处理模块的两个输出进行深度叠加后得到的元组,称为输入元祖;对输入元组分别进行四路处理:第一路对输入元组进行3*3核大小步长为1的最大池化聚类及对1/3原深度进行下采样的一次 1*1核大小步长为一的卷积;第二路对输入元组进行步长为1、核大小为1*1的卷积运算;第三路和第四路首先对输入元组进行一次卷积核为1*1的深度降维采样,然后分别再进行核大小为3*3、5*5的卷积运算;最后对四路处理得到的四个同高宽尺寸的输出进行深度叠加,并对叠加后结果进行一次核大小为3*3、步长为2的最大池化,得到第一个输出;
其中,三个多尺度特征处理结构中,第二、三、四路卷积运算的输出的通道数依次设置为[32,16,16],[64,32,32],[96,64,64];
2)全局特征传递结构
全局特征传递结构对输入进行一次核大小为3*3、步长为2的最大池化特征聚类,产生第二个输出;
在得到两个输出后,进行深度叠加传给下一个处理模块的多尺度特征处理结构,而全局特征传递结构仅接受上一个处理模块中全局特征传递结构的输出;在得到第三个处理模块的输出后,对此两个输出进行深度叠加得到结合了聚类后的全局原始特征及循环卷积处理后的特征综合元组,并对特征综合元组依次进行核大小为3*3、步长为1的一次平均池化、深度下采样卷积及一次核大小3*3、步长为2的最大池化,将特征综合元组重塑为2维特征向量,得到的2维特征向量即为整个特征提取层的输出。
所述的预测输出层中,特征提取层的输出作为预测输出层的输入依次交替经过三个全连接层及两个随机失活层,在最后一个全连接层得到输入图像被判为合格/不合格的概率,取概率大者作为输出判断结果;其中,三个全连接层的输出通道数依次为1024,128,2;两个随机失活层的失活率均为0.5。
进一步的,所述的数据集制作中,所述的数据集来自步骤三得到的局部特征区域图块,对局部特征区域图块进行合格与非合格的标记,并且,对局部特征区域图块进行亮度变化、加噪声及翻转处理。
进一步的,所述的训练模型测试筛选中,选取30%的数据作为测试集,其余作训练集,测试集和训练集的合格/不合格区域比例保持与全体数据集一致;最终取使得测试集误差曲线及训练集误差曲线达到最低相交点处的训练参数作为神经网络分类器参数。
本发明的有益效果是:
本发明提出了一种运用前端二维数字图像处理模块进行缺陷特征搜索及提取、结合后端神经网络分类器进行特征过滤增强搜索结果准确性的高反光被测件表面缺陷检测方法,可在保证对被测件表面缺陷进行充分提取的前提下,降低传统图像处理检测方法中错漏检的概率,同时可兼顾运算效率及通用性。发明中所运用的神经网络分类模型结合了全局特征传递聚类及多尺度局部特征循环提取技术,在保证图像特征被充分提取利用的前提下,通过循环卷积避免了大尺度卷积核的运用,降低了模型的复杂度和对硬件运算能力的依赖,并提升了运算速度。
从实验结果来看,单纯使用前端模块调试参数时,由于不同被测件之间存在表面反光特性的差异,及存在光照条件变化、灰尘、水渍等不确定因素,很难找到一个适用于所有情况的参数模型;而若将后端分类过滤模块纳入考虑范围后,可在前端模型参数调整时容忍一定的错判率,保证搜索到所有的可能存在缺陷的区域,避免漏检,在此前提下利用后端对被错检的水渍、指纹、反光或干涉纹路等假缺陷进行过滤筛除,可得到较为准确的判断结果,并同时降低了模型搭建的难度。实验过程中对比了单独使用前端模型和结合后端分类器后的缺陷区域搜索结果,验证了神经网络分类器筛选真实目标缺陷的性能。如图4所示。
附图说明
图1:本发明方法流程图;
图2:本发明所采用的神经网络总体构架;
图3:本发明所采用的神经网络中基础处理单元细部结构;
图4:前端处理及前端后端结合处理的缺陷搜索结果;
4.a,4.c:只用前端处理时,搜索结果中存在误判区域;4.b,4.d:加入后端过滤后,被误判的区域被识别并剔除,同时保留真实缺陷;4.e,4.f:区域搜索图块的显示及标记(图块下方标识“NG”代表缺陷,“Pass”代表合格)
具体实施方式
为能进一步了解本发明的发明内容、特点及功效,兹例举以下实施例,并配合附图详细说明如下:
除了属于高反光表面,金属表面还具有在沾染油污、指纹或尘埃后容易在照片中造成瑕疵、印记和衍射/干涉条纹等特点,因此采集优质照片对于测量环境的要求较高,但依旧难以避免上述情况的发生。在上述情况下,单纯运用数字图像处理方法检测较为微小的瑕疵难以兼顾找全缺陷特征及排除上述因素的干扰,容易造成漏检或误判;利用神经网络训练所得到的分类器对不同环境下采集的图像具有较强的适应性,但由于其模型属于黑箱模型,在被测面形状复杂的情况下,训练过程中想要通过终端反馈数据调整网络超参数及数据集分布的难度较大,且用整幅图进行训练对硬件性能的要求较高,训练周期更长,实现难度较大。
本发明针对上述情况,提出一种结合数字图像处理及神经网络分类的方法:将原始采集的图像先进行背景减除、去噪等基本处理,通过特征提取初步确定可能存在瑕疵的零件部位并得到一系列对应部位的区域图像,再将图像序列输入以局部特征区域图块作为训练数据所得到的神经网络分类器,进行是否为真缺陷的判断,以分类器的输出结果作为最终判定结果。
1.方法原理及流程
如附图1所示,一种基于图像处理及神经网络分类的高反光表面缺陷检测方法,包括以下步骤:
步骤一,对采集的基础图像进行背景减除、降噪等处理,剔除干扰。所述的背景减除具体为:针对生产环境下图像背景复杂的情况,利用多幅固定工件位置上的合格件图像作为标准图组制作背景减除的样本,并根据被测件形貌特征制作掩膜,将样本减去掩膜,可有效排除背景因素及被测件摆放位置偏差造成的图像处理过程中的干扰,并更能有效突出瑕疵件上的异物或缺陷。
步骤二,针对目标种类瑕疵的尺寸、形状等特征,加入阈值过滤模块,对剔除干扰后的图像进行轮廓提取/筛选,得到可能的瑕疵轮廓,并根据瑕疵轮廓的位置、大小信息进行特征聚类,得到一系列具有固定大小的矩形区块。
步骤三,由于为了找全所有可能的瑕疵部位,前端输出存在一定的误判概率,因此,将步骤二得到的矩形区块进行局部特征区域图块的截取,局部特征区域图块即为可能具有目标缺陷的图像区域;
步骤四,将局部特征区域图块输入神经网络分类器进行逐个判定,输出一个 0/1(false/true)序列,若判定结果中含有“1”则表明该局部特征区域图块对应的被测件是残次品,反之则为合格。
2.方法实现
2.1前端模型
包括剔除干扰、基础处理及特征提取三部分,主要包括基础图像预处理(滤波去噪、背景减除等)及轮廓提取/筛选和聚类,输出一系列可能具有目标缺陷的图像区域。
2.2后端分类器
关于神经网络分类器的训练,是在确定了数字图像处理前端的各项参数后进行的。
所述的神经网络分类器具体包括三部分内容:网络模型的搭建、数据集制作、训练模型测试筛选。
(1)网络模型的搭建。基本思想是采用基本的多层神经网络结构MLP (Multi-layer Perceptron),通过不同卷积核尺寸下的循环降维卷积得到不同尺度的区域细节,之后进行深度叠加综合各层次的特征,最后进行特征的聚类进而得到一个判定值。网络模型如图2所示,具体实现如下:
在将局部特征区域图块输入网络训练之前,首先将局部特征区域图块大小进行线性缩放,变为56*56大小的图块。网络模型主要分为三个部分:输入预处理层、特征提取层及预测输出层。
A.输入预处理层(输入尺寸图像:56*56*1,输出矩阵尺寸:14*14*192)
该层的主要功能是对图像进行初步降维和特征聚类,减少后续卷积计算的参数量。输入预处理层的内部处理层包括:交替进行的两次卷积核大小为3*3、步长为1的卷积计算,以及两次核大小3*3、步长为2的最大池化。
B.特征提取层(输入矩阵尺寸:14*14*192,输出向量尺寸:1*1024):
该层的主要作用是进行多尺度特征提取及处理,通过多层传递并整合全局和局部特征加快学习速度,是网络的核心部分。
特征提取层的内部处理层包含三个首尾相接的同结构处理模块(以下称基础处理单元),如图3所示,每个所述处理模块有两个输入及两个输出,分别对应 2个数据流结构,以下分别称为多尺度特征处理结构及全局特征传递结构,所述多尺度特征处理结构和全局特征传递结构为各自所属的处理模块产生一个独立输出;其中,第一个处理模块的两个输入均取自输入预处理层的单个输出。
1)多尺度特征处理结构
多尺度特征处理结构的处理对象是上一个处理模块的两个输出进行深度叠加后得到的元组,称为输入元祖;对输入元组分别进行四路处理:第一路对输入元组进行3*3核大小步长为1的最大池化聚类及深度进行下采样(深度变为原来的1/3)的一次1*1核大小步长为一的卷积;第二路对输入元组进行步长为1、核大小为1*1的卷积运算;第三路和第四路首先对输入元组进行一次卷积核为 1*1的深度降维采样,然后分别再进行核大小为3*3、5*5的卷积运算;最后对四路处理得到的四个同高宽尺寸的输出进行深度叠加,并对叠加后结果进行一次核大小为3*3、步长为2的最大池化,至此得到来自多尺度特征处理结构的输出,即第一个输出。
其中,三个多尺度特征处理结构中,第二、三、四路卷积运算的输出的通道数依次设置为[32,16,16],[64,32,32],[96,64,64]。
2)全局特征传递结构
全局特征传递结构仅对输入进行一次核大小为3*3、步长为2的最大池化特征聚类,不进行卷积,用于传递来自预处理层的原始特征,此处产生第二个输出。
在得到两个输出后,进行深度叠加传给下一个处理模块的多尺度特征处理结构,而全局特征传递结构仅接受上一个处理模块中全局特征传递结构的输出,目的是保持原始层输入的特征。在得到第三个处理模块的输出后,对此两个输出进行深度叠加得到结合了聚类后的全局原始特征及循环卷积处理后的特征综合元组,并对特征综合元组依次进行核大小为3*3、步长为1的一次平均池化、深度下采样卷积及一次核大小3*3、步长为2的最大池化,将特征综合元组重塑为2 维特征向量,得到的2维特征向量即为整个特征提取层的输出。
C.预测输出层(输入特征向量尺寸:1*1024,输出特征向量尺寸:1*2):
该层的作用是对特征提取层输出的特征向量进行聚类筛选,得到一个代表输入图像属于某类的概率分布的向量结果。在预测输出层中,特征提取层的输出作为预测输出层的输入依次交替经过全连接层(3层,输出通道数依次为1024,128, 2)及随机失活层(2层,失活率0.5),在最后一个全连接层得到输入图像被判为合格/不合格的概率,取概率大者作为输出判断结果。
(2)数据集制作。所述的数据集来自步骤三得到的局部特征区域图块。由于先前确定了数字图像处理的前端模型,可以在采集原始图像(采集的被测件合格率满足实际生产情况)后先对原始图像进行前端处理,得到局部特征区域图块并进行合格与非合格的标记。而由于实际运用时局部特征区域图块也是由此前端模型产生,这个局部特征区域图块的概率分布满足实际运用时假缺陷/真缺陷出现的概率。为了增强分类器的鲁棒性,对局部特征区域图块进行亮度变化、加噪声及翻转处理。此步骤相对于直接用整幅图像输入网络进行深度学习,对目标缺陷特征的学习更具有针对性,更能充分利用图像细节信息,有效缩短了学习周期。
(3)训练模型测试筛选。选取30%的数据作为测试集,其余作训练集,测试集和训练集的合格/不合格区域比例保持与全体数据集一致;最终取使得测试集误差曲线及训练集误差曲线达到最低相交点处的训练参数作为神经网络分类器参数。
将最优版本生成固化,作为过滤结果的后端与前端模型相连,组成完整的缺陷检测模型。
实施例一
1.进行数据采集
在确认实际生产环境下所使用的图像采集设备、光照设备及生产空间条件之后,在该条件下对具有一定数量的被检类型金属工件的被测面进行图像采集,采集过程中调整光源角度及强度,使所采集的图像中可充分体现所需的缺陷特征,并且注意采集数据时所使用的被测件中,合格品与残次品的概率应尽量与实际生产过程中所产生的合格率大致相符,且残次品上的缺陷特征及缺陷所出现的部位也应尽量囊括可能会出现的缺陷的所有情况。
2.前端模型调试
选取数据集中部分具有典型缺陷特征的被测件图集作为测试素材,对数字图像处理前端模型进行参数的微调,调试的目的主要在于使之能够找全残次件被测面上所有缺陷,可容忍一定范围内的错检率,具体范围根据被测表面相对于目标缺陷的大小等实际情况而定,但在原始图像合格率合理分布的前提下,为保证后续处理速度及结果稳定性,经前端处理所得到的区域图块中错检部位的占比一般不应超过50%,同时也应注意前端输出图块的大小设定,应根据被测面的大小和形状及细部特征进行适当调整。
3.神经网络分类器训练
数据集来自调试完成后前端模型产生的候选缺陷区域图集(即局部特征区域图块),为了使分类器具有更强的适应性,可对候选缺陷区域图集进行翻转、亮度变化及加噪处理,但在此过程中应注意参考实际环境可能出现的亮度变化及噪声波动的范围,若在制作数据集时忽略此因素,很可能造成最后的训练结果并不适用于实际情况,或达不到增强鲁棒性的效果。
选取30%的数据作为测试集,其余作训练集,二者的合格/不合格区域比例保持与全体数据集一致。最终取使得测试集误差曲线及训练集误差曲线达到最低相交点处的训练参数作为分类器参数。
实验过程中,用于确定模型参数及深度学习训练的原始数据来自合格率约为70%的被测件对应图集,因此测试时另取89个同类型被测件,其中28个为不合格品,其余61个为合格品,利用采集训练数据样本时相同的光照及采集设备,并保持环境因素大致相近,对该89个测试件进行图像采集,并利用上述检测模型对其进行合格与否的判定。测试结果如表1所示。
表1测试结果
尽管上面结合附图对本发明的优选实施例进行了描述,但是本发明并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,并不是限制性的,本领域的普通技术人员在本发明的启示下,在不脱离本发明宗旨和权利要求所保护的范围情况下,还可以做出很多形式,这些均属于本发明的保护范围之内。

Claims (10)

1.一种基于图像处理及神经网络分类的高反光表面缺陷检测方法,其特征在于,包括以下步骤:
步骤一,对采集的基础图像进行背景减除、降噪处理,剔除干扰;
步骤二,对剔除干扰后的图像进行轮廓提取/筛选和聚类,得到一系列具有固定大小的矩形区块;
步骤三,将步骤二得到的矩形区块进行局部特征区域图块的截取,局部特征区域图块即为可能具有目标缺陷的图像区域;
步骤四,将局部特征区域图块输入神经网络分类器进行逐个判定,输出一个0/1序列,若判定结果中含有“1”则表明该局部特征区域图块对应的被测件是残次品,反之则为合格。
2.根据权利要求1所述的一种基于图像处理及神经网络分类的高反光表面缺陷检测方法,其特征在于,步骤一中,所述的背景减除具体为:利用多幅固定工件位置上的合格件图像作为标准图组制作背景减除的样本,并根据被测件形貌特征制作掩膜,在后续处理各个样本的过程中,通过以样本图像减除掩膜的方式,去除大部分由背景及光照条件所引入的图像干扰。
3.根据权利要求1所述的一种基于图像处理及神经网络分类的高反光表面缺陷检测方法,其特征在于,步骤二具体包括:加入阈值过滤模块,得到可能的瑕疵轮廓,并根据瑕疵轮廓的位置、大小信息进行特征聚类,得到一系列具有固定大小的矩形区块。
4.根据权利要求1所述的一种基于图像处理及神经网络分类的高反光表面缺陷检测方法,其特征在于,步骤四中,所述的神经网络分类器具体包括三部分内容:网络模型的搭建、数据集制作、训练模型测试筛选。
5.根据权利要求4所述的一种基于图像处理及神经网络分类的高反光表面缺陷检测方法,其特征在于,所述的网络模型的搭建是采用基本的多层神经网络结构,通过不同卷积核尺寸下的循环降维卷积得到不同尺度的区域细节,之后进行深度叠加综合各层次的特征,最后进行特征的聚类进而得到一个判定值,分为三个部分:输入预处理层、特征提取层、预测输出层。
6.根据权利要求5所述的一种基于图像处理及神经网络分类的高反光表面缺陷检测方法,其特征在于,所述的输入预处理层的内部处理层包括:交替进行的两次卷积核大小为3*3、步长为1的卷积计算,以及两次核大小3*3、步长为2的最大池化。
7.根据权利要求5所述的一种基于图像处理及神经网络分类的高反光表面缺陷检测方法,其特征在于,所述的特征提取层的内部处理层包含三个首尾相接的同结构处理模块,每个所述处理模块有两个输入及两个输出,分别对应多尺度特征处理结构和全局特征传递结构,所述多尺度特征处理结构和全局特征传递结构为各自所属的处理模块产生一个独立输出;其中,第一个处理模块的两个输入均取自输入预处理层的单个输出;
1)多尺度特征处理结构
多尺度特征处理结构的处理对象是上一个处理模块的两个输出进行深度叠加后得到的元组,称为输入元祖;对输入元组分别进行四路处理:第一路对输入元组进行3*3核大小步长为1的最大池化聚类及对1/3原深度进行下采样的一次1*1核大小步长为一的卷积;第二路对输入元组进行步长为1、核大小为1*1的卷积运算;第三路和第四路首先对输入元组进行一次卷积核为1*1的深度降维采样,然后分别再进行核大小为3*3、5*5的卷积运算;最后对四路处理得到的四个同高宽尺寸的输出进行深度叠加,并对叠加后结果进行一次核大小为3*3、步长为2的最大池化,得到第一个输出;
其中,三个多尺度特征处理结构中,第二、三、四路卷积运算的输出的通道数依次设置为[32,16,16],[64,32,32],[96,64,64];
2)全局特征传递结构
全局特征传递结构对输入进行一次核大小为3*3、步长为2的最大池化特征聚类,产生第二个输出;
在得到两个输出后,进行深度叠加传给下一个处理模块的多尺度特征处理结构,而全局特征传递结构仅接受上一个处理模块中全局特征传递结构的输出;在得到第三个处理模块的输出后,对此两个输出进行深度叠加得到结合了聚类后的全局原始特征及循环卷积处理后的特征综合元组,并对特征综合元组依次进行核大小为3*3、步长为1的一次平均池化、深度下采样卷积及一次核大小3*3、步长为2的最大池化,将特征综合元组重塑为2维特征向量,得到的2维特征向量即为整个特征提取层的输出。
8.根据权利要求5所述的一种基于图像处理及神经网络分类的高反光表面缺陷检测方法,其特征在于,所述的预测输出层中,特征提取层的输出作为预测输出层的输入依次交替经过三个全连接层及两个随机失活层,在最后一个全连接层得到输入图像被判为合格/不合格的概率,取概率大者作为输出判断结果;其中,三个全连接层的输出通道数依次为1024,128,2;两个随机失活层的失活率均为0.5。
9.根据权利要求4所述的一种基于图像处理及神经网络分类的高反光表面缺陷检测方法,其特征在于,所述的数据集制作中,所述的数据集来自步骤三得到的局部特征区域图块,对局部特征区域图块进行合格与非合格的标记,并且,对局部特征区域图块进行亮度变化、加噪声及翻转处理。
10.根据权利要求4所述的一种基于图像处理及神经网络分类的高反光表面缺陷检测方法,其特征在于,所述的训练模型测试筛选中,选取30%的数据作为测试集,其余作训练集,测试集和训练集的合格/不合格区域比例保持与全体数据集一致;最终取使得测试集误差曲线及训练集误差曲线达到最低相交点处的训练参数作为神经网络分类器参数。
CN201810258749.4A 2018-03-27 2018-03-27 基于图像处理及神经网络分类的高反光表面缺陷检测方法 Active CN108520274B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810258749.4A CN108520274B (zh) 2018-03-27 2018-03-27 基于图像处理及神经网络分类的高反光表面缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810258749.4A CN108520274B (zh) 2018-03-27 2018-03-27 基于图像处理及神经网络分类的高反光表面缺陷检测方法

Publications (2)

Publication Number Publication Date
CN108520274A true CN108520274A (zh) 2018-09-11
CN108520274B CN108520274B (zh) 2022-03-11

Family

ID=63434305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810258749.4A Active CN108520274B (zh) 2018-03-27 2018-03-27 基于图像处理及神经网络分类的高反光表面缺陷检测方法

Country Status (1)

Country Link
CN (1) CN108520274B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109115805A (zh) * 2018-10-25 2019-01-01 广东华中科技大学工业技术研究院 基于超声和光学双成像的透明构件缺陷检测装置及方法
CN109740617A (zh) * 2019-01-08 2019-05-10 国信优易数据有限公司 一种图像检测方法及装置
CN109840471A (zh) * 2018-12-14 2019-06-04 天津大学 一种基于改进Unet网络模型的可行道路分割方法
CN109993162A (zh) * 2019-03-01 2019-07-09 昆明理工大学 基于卷积神经网络的老挝语印刷体文本光学字符识别方法
CN110046561A (zh) * 2019-03-29 2019-07-23 贵阳铝镁设计研究院有限公司 一种基于三维视觉的电解铝阳极炭块表面钢印识别方法
CN110070526A (zh) * 2019-04-18 2019-07-30 深圳市深视创新科技有限公司 基于深度神经网络热度图预测的缺陷检测方法
CN110288570A (zh) * 2019-05-31 2019-09-27 东南大学 一种基于视觉注意机制的转子绕线弱反光图像检测方法
CN110346808A (zh) * 2019-07-15 2019-10-18 上海点积实业有限公司 一种激光雷达的点云数据处理方法和系统
CN110363227A (zh) * 2019-06-24 2019-10-22 广东工业大学 一种基于流形学习的led分类方法
CN110400315A (zh) * 2019-08-01 2019-11-01 北京迈格威科技有限公司 一种缺陷检测方法、装置及系统
CN110599455A (zh) * 2019-08-13 2019-12-20 武汉精立电子技术有限公司 显示屏缺陷检测网络模型、方法、装置、电子设备及存储介质
CN111105399A (zh) * 2019-12-19 2020-05-05 苏州经贸职业技术学院 开关表面缺陷检测方法及系统
CN111242057A (zh) * 2020-01-16 2020-06-05 南京理工大学 产品分拣系统、方法、计算机设备和存储介质
CN111307817A (zh) * 2020-02-12 2020-06-19 武汉大学 一种智能产线pcb生产过程的在线检测方法及系统
CN111340796A (zh) * 2020-03-10 2020-06-26 创新奇智(成都)科技有限公司 一种缺陷检测方法、装置、电子设备及存储介质
CN111553480B (zh) * 2020-07-10 2021-01-01 腾讯科技(深圳)有限公司 图像数据处理方法、装置、计算机可读介质及电子设备
CN112418418A (zh) * 2020-11-11 2021-02-26 江苏禹空间科技有限公司 基于神经网络的数据处理方法、装置、存储介质及服务器
WO2021046726A1 (zh) * 2019-09-10 2021-03-18 西门子能源国际公司 用于检测机械设备零部件的方法和装置
CN112683923A (zh) * 2019-10-17 2021-04-20 神讯电脑(昆山)有限公司 基于人工神经网络的物件表面型态的筛选方法
CN112967226A (zh) * 2021-01-29 2021-06-15 绍兴隆芙力智能科技发展有限公司 一种基于人工智能的高反光制品检测系统、方法及介质
CN113066079A (zh) * 2021-04-19 2021-07-02 北京滴普科技有限公司 木材缺陷自动检测方法、系统及其存储介质
CN114693622A (zh) * 2022-03-22 2022-07-01 电子科技大学 一种基于人工智能的斑块侵蚀自动检测系统
CN115170853A (zh) * 2022-09-07 2022-10-11 南通钇龙玻璃制品有限公司 一种玻璃瓶表面喷涂质量检测方法
CN115272134A (zh) * 2022-09-26 2022-11-01 南通睿禧智能科技有限公司 一种基于pcb干扰反光识别的pcb图像去反光方法
US11493453B2 (en) * 2019-06-28 2022-11-08 Kyocera Document Solutions Inc. Belt inspection system, belt inspection method, and recording medium for belt inspection program
CN115586792A (zh) * 2022-09-30 2023-01-10 三峡大学 基于铁塔参数的无人机电力巡检系统及方法
CN117078608A (zh) * 2023-08-06 2023-11-17 武汉纺织大学 一种基于双掩码引导的高反光皮革表面缺陷检测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104483326A (zh) * 2014-12-19 2015-04-01 长春工程学院 基于深度信念网络的高压线绝缘子缺陷检测方法及系统
CN104608799A (zh) * 2014-12-12 2015-05-13 郑州轻工业学院 基于信息融合技术列车轮对踏面损伤在线检测与识别方法
CN106093066A (zh) * 2016-06-24 2016-11-09 安徽工业大学 一种基于改进的机器视觉注意机制的磁瓦表面缺陷检测方法
CN106952250A (zh) * 2017-02-28 2017-07-14 北京科技大学 一种基于Faster R‑CNN网络的金属板带表面缺陷检测方法及装置
CN107808378A (zh) * 2017-11-20 2018-03-16 浙江大学 基于垂直纵横线轮廓特征的复杂结构铸件潜在缺陷检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104608799A (zh) * 2014-12-12 2015-05-13 郑州轻工业学院 基于信息融合技术列车轮对踏面损伤在线检测与识别方法
CN104483326A (zh) * 2014-12-19 2015-04-01 长春工程学院 基于深度信念网络的高压线绝缘子缺陷检测方法及系统
CN106093066A (zh) * 2016-06-24 2016-11-09 安徽工业大学 一种基于改进的机器视觉注意机制的磁瓦表面缺陷检测方法
CN106952250A (zh) * 2017-02-28 2017-07-14 北京科技大学 一种基于Faster R‑CNN网络的金属板带表面缺陷检测方法及装置
CN107808378A (zh) * 2017-11-20 2018-03-16 浙江大学 基于垂直纵横线轮廓特征的复杂结构铸件潜在缺陷检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHRISTIAN SZEGEDY ET AL.: "Going Deeper with Convolutions", 《IEEE》 *
刘云 等: "基于卷积神经网络的苹果缺陷检测算法", 《电子测量技术》 *

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109115805A (zh) * 2018-10-25 2019-01-01 广东华中科技大学工业技术研究院 基于超声和光学双成像的透明构件缺陷检测装置及方法
CN109840471A (zh) * 2018-12-14 2019-06-04 天津大学 一种基于改进Unet网络模型的可行道路分割方法
CN109740617A (zh) * 2019-01-08 2019-05-10 国信优易数据有限公司 一种图像检测方法及装置
CN109993162A (zh) * 2019-03-01 2019-07-09 昆明理工大学 基于卷积神经网络的老挝语印刷体文本光学字符识别方法
CN110046561A (zh) * 2019-03-29 2019-07-23 贵阳铝镁设计研究院有限公司 一种基于三维视觉的电解铝阳极炭块表面钢印识别方法
CN110070526A (zh) * 2019-04-18 2019-07-30 深圳市深视创新科技有限公司 基于深度神经网络热度图预测的缺陷检测方法
CN110288570A (zh) * 2019-05-31 2019-09-27 东南大学 一种基于视觉注意机制的转子绕线弱反光图像检测方法
CN110363227A (zh) * 2019-06-24 2019-10-22 广东工业大学 一种基于流形学习的led分类方法
US11493453B2 (en) * 2019-06-28 2022-11-08 Kyocera Document Solutions Inc. Belt inspection system, belt inspection method, and recording medium for belt inspection program
CN110346808A (zh) * 2019-07-15 2019-10-18 上海点积实业有限公司 一种激光雷达的点云数据处理方法和系统
CN110400315A (zh) * 2019-08-01 2019-11-01 北京迈格威科技有限公司 一种缺陷检测方法、装置及系统
CN110400315B (zh) * 2019-08-01 2020-05-05 北京迈格威科技有限公司 一种缺陷检测方法、装置及系统
CN110599455A (zh) * 2019-08-13 2019-12-20 武汉精立电子技术有限公司 显示屏缺陷检测网络模型、方法、装置、电子设备及存储介质
WO2021046726A1 (zh) * 2019-09-10 2021-03-18 西门子能源国际公司 用于检测机械设备零部件的方法和装置
CN112683923A (zh) * 2019-10-17 2021-04-20 神讯电脑(昆山)有限公司 基于人工神经网络的物件表面型态的筛选方法
CN111105399A (zh) * 2019-12-19 2020-05-05 苏州经贸职业技术学院 开关表面缺陷检测方法及系统
CN111242057A (zh) * 2020-01-16 2020-06-05 南京理工大学 产品分拣系统、方法、计算机设备和存储介质
CN111307817A (zh) * 2020-02-12 2020-06-19 武汉大学 一种智能产线pcb生产过程的在线检测方法及系统
CN111307817B (zh) * 2020-02-12 2021-04-09 武汉大学 一种智能产线pcb生产过程的在线检测方法及系统
CN111340796A (zh) * 2020-03-10 2020-06-26 创新奇智(成都)科技有限公司 一种缺陷检测方法、装置、电子设备及存储介质
CN111553480B (zh) * 2020-07-10 2021-01-01 腾讯科技(深圳)有限公司 图像数据处理方法、装置、计算机可读介质及电子设备
CN112418418A (zh) * 2020-11-11 2021-02-26 江苏禹空间科技有限公司 基于神经网络的数据处理方法、装置、存储介质及服务器
CN112967226A (zh) * 2021-01-29 2021-06-15 绍兴隆芙力智能科技发展有限公司 一种基于人工智能的高反光制品检测系统、方法及介质
CN113066079A (zh) * 2021-04-19 2021-07-02 北京滴普科技有限公司 木材缺陷自动检测方法、系统及其存储介质
CN114693622A (zh) * 2022-03-22 2022-07-01 电子科技大学 一种基于人工智能的斑块侵蚀自动检测系统
CN114693622B (zh) * 2022-03-22 2023-04-07 电子科技大学 一种基于人工智能的斑块侵蚀自动检测系统
CN115170853A (zh) * 2022-09-07 2022-10-11 南通钇龙玻璃制品有限公司 一种玻璃瓶表面喷涂质量检测方法
CN115272134A (zh) * 2022-09-26 2022-11-01 南通睿禧智能科技有限公司 一种基于pcb干扰反光识别的pcb图像去反光方法
CN115272134B (zh) * 2022-09-26 2022-12-16 南通睿禧智能科技有限公司 一种基于pcb干扰反光识别的pcb图像去反光方法
CN115586792A (zh) * 2022-09-30 2023-01-10 三峡大学 基于铁塔参数的无人机电力巡检系统及方法
CN115586792B (zh) * 2022-09-30 2023-06-27 三峡大学 基于铁塔参数的无人机电力巡检系统及方法
CN117078608A (zh) * 2023-08-06 2023-11-17 武汉纺织大学 一种基于双掩码引导的高反光皮革表面缺陷检测方法
CN117078608B (zh) * 2023-08-06 2024-01-26 武汉纺织大学 一种基于双掩码引导的高反光皮革表面缺陷检测方法

Also Published As

Publication number Publication date
CN108520274B (zh) 2022-03-11

Similar Documents

Publication Publication Date Title
CN108520274A (zh) 基于图像处理及神经网络分类的高反光表面缺陷检测方法
Ren et al. State of the art in defect detection based on machine vision
CN107123114A (zh) 一种基于机器学习的布匹缺陷检测方法及装置
CN106778705B (zh) 一种行人个体分割方法及装置
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
CN105654121A (zh) 一种基于深度学习的复杂提花织物缺陷检测方法
CN110473178A (zh) 一种基于多光源融合的外观缺陷检测方法及系统
CN105069790A (zh) 一种齿轮外观缺陷快速影像检测方法
CN109509187A (zh) 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN110490842A (zh) 一种基于深度学习的带钢表面缺陷检测方法
Wan et al. Ceramic tile surface defect detection based on deep learning
CN109215015A (zh) 一种基于卷积神经网络的蚕茧在线视觉检测方法
Wu et al. Enhanced precision in dam crack width measurement: Leveraging advanced lightweight network identification for pixel-level accuracy
CN113240623B (zh) 一种路面病害检测方法及装置
CN109272060A (zh) 一种基于改进的darknet神经网络进行目标检测的方法和系统
CN108460336A (zh) 一种基于深度学习的行人检测方法
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
CN113409267A (zh) 一种基于深度学习的路面裂缝检测与分割方法
Liang et al. Research on concrete cracks recognition based on dual convolutional neural network
Yao et al. A feature memory rearrangement network for visual inspection of textured surface defects toward edge intelligent manufacturing
CN110298410A (zh) 基于深度学习的低对比度图像中弱目标检测方法及装置
CN114881998A (zh) 一种基于深度学习的工件表面缺陷检测方法及系统
CN108305242A (zh) 一种用于工业生产线的智能视觉检测方法、系统及装置
Chen et al. Swintd: Transformer-based detection network for foreign objects in the cut section of tobacco packets
Yin et al. Road Damage Detection and Classification based on Multi-level Feature Pyramids.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant