CN111462092A - 一种基于深度学习的保温杯表面的缺陷检测方法 - Google Patents

一种基于深度学习的保温杯表面的缺陷检测方法 Download PDF

Info

Publication number
CN111462092A
CN111462092A CN202010254872.6A CN202010254872A CN111462092A CN 111462092 A CN111462092 A CN 111462092A CN 202010254872 A CN202010254872 A CN 202010254872A CN 111462092 A CN111462092 A CN 111462092A
Authority
CN
China
Prior art keywords
image
defect
vacuum cup
neural network
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010254872.6A
Other languages
English (en)
Inventor
王宪保
周宝
余皓鑫
段明明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202010254872.6A priority Critical patent/CN111462092A/zh
Publication of CN111462092A publication Critical patent/CN111462092A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Genetics & Genomics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本方法公开一种基于深度学习的保温杯表面缺陷检测的方法，该方法首先采集采集用于训练的若干类的保温杯杯体表面缺陷的图片，并对图像进行预处理和二值化后，提取几何特征、灰度特征和纹理特征，然后降低特征空间维度，压缩特征数据量，得到数据矩阵，并将该数据矩阵作为输入、保温杯表面的缺陷类型作为输出，训练BP神经网络，然后将实时采集的保温杯杯体表面缺陷的图片经过预处理后，代入训练好的BP神经网络，从而实现保温杯杯体表面的缺陷的实时检测。本发明的方法能对保温杯杯体表面缺陷进行智能检测，有良好的可操作性和可持续性，同时正确性和稳定性更高。

Description

一种基于深度学习的保温杯表面的缺陷检测方法
技术领域
本发明涉及图像处理领域，具体涉及一种基于深度学习的保温杯表面的缺陷检测方法。
背景技术
保温杯杯体的主要材质是不锈钢，因为不锈钢具有较高的硬度、较强的抗腐蚀性且具有易塑性加工等优良特性。目前保温杯杯体表面加工制造的方式有很多，包括机械打磨、化学腐蚀、电解抛光、超声波抛光及手工抛光。但不论采用哪种方法，再生产加工过程中都不可避免的会产生各种类型的表面缺陷。当前，主流应用的表面缺陷检测方案有：人工目测法和物理属性法。可是人工目测法易受情绪影响，可靠性和稳定差，效率低且检测成本高。物理属性法检测的材料类型有限，且制造相应的检测设备难度大、成本高。
发明内容
针对现有技术的不足，本发明提出一种基于深度学习的保温杯表面的缺陷检测方法，具体技术方案如下：
一种基于深度学习的保温杯表面的缺陷检测方法，该方法具体包括如下步骤：
S1：采集用于训练的若干类的保温杯杯体表面缺陷的图片，采集的训练图片中尽量覆盖所有的缺陷种类，且图片中不包含杯体阴影；
S2：对S1获取的保温杯杯体图片进行图像滤波、图像增强和图像分割处理，得到分割后的二值化图像；
S3：对所述的二值化图像进行特征提取，获取不同类型缺陷的不同特性的几何特征；
S4：根据灰度直方图的统计特征，计算图像的灰度特征；
S5：通过灰度共生矩阵对纹理特征进行计算，从而提取纹理特征；
S6：提取目标变量中最具代表性的特征，降低特征空间维度，压缩特征数据量，得到数据矩阵；
S7：将S6的数据矩阵作为输入、保温杯表面的缺陷类型作为输出，训练BP神经网络，当输出误差小于最小目标误差或者迭代次数超过最大迭代次数时，训练结束，得到训练好的BP神经网络；
S8：将实时采集的保温杯杯体表面缺陷的图片经过S1～S6的预处理后，代入训练好的BP神经网络，从而实现保温杯杯体表面的缺陷的实时检测。
进一步地，所述的S2的具体步骤如下：
S2.1：对于获取的大小为M×N的图像f(x，y)进行二维离散傅里叶变换、高通滤波变换，然后再进行傅里叶逆变换就得到滤除噪声后的图像g(x，y)，具体计算公式如下：
Figure BDA0002436899240000021
Figure BDA0002436899240000022
G(u，v)＝F(u，v)H(u，v) (3)
Figure BDA0002436899240000023
其中，u，v为频率变量，u＝0，1，2，…，M-1，v＝0，1，2，…，N-1；x，y为图像空间变量，x＝0，1，2，…，M-1，y＝0，1，2，…，N-1；σ为标准差，D(u，v)为点(u，v)到滤波器中心的距离。
S2.2：根据下式对图像中的每一个像素做线性扩展，原始图像g(x，y)的灰度范围为[a，b]，线性变化后的图像t(x，y)的范围是[c，d]；
Figure BDA0002436899240000024
S2.3：通过下式消除噪声，再通过公式(6)～(7)求出滤波后图像梯度的幅值|S|和方向θ；
Figure BDA0002436899240000025
I(x，y)＝f(x，y)G(x，y) (7)
Figure BDA0002436899240000026
Figure BDA0002436899240000027
S2.4：比较8邻域内像素的灰度值，灰度值最大的点即为边缘点，并将其它像素点灰度值置零；设阈值为T1和T2，且T1＞T2，比率为3：1，T1用于限制边缘的最低强度，T2用于提取完整的边缘轮廓；将小于T2的点抛弃，赋0；将大于T1的点立即标记，赋1；将小于T1，大于T2的点使用8联通区域确定，得到分割后的二值化图像。
进一步地，所述的几何特征包括缺陷面积S、缺陷紧凑性C、偏心率E、不变矩Hu，计算公式如下：
Figure BDA0002436899240000028
Figure BDA0002436899240000029
Figure BDA00024368992400000210
其中，P为缺陷区域的边界周长，a为缺陷区域的最小外界椭圆的长轴的长度，a为缺陷区域的最小外界椭圆的短轴的长度；
所述的不变矩Hu的计算过程如下：
(1)依次计算二维图像为f(x，y)的(p+q)阶矩mpq、响应的中心距μpq、归一化的(p+q)阶中心矩ηpq
Figure BDA0002436899240000031
Figure BDA0002436899240000032
Figure BDA0002436899240000033
其中，(xc，yc)为缺陷区域的灰度重心坐标，
Figure BDA0002436899240000034
Figure BDA0002436899240000035
为μpq的初值；
(2)根据下式计算描述边界特征的图像的7个不变矩
f1＝η20+η02 (16)
Figure BDA0002436899240000036
f3＝(η30-3η12)2+(3η21-η03)2 (18)
f4＝(η30+η12)2+(η21+η03)2 (19)
f5＝(η30-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)2] (20)
+(3η21-η03)(η21+η03)[3(η30+η12)2-(η21+η03)] (21)
f6＝(η20-η02)2+[(η30+η12)2-(η21+η03)2]+4η11(η30+η12)(η21+η03) (22)
f7＝(3η21-η03)(η30+η12)[(η30+η12)2-3(η21+η03)2]+(3η12-η03)(η21+η03)[3(η30+η12)2-](η21+η03)2。 (23)
进一步地，所述的S4中，所述的灰度特征包括均值m、标准差、平滑度R、三阶矩μ3、一致性U、熵e，计算公式如下：
Figure BDA0002436899240000037
Figure BDA0002436899240000038
R＝1-1/(1+σ2) (26)
Figure BDA0002436899240000039
Figure BDA00024368992400000310
Figure BDA00024368992400000311
其中，P(i)为一阶灰度直方图，L为灰度级，i＝0，1，2，…，L-1。
进一步地，所述的S5的纹理特征包括能量S1、相关性S2、同质性S3、对比度S4，计算公式如下：
Figure BDA0002436899240000041
Figure BDA0002436899240000042
Figure BDA0002436899240000043
Figure BDA0002436899240000044
P(i，j)为灰度共生矩阵中的元素，σx、σy为灰度共生矩阵中的元素的均值的两个分量，N为二维图像的像素总数。
进一步地，所述的S6具体如下：
将S3-S5的每一个特征看作一个维，每一个维的数据都减去该维的均值，得到一个新的矩阵，计算新矩阵的协方差矩阵和协方差矩阵的特征值和特征向量，选取最大的特征值对应的特征向量，得到一个新的数据矩阵，作为最终分类器的输入数据。
进一步地，所述的S7具体如下：
根据S6的降维操作，设置输入的神经元个数为6，输出层神经元个数设置为4，隐含层神经元个数设置为8。
S7.1：根据三层前馈神经网络中的神经元个数确定激活函数，隐含层使用正切S型传递函数tansig，输出层使用线性传递函数purelin，训练函数为动态自适应学习率的梯度下降算法trainlm，网络学习函数为带动量项的BP学习规则learngdm，性能分析函数使用均方误差函数mse；
S7.2：初始化BP神经网络的权值阈值长度，通过遗传算法对初始化的权值阈值进行优化，再将优化后的权值和阈值作为BP神经网络的初始权值和阈值。
S7.3：设置学习率、最小目标误差及最大迭代数；将S6得到的降维后的数据矩阵作为输入数据进行训练，保温杯表面的缺陷类型作为输出，当输出误差小于最小目标误差或者迭代次数超过最大迭代次数时，训练结束，得到训练好的BP神经网络。
本发明的有益效果如下：
(1)本发明的方法通过对不同类型的缺陷进行多维度特征研究，并对高维特征向量进行降维处理，减少了原始图像中的冗余数据、降低特征空间维数以及弱化噪声的影响；
(2)通过基于深度学习的方法对缺陷进行检测，具有良好的可操作性和可持续性，同时检测正确率高，工作的稳定性好。
附图说明
图1为本发明的基于深度学习的保温杯表面的缺陷检测方法的流程图。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明的原理为：当工件定位检测器探测到保温杯处于摄像系统感兴趣的区域时，图像采集卡会接收一个外部触发脉冲，并控制相机设备采集多幅图像。相机设备通过镜头的光学成像，将光学信号转换为数字图像信号并存储到终端计算机的内存中。终端计算机设备对采集到的数字图像信号进行预处理，提取有效检测区域，进一步的压缩图像数据，排除不必要的冗余数据。图像预处理包括滤波处理、图像增强、图像分割，接着对缺陷区域进行目标分割提取，经过相关的特征描述选择有效特征信息，然后经过分类器进行模式识别，从而对缺陷域进行检测判断。最后将检测的结果显示出来。
如图1所示，本发明的基于深度学习的保温杯表面的缺陷检测方法，该方法具体包括如下步骤：
S1：采集用于训练的若干类的保温杯杯体表面缺陷的图片，采集的训练图片中尽量覆盖所有的缺陷种类，且图片中不包含杯体阴影；
具体操作时，用高亮度半球形反射光源对被测物体进行均匀散射，同时同一个有大功率LED、漫反射板与半反射板与半反射组成的补光照明系统对被测物体进行补光，放置在摄像机轴上，采用分辨率高的工业数字摄像机，得到的图片有很高的图像质量。
S2：对S1获取的保温杯杯体图片进行图像滤波、图像增强和图像分割处理，得到分割后的二值化图像，具体步骤如下：
S2.1：对于获取的大小为M×N的图像f(x，y)进行二维离散傅里叶变换、高通滤波变换，然后再进行傅里叶逆变换就得到滤除噪声后的图像g(x，y)，具体计算公式如下：
Figure BDA0002436899240000051
Figure BDA0002436899240000052
G(u，v)＝F(u，v)H(u，v) (3)
Figure BDA0002436899240000053
其中，u，v为频率变量，u＝0，1，2，…，M-1，v＝0，1，2，…，N-1；x，y为图像空间变量，x＝0，1，2，…，M-1，y＝0，1，2，…，N-1；σ为标准差，D(u，v)为点(u，v)到滤波器中心的距离。
S2.2：根据下式对图像中的每一个像素做线性扩展，原始图像g(x，y)的灰度范围为[a，b]，线性变化后的图像t(x，y)的范围是[c，d]；变换后的图像体偏亮，与缺陷的对比度加深，将原始图像的灰度值范围拉伸到整个灰度级范围。
Figure BDA0002436899240000061
S2.3：通过下式消除噪声，再通过公式(6)～(7)求出滤波后图像梯度的幅值|S|和方向θ；
Figure BDA0002436899240000062
I(x，y)＝f(x，y)G(x，y) (7)
Figure BDA0002436899240000063
Figure BDA0002436899240000064
S2.4：比较8邻域内像素的灰度值，灰度值最大的点即为边缘点，并将其它像素点灰度值置零；设阈值为T1和T2，且T1＞T2，比率为3：1，T1用于限制边缘的最低强度，T2用于提取完整的边缘轮廓；将小于T2的点抛弃，赋0；将大于T1的点立即标记，赋1；将小于T1，大于T2的点使用8联通区域确定，得到分割后的二值化图像。
S3：对所述的二值化图像进行特征提取，获取不同类型缺陷的不同特性的几何特征；所述的几何特征包括缺陷面积S、缺陷紧凑性C、偏心率E、不变矩Hu，计算公式如下：
Figure BDA0002436899240000065
Figure BDA0002436899240000066
Figure BDA0002436899240000067
其中，P为缺陷区域的边界周长，a为缺陷区域的最小外界椭圆的长轴的长度，a为缺陷区域的最小外界椭圆的短轴的长度；
所述的不变矩Hu的计算过程如下：
(1)依次计算二维图像为f(x，y)的(p+q)阶矩mpq、响应的中心距μpq、归一化的(p+q)阶中心矩ηpq
Figure BDA0002436899240000068
Figure BDA0002436899240000071
Figure BDA0002436899240000072
其中，(xc，yc)为缺陷区域的灰度重心坐标，
Figure BDA0002436899240000073
Figure BDA0002436899240000074
为μpq的初值；
(2)根据下式计算描述边界特征的图像的7个不变矩
f1＝η20+η02 (16)
Figure BDA0002436899240000075
f3＝(η30-3η12)2+(3η21-η03)2 (18)
f4＝(η30+η12)2+(η21+η03)2 (19)
f5＝(η30-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)2] (20)
+(3η21-η03)(η21+η03)[3(η30+η12)2-(η21+η03)] (21)
f6＝(η20-η02)2+[(η30+η12)2-(η21+η03)2]+4η11(η30+η12)(η21+η03) (22)
f7＝(3η21-η03)(η30+η12)[(η30+η12)2-3(η21+η03)2]+(3η12-η03)(η21+η03)[3(η30+η12)2-](η21+η03)2。 (23)
S4：根据灰度直方图的统计特征，计算图像的灰度特征；
所述的灰度特征包括均值m、标准差、平滑度R、三阶矩μ3、一致性U、熵e，计算公式如下：其中，均值m反映图像总体的灰度水平，标准差反映灰度直方图的离散程度，平滑度R为区域中灰度的相对均匀性的度量；
Figure BDA0002436899240000076
Figure BDA0002436899240000077
R＝1-1/(1+σ2) (26)
Figure BDA0002436899240000078
Figure BDA0002436899240000079
Figure BDA00024368992400000710
其中，P(i)为一阶灰度直方图，L为灰度级，i＝0，1，2，…，L-1；
S5：通过灰度共生矩阵对纹理特征进行计算，从而提取纹理特征；
纹理特征包括能量S1、相关性S2、同质性S3、对比度S4，计算公式如下：
Figure BDA0002436899240000081
Figure BDA0002436899240000082
Figure BDA0002436899240000083
Figure BDA0002436899240000084
P(i，j)为灰度共生矩阵中的元素，σx、σy为灰度共生矩阵中的元素的均值的两个分量，N为二维图像的像素总数。
S6：提取目标变量中最具代表性的特征，降低特征空间维度，压缩特征数据量，得到数据矩阵，具体为：
将S3-S5的每一个特征看作一个维，每一个维的数据都减去该维的均值，得到一个新的矩阵，计算新矩阵的协方差矩阵和协方差矩阵的特征值和特征向量，选取最大的特征值对应的特征向量，得到一个新的数据矩阵，作为最终分类器的输入数据。
S7：将S6的数据矩阵作为输入、保温杯表面的缺陷类型作为输出，训练BP神经网络，当输出误差小于最小目标误差或者迭代次数超过最大迭代次数时，训练结束，得到训练好的BP神经网络，具体为：
根据S6的降维操作，设置输入的神经元个数为6，输出层神经元个数设置为4，隐含层神经元个数设置为8。
S7.1：根据三层前馈神经网络中的神经元个数确定激活函数，隐含层使用正切S型传递函数tansig，输出层使用线性传递函数purelin，训练函数为动态自适应学习率的梯度下降算法trainlm，网络学习函数为带动量项的BP学习规则learngdm，性能分析函数使用均方误差函数mse；
S7.2：初始化BP神经网络的权值阈值长度，通过遗传算法对初始化的权值阈值进行优化，再将优化后的权值和阈值作为BP神经网络的初始权值和阈值。
S7.3：设置学习率、最小目标误差及最大迭代数；将S6得到的降维后的数据矩阵作为输入数据进行训练，保温杯表面的缺陷类型作为输出，当输出误差小于最小目标误差或者迭代次数超过最大迭代次数时，训练结束，得到训练好的BP神经网络。
S8：将实时采集的保温杯杯体表面缺陷的图片经过S1～S6的预处理后，代入训练好的BP神经网络，从而实现保温杯杯体表面的缺陷的实时检测。
本发明可以获得高质量的图像，有效解决了高反射材料表面的照明问题；对不同类的缺陷进行多维度特征研究，并对高维特征向量进行降维处理，减少了原始图像中的冗余数据、降低特征空间维数以及弱化噪声的影响；另外本发明克服了传统人工检测方法的不足，通过基于深度学习的方法对缺陷进行检测，具有良好的可操作性和可持续性，同时在检测正确率及工作的稳定性上有很好的表现。
下面结合一个具体的实施例对本发明的方法进行说明。
该实施例中，实验样本如表1所示，计算得到的划痕缺陷在旋转不同角度下的7个不变矩如表2所示。对划痕缺陷进行不同角度的旋转处理，从表2中可以看出，Hu矩的值在不同的旋转角度上表现的近似一致，在检测保温杯杯体各个角度的缺陷时，体现Hu矩值的一致性，基本满足缺陷区域的Hu矩无方向的要求，而不必考虑缺陷方向带来的影响。
表1实验样本
Figure BDA0002436899240000091
表2划痕缺陷在旋转不同角度下的7个不变矩
Hu矩 f<sub>1</sub> f<sub>2</sub> f<sub>3</sub> f<sub>4</sub> f<sub>5</sub> f<sub>6</sub> f<sub>7</sub>
原图 0.2876 0.6338 2.6958 3.7658 -7.155 -4.253 -7.264
旋转30度 0.2916 0.6255 2.7656 3.7621 -7.254 -4.152 -7.887
旋转60度 0.2914 0.6256 2.7541 3.6514 -6.992 -41122 -7.635
旋转90度 0.2876 0.6238 2.6958 3.7658 -7.155 -4.253 -7.264
旋转180度 0.2876 0.6238 2.6958 3.7658 -7.155 -4.253 -7.264
旋转270度 0.2876 0.6238 2.6958 3.7658 -7.155 -4.253 -7.264
本实施例采用的BP神经网络输入层有6个神经元，隐含层有8个神经元，输出层有4个神经元，则共有6×8+8×4＝80权值，8+4＝12个阈值，即参与建模的染色体长度为92。然后对遗传算法参数进行设置，种群规模为50，进化次数为200次，交叉概率为0.5，变异概率为0.1，将优化后的权值和阈值作为BP神经网络的初始权值和阈值。设置训练目标误差为0.001，训练迭代次数为1000次，学习率为0.01。分别采用标准的BP神经网络和本发明的方法，最终获得的识别结果如表3和4所示。
表3标准BP神经网络识别结果
Figure BDA0002436899240000092
Figure BDA0002436899240000101
表4遗传算法优化的BP神经网络识别结果
Figure BDA0002436899240000102
表3和表4分别为标准BP神经网络和遗传算法优化的BP神经网络的识别数据，从表中的实验结果可以看出，标准BP神经网络总的正确率在90％，而优化后的BP神经网络总正确率达到了96.2％。因此，采用本发明的方法，网络性能得到较大改善，用遗传算法优化的BP神经网络比标准BP神经网络具有更高的保温杯表面缺陷识别正确率。
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (7)

1.一种基于深度学习的保温杯表面的缺陷检测方法，其特征在于，该方法具体包括如下步骤：
S1：采集用于训练的若干类的保温杯杯体表面缺陷的图片，采集的训练图片中尽量覆盖所有的缺陷种类，且图片中不包含杯体阴影；
S2：对S1获取的保温杯杯体图片进行图像滤波、图像增强和图像分割处理，得到分割后的二值化图像；
S3：对所述的二值化图像进行特征提取，获取不同类型缺陷的不同特性的几何特征；
S4：根据灰度直方图的统计特征，计算图像的灰度特征；
S5：通过灰度共生矩阵对纹理特征进行计算，从而提取纹理特征；
S6：提取目标变量中最具代表性的特征，降低特征空间维度，压缩特征数据量，得到数据矩阵；
S7：将S6的数据矩阵作为输入、保温杯表面的缺陷类型作为输出，训练BP神经网络，当输出误差小于最小目标误差或者迭代次数超过最大迭代次数时，训练结束，得到训练好的BP神经网络；
S8：将实时采集的保温杯杯体表面缺陷的图片经过S1～S6的预处理后，代入训练好的BP神经网络，从而实现保温杯杯体表面的缺陷的实时检测。
2.根据权利要求1所述的基于深度学习的保温杯表面的缺陷检测方法，其特征在于，所述的S2的具体步骤如下：
S2.1：对于获取的大小为M×N的图像f(x，y)进行二维离散傅里叶变换、高通滤波变换，然后再进行傅里叶逆变换就得到滤除噪声后的图像g(x，y)，具体计算公式如下：
Figure FDA0002436899230000011
Figure FDA0002436899230000012
G(u，v)＝F(u，v)H(u，v) (3)
Figure FDA0002436899230000013
其中，u，v为频率变量，u＝0，1，2，…，M-1，v＝0，1，2，…，N-1；x，y为图像空间变量，x＝0，1，2，…，M-1，y＝0，1，2，…，N-1；σ为标准差，D(u，v)为点(u，v)到滤波器中心的距离。S2.2：根据下式对图像中的每一个像素做线性扩展，原始图像g(x，y)的灰度范围为[a，b]，线性变化后的图像t(x，y)的范围是[c，d]；
Figure FDA0002436899230000014
S2.3：通过下式消除噪声，再通过公式(6)～(7)求出滤波后图像梯度的幅值|S|和方向θ；
Figure FDA0002436899230000021
I(x，y)＝f(x，y)G(x，y) (7)
Figure FDA0002436899230000022
Figure FDA0002436899230000023
S2.4：比较8邻域内像素的灰度值，灰度值最大的点即为边缘点，并将其它像素点灰度值置零；设阈值为T1和T2，且T1＞T2，比率为3：1，T1用于限制边缘的最低强度，T2用于提取完整的边缘轮廓；将小于T2的点抛弃，赋0；将大于T1的点立即标记，赋1；将小于T1，大于T2的点使用8联通区域确定，得到分割后的二值化图像。
3.根据权利要求1所述的基于深度学习的保温杯表面的缺陷检测方法，其特征在于，所述的几何特征包括缺陷面积S、缺陷紧凑性C、偏心率E、不变矩Hu，计算公式如下：
Figure FDA0002436899230000024
Figure FDA0002436899230000025
Figure FDA0002436899230000026
其中，P为缺陷区域的边界周长，a为缺陷区域的最小外界椭圆的长轴的长度，a为缺陷区域的最小外界椭圆的短轴的长度；
所述的不变矩Hu的计算过程如下：
(1)依次计算二维图像为f(x，y)的(p+q)阶矩mpq、响应的中心距μpq、归一化的(p+q)阶中心矩ηpq
Figure FDA0002436899230000027
Figure FDA0002436899230000028
Figure FDA0002436899230000029
其中，(xc，yc)为缺陷区域的灰度重心坐标，
Figure FDA00024368992300000210
Figure FDA00024368992300000211
为μpq的初值；
(2)根据下式计算描述边界特征的图像的7个不变矩
f1＝η20+η02 (16)
Figure FDA0002436899230000031
f3＝(η30-3η12)2+(3η21-η03)2 (18)
f4＝(η30+η12)2+(η21+η03)2 (19)
f5＝(η30-3η12)(η30+η12)[(η30+η12)2-3(η21+η03)2] (20)
+(3η21-η03)(η21+η03)[3(η30+η12)2-(η21+η03)] (21)
f6＝(η20-η02)2+[(η30+η12)2-(η21+η03)2]+4η11(η30+η12)(η21+η03) (22)
f7＝(3η21-η03)(η30+η12)[(η30+η12)2-3(η21+η03)2]+(3η12-η03)(η21+η03)[3(η30+η12)2-](η21+η03)2。 (23)
4.根据权利要求1所述的基于深度学习的保温杯表面的缺陷检测方法，其特征在于，所述的S4中，所述的灰度特征包括均值m、标准差、平滑度R、三阶矩μ3、一致性U、熵e，计算公式如下：
Figure FDA0002436899230000032
Figure FDA0002436899230000033
R＝1-1/(1+σ2) (26)
Figure FDA0002436899230000034
Figure FDA0002436899230000035
Figure FDA0002436899230000036
其中，P(i)为一阶灰度直方图，L为灰度级，i＝0，1，2，…，L-1。
5.根据权利要求1所述的基于深度学习的保温杯表面的缺陷检测方法，其特征在于，所述的S5的纹理特征包括能量S1、相关性S2、同质性S3、对比度S4，计算公式如下：
Figure FDA0002436899230000037
Figure FDA0002436899230000038
Figure FDA0002436899230000039
Figure FDA00024368992300000310
P(i，j)为灰度共生矩阵中的元素，σx、σy为灰度共生矩阵中的元素的均值的两个分量，N为二维图像的像素总数。
6.根据权利要求1所述的基于深度学习的保温杯表面的缺陷检测方法，其特征在于，所述的S6具体如下：
将S3-S5的每一个特征看作一个维，每一个维的数据都减去该维的均值，得到一个新的矩阵，计算新矩阵的协方差矩阵和协方差矩阵的特征值和特征向量，选取最大的特征值对应的特征向量，得到一个新的数据矩阵，作为最终分类器的输入数据。
7.根据权利要求1所述的基于深度学习的保温杯表面的缺陷检测方法，其特征在于，所述的S7具体如下：
根据S6的降维操作，设置输入的神经元个数为6，输出层神经元个数设置为4，隐含层神经元个数设置为8。
S7.1：根据三层前馈神经网络中的神经元个数确定激活函数，隐含层使用正切S型传递函数tansig，输出层使用线性传递函数purelin，训练函数为动态自适应学习率的梯度下降算法trainlm，网络学习函数为带动量项的BP学习规则learngdm，性能分析函数使用均方误差函数mse；
S7.2：初始化BP神经网络的权值阈值长度，通过遗传算法对初始化的权值阈值进行优化，再将优化后的权值和阈值作为BP神经网络的初始权值和阈值。
S7.3：设置学习率、最小目标误差及最大迭代数；将S6得到的降维后的数据矩阵作为输入数据进行训练，保温杯表面的缺陷类型作为输出，当输出误差小于最小目标误差或者迭代次数超过最大迭代次数时，训练结束，得到训练好的BP神经网络。
CN202010254872.6A 2020-04-02 2020-04-02 一种基于深度学习的保温杯表面的缺陷检测方法 Pending CN111462092A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010254872.6A CN111462092A (zh) 2020-04-02 2020-04-02 一种基于深度学习的保温杯表面的缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010254872.6A CN111462092A (zh) 2020-04-02 2020-04-02 一种基于深度学习的保温杯表面的缺陷检测方法

Publications (1)

Publication Number Publication Date
CN111462092A true CN111462092A (zh) 2020-07-28

Family

ID=71685818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010254872.6A Pending CN111462092A (zh) 2020-04-02 2020-04-02 一种基于深度学习的保温杯表面的缺陷检测方法

Country Status (1)

Country Link
CN (1) CN111462092A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541889A (zh) * 2020-12-02 2021-03-23 杭州安脉盛智能技术有限公司 一种多层级模型的复杂纹理对象表面缺陷检测方法
CN112991260A (zh) * 2021-02-03 2021-06-18 南昌航空大学 光和超声复合激励的红外无损检测系统
CN113012098A (zh) * 2021-01-25 2021-06-22 郑州轻工业大学 一种基于bp神经网络的铁塔角钢冲孔缺陷检测方法
CN113781415A (zh) * 2021-08-30 2021-12-10 广州大学 一种x射线图像的缺陷检测方法、装置、设备及介质
CN114757916A (zh) * 2022-04-15 2022-07-15 西安交通大学 基于特征提取和bp网络的工业ct图像缺陷分类方法
CN116958150A (zh) * 2023-09-21 2023-10-27 深圳市中农易讯信息技术有限公司 农产品的缺陷检测和缺陷等级划分方法
CN117710366A (zh) * 2024-02-02 2024-03-15 杭州百子尖科技股份有限公司 用于保温杯的质检方法、装置和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593670A (zh) * 2013-10-14 2014-02-19 浙江工业大学 一种基于在线序列极限学习机的铜板带表面缺陷检测方法
CN105938563A (zh) * 2016-04-14 2016-09-14 北京工业大学 一种基于图像纹理的焊缝表面缺陷识别方法
CN109242848A (zh) * 2018-09-21 2019-01-18 西华大学 基于otsu和ga-bp神经网络墙纸缺陷检测与识别方法
CN109726817A (zh) * 2018-12-21 2019-05-07 河北工业大学 遗传算法优化bp神经网络的wpt系统阻抗匹配方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593670A (zh) * 2013-10-14 2014-02-19 浙江工业大学 一种基于在线序列极限学习机的铜板带表面缺陷检测方法
CN105938563A (zh) * 2016-04-14 2016-09-14 北京工业大学 一种基于图像纹理的焊缝表面缺陷识别方法
CN109242848A (zh) * 2018-09-21 2019-01-18 西华大学 基于otsu和ga-bp神经网络墙纸缺陷检测与识别方法
CN109726817A (zh) * 2018-12-21 2019-05-07 河北工业大学 遗传算法优化bp神经网络的wpt系统阻抗匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
徐苗 等: "激光散射图像检测桃果实货架期的食用价值" *
李征: "基于机器视觉的铜板带表面缺陷检测方法研究" *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112541889A (zh) * 2020-12-02 2021-03-23 杭州安脉盛智能技术有限公司 一种多层级模型的复杂纹理对象表面缺陷检测方法
CN113012098A (zh) * 2021-01-25 2021-06-22 郑州轻工业大学 一种基于bp神经网络的铁塔角钢冲孔缺陷检测方法
CN113012098B (zh) * 2021-01-25 2023-04-07 郑州轻工业大学 一种基于bp神经网络的铁塔角钢冲孔缺陷检测方法
CN112991260A (zh) * 2021-02-03 2021-06-18 南昌航空大学 光和超声复合激励的红外无损检测系统
CN113781415A (zh) * 2021-08-30 2021-12-10 广州大学 一种x射线图像的缺陷检测方法、装置、设备及介质
CN113781415B (zh) * 2021-08-30 2024-06-07 广州大学 一种x射线图像的缺陷检测方法、装置、设备及介质
CN114757916A (zh) * 2022-04-15 2022-07-15 西安交通大学 基于特征提取和bp网络的工业ct图像缺陷分类方法
CN116958150A (zh) * 2023-09-21 2023-10-27 深圳市中农易讯信息技术有限公司 农产品的缺陷检测和缺陷等级划分方法
CN116958150B (zh) * 2023-09-21 2024-04-02 深圳市中农易讯信息技术有限公司 农产品的缺陷检测和缺陷等级划分方法
CN117710366A (zh) * 2024-02-02 2024-03-15 杭州百子尖科技股份有限公司 用于保温杯的质检方法、装置和存储介质
CN117710366B (zh) * 2024-02-02 2024-05-14 杭州百子尖科技股份有限公司 用于保温杯的质检方法、装置和存储介质

Similar Documents

Publication Publication Date Title
CN111462092A (zh) 一种基于深度学习的保温杯表面的缺陷检测方法
CN106778586B (zh) 离线手写签名鉴别方法及系统
CN107103323B (zh) 一种基于图像轮廓特征的目标识别方法
Srinivasan et al. Statistical texture analysis
Singh et al. Investigations on impact of feature normalization techniques on classifier's performance in breast tumor classification
CN116664559B (zh) 基于机器视觉的内存条损伤快速检测方法
CN108932536B (zh) 基于深度神经网络的人脸姿态重建方法
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
CN101140216A (zh) 基于数字图像处理技术的气液两相流流型识别方法
CN110991389B (zh) 判断目标行人在非重叠相机视角中出现的匹配方法
CN109118528A (zh) 基于区域分块的奇异值分解图像匹配算法
CN111968098A (zh) 一种带钢表面缺陷检测方法、装置和设备
Luo et al. Corner detection via topographic analysis of vector-potential
CN105139013B (zh) 一种融合形状特征和兴趣点的物体识别方法
Baji et al. Chain code approach for shape based image retrieval
CN115937651A (zh) 基于改进的yolov5s网络模型的圆柱滚子表面检测方法及系统
CN116596922B (zh) 一种太阳能热水器生产质量检测方法
CN113936148A (zh) 一种基于随机傅里叶特征变换的图像分类方法
CN117314901A (zh) 一种尺度自适应的芯片检测神经网络系统
Stachowiak et al. A comparison of texture feature extraction methods for machine condition monitoring and failure analysis
Rasool Iris Feature Extraction and Recognition based on Gray Level Co-occurrence Matrix (GLCM) Technique
CN107292854B (zh) 基于局部奇异性量化分析的灰度图像增强方法
CN112801950A (zh) 一种基于几何失真度量的图像适配质量评价方法
Wei et al. An algorithm for segmentation of lung ROI by mean-shift clustering combined with multi-scale HESSIAN matrix dot filtering
CN107862709B (zh) 一种多方向模式连接规则的图像纹理描述方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200728