CN111862064A - 一种基于深度学习的银质丝材表面瑕疵识别方法 - Google Patents

一种基于深度学习的银质丝材表面瑕疵识别方法 Download PDF

Info

Publication number
CN111862064A
CN111862064A CN202010736316.2A CN202010736316A CN111862064A CN 111862064 A CN111862064 A CN 111862064A CN 202010736316 A CN202010736316 A CN 202010736316A CN 111862064 A CN111862064 A CN 111862064A
Authority
CN
China
Prior art keywords
sample
image
detection
detected
flaw
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010736316.2A
Other languages
English (en)
Other versions
CN111862064B (zh
Inventor
闫坤
李慧慧
张李轩
陈德富
傅琪
刘威
李执
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202010736316.2A priority Critical patent/CN111862064B/zh
Publication of CN111862064A publication Critical patent/CN111862064A/zh
Application granted granted Critical
Publication of CN111862064B publication Critical patent/CN111862064B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8874—Taking dimensions of defect into account
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种基于深度学习的银质丝材表面瑕疵识别方法，包括如下步骤：S1：应用图像采集模块，采集若干待检测的银质丝材原图像，得到原始图像的样本集；S2：应用图像预处理模块，对步骤S1得到的样本集进行分割，得到待检目标区域，作为统计特征预检测模块的输入；S3：基于统计特征的瑕疵预检测模块，对步骤S2得到的待检目标区域进行统计特征提取，并据此进行预检测；S4：基于卷积神经网络的瑕疵检测模块，对步骤S3的预检测模块判别的瑕疵品进行二次检测，判断具体瑕疵的类别。本发明识别方法减轻银质丝材生产过程中瑕疵检测方面的人力成本，提升瑕疵识别准确率，保证银质丝材的生产质量。

Description

一种基于深度学习的银质丝材表面瑕疵识别方法
技术领域
本发明涉及图像处理与机器学习领域，具体是一种基于深度学习的银质丝材表面瑕疵识别方法。
背景技术
在银质丝材的实际生产过程中，由于生产环境和生产工艺的制约，往往不可避免地产生油污、凹坑、压伤、锯齿、刮花、起泡、起皮、排线挤压、竹节、黑斑等瑕疵，这些瑕疵会对产品的质量、美观度、舒适度和使用性能等带来不良影响。因此，金属银质丝材的表面瑕疵检测是生产环节必不可少的一个步骤。
现阶段，为保证产品质量，产品检测主要采用人工目视检测方式和传统机器视觉识别方式。人工目视检测方式抽检率低，实时性差，费时费力且存在主观干扰。传统机器视觉识别基于传感器和图像预处理算法来实现银质丝材表面瑕疵的自动化识别，然而银质丝材表面瑕疵相当复杂，人工设计的特征往往描述力不够，鲁棒性不高，对分类性能有极大削弱。
CN110232404A公开了一种基于机器学习的工业产品表面瑕疵识别方法及装置，方法包括：采集工业产品表面图片，并进行预处理，得到样本图片；构造Gabor滤波器，优化参数；使用Gabor滤波器对样本图片进行特征提取，得到不同频率和方向上的特征图；将特征图进行高斯混合模型聚类，通过最大期望计算均值和标准差，并分配到相应簇，得到分类标签；构造三维卷积神经网络；将数据集作为输入数据训练三维卷积神经网络，得到训练模型，根据训练结果对训练模型进行更新，当对训练模型的测试结果达到预设指标后，存储训练模型为识别模型。Gabor滤波器在纹理描述方面有着较好的效果，但存在计算量大、参数优化的问题。通过Gabor滤波器提取的特征，需要专业人员针对不同瑕疵设计不同特征，较难适应实际生产中产生的各类瑕疵。三维卷积神经网络以特征图为输入，进一步挖掘特征图的特征，该特征相较于样本图片的特征往往表达能力受限，鲁棒性不强，所得卷积神经网络模型泛化能力受限。
CN110263630A公开了一种基于Inception模型的卷积神经网络的铝材瑕疵识别设备，通过USB数据线将计算机与高清摄像头进行连接，工作人员通过操作计算机中安装的计算机瑕疵图像识别系统下发控制命令，控制高清摄像头对传送带上的铝材进行拍照，得到图像数据，并将图像数据传输回计算机瑕疵图像识别系统；计算机瑕疵图像识别系统，该系统调用深度学习框架Pytorch将图像数据转换为张量数据，并采用基于Inception模型的卷积神经网络对张量数据进行计算，最终将得分最高的类别进行输出，该得分最高的类别即为识别出的瑕疵图像。本发明的有益效果是：减轻铝型材生产过程中的瑕疵检测方面的人力成本，提高瑕疵识别速率，保证铝型材的生产质量。该识别系统对输入要求较高，输入图像数据内仅包含瑕疵部分，因此对相机位置、光照条件要求严苛。
对此，将深度学习引入瑕疵识别过程，只需对原始图像进行图像预处理，以预处理后的图像作为输入，就能够在大量的图像数据中自动学习具有高度抽象性和不变性的特征，该方法鲁棒性高并且能够胜任更多计算机视觉任务。
发明内容
本发明的目的在于解决背景技术中存在的问题，提出了一种基于深度学习的银质丝材表面瑕疵识别系统及方法，弥补人工目视检测和传统机器视觉检测方法的不足。
本发明一种基于深度学习的银质丝材表面瑕疵识别系统，包括依次连接的图像采集模块、图像预处理模块、基于统计特征的瑕疵预检测模块和基于卷积神经网络的瑕疵检测模块。
本发明一种基于深度学习的银质丝材表面瑕疵识别方法，包括如下步骤：
S1：图像采集：应用图像采集模块，采集若干待检测的银质丝材原图像，得到原始图像的样本集；
S2：图像预处理：应用图像预处理模块，对步骤S1得到的样本集进行分割，得到待检目标区域，作为统计特征预检测模块的输入；
S3：瑕疵预检测：基于统计特征的瑕疵预检测模块，对步骤S2得到的待检目标区域进行统计特征提取，并据此进行预检测，检测结果作为基于卷积神经网络的瑕疵检测模块的输入；
S4：银质丝材表面瑕疵类别检测：基于卷积神经网络的瑕疵检测模块，对步骤S3的预检测模块判别的瑕疵品进行二次检测，判断具体瑕疵的类别。
进一步地，图像采集模块由CCD摄像机、光学镜头、光源以及夹持装置等组成。光源用于减少环境光干扰，通过光学镜头将银质丝材表面成像于CCD摄像机。
进一步地，S2所述的图像预处理，包括如下步骤：
S21：对原始图像进行分割处理，得到待检目标区域；
S22：对待检目标区域进行灰度化处理；
S23：对灰度化处理后的图像进行二值化处理；
S24：对二值化处理后的图像进行形态学处理，包括取反、腐蚀或膨胀操作，消除待检目标区域的小孔洞；
S25：对形态学处理后的图像进行连通组件搜寻，提取最大连通组件。
进一步地，S3所述的瑕疵预检测，包括如下步骤：
S31：对步骤S25提取的最大连通组件进行灰度化处理；
S32：灰度化处理后再提取统计特征值；
S33：将提取的统计特征值与统计特征阈值对比；
S34：基于统计特征的预分类，确定样本所属类别。
进一步地，S4所述的银质丝材表面瑕疵检测，包括如下步骤：
S41：构建数据集，对S3统计特征的瑕疵预检测模块处理后的缺陷产品进行图像处理，构建数据集，并将该数据集划分为训练集和测试集；S42：构建基于AlexNet的卷积神经网络结构，网络结构包括输入层，五层卷积层，三层池化层，三层全连接层，输出层，以ReLu函数作为激活函数，并设局部归一化层和随机失活层，以避免网络过拟合的发生；
S43：构建前向传播训练模型，将瑕疵分类，得到多个类别的置信度，选取最高置信度类别作为样本所属类别；通过前向传播求得样本的预测类别，依据样本预测类别与样本实际类别，计算损失函数，损失函数公式为：
Figure BDA0002605109190000031
其中tij表示第i个样本的实际类别为j，yij为softmax函数的输出，表示将第i个样本判别为类别j的概率，N表示训练样本集样本总数，K为模型可分辨的类别数，本方法基于AlexNet模型的卷积神经网络的识别类数为11，分别为油污、凹坑、压伤、锯齿、刮花、起泡、起皮、排线挤压、竹节、黑斑，合格品；
S44：构建反向传播测试模型，根据样本实际所属类别以及预测类别，采用基于动量的随机梯度下降法进行反向传播，优化网络结构参数；
基于动量的随机梯度下降法的运算过程如下所示：
Figure BDA0002605109190000032
其中γ表示学习率，L表示损失函数，W表示要更新的权重参数，α为动量值，设为0.5，v等效于物体的速度，初始化时设置为0；
S45：重复执行步骤S43和步骤S44，直至获得预期准确率的模型，保存模型，用于检测测试集；
S46：应用S45所得模型对测试集进行测试，得到测试样本所属类别，即银质丝材表面瑕疵识别结果。
进一步地，S41所述图像处理包括归一化处理、数据增强步骤，其中数据增强可采用翻转，旋转，平移等方法。
本发明识别方法与CN110232404A相比，无需构建滤波器，直接以经过预处理的样本数据作为数据集，可以对更多更复杂的影响因子进行拟合和建模，无需花费大量时间去设计针对特定类型图像的特征，使训练所得的卷积神经网络泛化能力更强。
本发明识别方法与CN110263630A相比，无需其具备的严苛条件，通过增设图像预处理环节，可有效提取瑕疵区域，改善图像质量。并且通过统计特征预检测区分瑕疵品与合格品，再通过基于Alexnet模型的卷积神经网络对上述瑕疵品进行二次分类，总共11个类别，分别包括十个具体瑕疵类别及合格品。统计特征预检测结合卷积神经网络分类，可有效保证合格品的准确率。
本发明识别方法的有益效果是：减轻银质丝材生产过程中瑕疵检测方面的人力成本，改善传统机器视觉人工设定特征面临的鲁棒性低，适应面窄的局限，提升瑕疵识别准确率，保证银质丝材的生产质量。
附图说明
图1为实施例银质丝材瑕疵识别方法的流程图；
图2为实施例识别方法S2图像预处理的流程图；
图3为实施例识别方法S3瑕疵预检测的流程图；
图4为实施例识别方法S4银质丝材表面瑕疵检测的流程图；
图5为实施例的原始图像；
图6为图5原始图像的待检目标区域；
图7为图6经二值化处理后的图像；
图8为对图7搜寻连通组件的结果图；
图9为图8中最大连通组件图；
图10为实施例瑕疵品和合格品图像数据的灰度均值统计特征图。
具体实施方式
下面结合实施例和附图对本发明内容作进一步的说明，但不是对本发明的限定。
实施例
参照图1，一种基于深度学习的银质丝材表面瑕疵识别方法，包括如下步骤：
S1：图像采集：应用图像采集模块，采集若干待检测的银质丝材原图像，得到原始图像的样本集；
S2：图像预处理：应用图像预处理模块，对步骤S1得到的样本集进行分割，得到待检目标区域，作为统计特征预检测的输入；
S3：瑕疵预检测：基于统计特征的瑕疵预检测模块，对步骤S2得到的待检目标区域进行统计特征提取，并据此进行预检测，检测结果作为基于卷积神经网络的瑕疵检测模块的输入；
S4：银质丝材表面瑕疵检测：基于卷积神经网络的瑕疵检测模块，对步骤S3的预检测模块判别的瑕疵品进行二次检测，判断具体瑕疵的类别。
图像采集模块由CCD摄像机、光学镜头、光源以及夹持装置组成。在实际生产车间中，CCD摄像机安装于传送带正上方，在光源的照明下，通过光学镜头将产品表面成像于CCD摄像机，将光信号先转换成电信号，进而转换成数字信号。若相机与光源异侧分布，即为明场照明，这种方式便于安装。若相机与光源同侧分布，即为暗场照明，这种方式获得图像对比度较高，由光源构成的照明系统可根据实际情况采取明场照明或暗场照明。
图像采集模块获取待检银质丝材的原始图像，如图5所示。将原始图像输入图像预处理模块，S2的图像预处理，包括如下步骤，如图2所示；
S21：对原始图像进行分割处理，在构造训练集阶段，瑕疵固定于某位置，可依据先验知识截取原始图像，得到待检目标区域；本实施例中，待检目标区域为I(460:760,850:1150,:)，其中I为原始图像的矩阵表示，垂直像素选取区域为460至760，水平像素选取区域为850至1150，待检目标区域如图6所示；
S22：对待检目标区域进行灰度化处理；
S23：对灰度化处理后的图像进行二值化处理；本实施例中，二值化处理后的图像如7所示；
S24：对二值化处理后的图像进行形态学处理，消除待检目标区域的小孔洞；形态学处理包括取反、腐蚀或膨胀操作，以弥合狭窄的间断，填充小的孔洞；
S25：对形态学处理后的图像搜寻图像区域所有连通组件，本实施例中，搜寻的连通组件如图8所示，显示图像区域所有连通组件，对应信息为[105.5000，0.5000，86，301]，[106.5000，11.5000，7，27]，数组内的元素依次代表连通组件左上点坐标，连通组件的宽，连通组件的高；
依据连通组件信息，剪切最大连通区域，保证统计特征的针对性，有效减免各类干扰，减少计算量。本实施例中，最大连通组件如图9所示。
参照图3，S3所述的瑕疵预检测，包括如下步骤：
S31：对步骤S25提取的最大连通组件进行灰度化处理；
S32：灰度化处理后再提取统计特征值；
S33：将提取的统计特征值与统计特征阈值对比；
S34：基于统计特征的预分类，确定样本所属类别。
选取瑕疵品和合格品图像数据的灰度均值为统计特征，统计特征如图10所示。其中合格品最大均值为0.3148，设置阈值为0.4，若高于该阈值即判定该样本为瑕疵品。低于阈值则判定该样本为合格品。
所述统计特征包括但不局限于灰度均值。
S4所述的银质丝材表面瑕疵检测，包括如下步骤：
S41：构建数据集，对S3统计特征的瑕疵预检测模块处理后的缺陷产品进行图像处理二次检测，构建数据集，并将该数据集划分为训练集和测试集；
图像处理操作包括将样本大小统一至227*227，对数量较少的样本进行数据增强操作，具体操作包括平移、旋转、翻转三种操作的随机组合。所得数据集进一步划分为训练集和测试集；训练集用于拟合网络结构参数，网络结构参数为网络结构内卷积层对应的权值和偏置，具体拟合方式为后续所述的前向传播和反向传播，测试集用于测试所得网络的准确性；
S42：构建基于AlexNet的卷积神经网络结构，所述AlexNet网络是在ImageNet数据集上训练的神经网络模型，以此为源模型，迁移源模型上抽取通用特征的卷积层及其参数，针对瑕疵类型设计瑕疵分类模型中的分类层，并随机初始化这些层的参数。具体网络结构包括输入层，五层卷积层，三层池化层，三层全连接层，输出层，以ReLu函数作为激活函数，并设局部归一化层和随机失活层，以避免网络过拟合的发生；上述卷积层的卷积核大小依次为11*11、5*5、3*3、3*3、3*3；相应步长依次为[4 4]、[1 1]、[1 1]、[1 1]、[1 1]，上述池化层均采用最大池化，池化区域均为3*3，水平步长等于垂直步长，大小为2；
S43：构建前向传播训练模型，将瑕疵分类，本实施例中将瑕疵分为十个类别，分别为油污、凹坑、压伤、锯齿、刮花、起泡、起皮、排线挤压、竹节、黑斑，包括合格品，共计11个类别；即前向传播训练模型，得到11个类别的置信度，选取最高置信度类别作为样本所属类别；
通过前向传播求得样本的预测类别，依据样本预测类别与样本实际类别，计算损失函数，具体公式为：
Figure BDA0002605109190000071
其中tij表示第i个样本的实际类别为j，yij为softmax函数的输出，表示将第i个样本判别为类别j的概率，N表示训练样本集样本总数，K为模型可分辨的类别数，本实施例基于AlexNet模型的卷积神经网络的识别类数为11，分别为油污、凹坑、压伤、锯齿、刮花、起泡、起皮、排线挤压、竹节、黑斑，合格品；
对图9进行归一化处理，并将其尺寸更改至227*227，其前向传播所得结果为[0.1,0.4,0.03,0.05,0.08,0.04,0.1,0.15,0.03,0.02，0]，其中数组元素分别对应待测样本属于每一类别的概率，结果中第二维数值最高，则表示预测类别为凹坑；
S44：构建反向传播测试模型，根据样本实际所属类别以及预测类别，采用基于动量的随机梯度下降法进行反向传播，优化网络结构参数；
基于动量的随机梯度下降法的运算过程如下所示：
Figure BDA0002605109190000072
其中γ表示学习率，L表示损失函数，W表示要更新的权重参数，α为动量值，设为0.5，v等效于物体的速度，初始化时设置为0；
S45：重复执行上骤S43和S44，直至获得预期准确率的模型，并保存该网络模型结构，用于检测测试集；
S46：应用S45所得模型对测试集进行测试，最大置信度值对应的类别即为测试样本所属类别，得到银质丝材表面瑕疵识别结果。
采用本发明识别方法可改善传统机器视觉人工设定特征面临的鲁棒性低，适应面窄的局限，提升瑕疵识别准确率，保证银质丝材的生产质量。

Claims (4)

1.一种基于深度学习的银质丝材表面瑕疵识别方法，其特征在于，包括如下步骤：
S1：图像采集：应用图像采集模块，采集若干待检测的银质丝材原图像，得到原始图像的样本集；
S2：图像预处理：应用图像预处理模块，对步骤S1得到的样本集进行分割，得到待检目标区域，作为统计特征预检测模块的输入；
S3：瑕疵预检测：基于统计特征的瑕疵预检测模块，对步骤S2得到的待检目标区域进行统计特征提取，并据此进行预检测，检测结果作为基于卷积神经网络的瑕疵检测模块的输入；
S4：银质丝材表面瑕疵类别检测：基于卷积神经网络的瑕疵检测模块，对步骤S3的预检测模块判别的瑕疵品进行二次检测，判断具体瑕疵的类别。
2.根据权利要求所述的银质丝材表面瑕疵识别方法，其特征在于：
S2所述的图像预处理，包括如下步骤：
S21：对原始图像进行分割处理，得到待检目标区域；
S22：对待检目标区域进行灰度化处理；
S23：对灰度化处理后的图像进行二值化处理；
S24：对二值化处理后的图像进行形态学处理，包括取反、腐蚀或膨胀操作，消除待检目标区域的小孔洞；
S25：对形态学处理后的图像进行连通组件搜寻，提取最大连通组件。
3.根据权利要求所述的银质丝材表面瑕疵识别方法，其特征在于：
S3所述的瑕疵预检测，包括如下步骤：
S31：对步骤S25提取的最大连通组件进行灰度化处理；
S32：灰度化处理后再提取统计特征值；
S33：将提取的统计特征值与统计特征阈值对比；
S34：基于统计特征的预分类，确定样本所属类别。
4.根据权利要求所述的银质丝材表面瑕疵识别方法，其特征在于：
S4所述的银质丝材表面瑕疵检测，包括如下步骤：
S41：构建数据集，对S3统计特征的瑕疵预检测模块处理后的缺陷产品进行图像处理，构建数据集，并将该数据集划分为训练集和测试集；
S42：构建基于AlexNet的卷积神经网络结构，网络结构包括输入层，五层卷积层，三层池化层，三层全连接层，输出层，以ReLu函数作为激活函数，并设局部归一化层和随机失活层，以避免网络过拟合的发生；
S43：构建前向传播训练模型，将瑕疵分类，得到多个类别的置信度，选取最高置信度类别作为样本所属类别；通过前向传播求得样本的预测类别，依据样本预测类别与样本实际类别，计算损失函数，损失函数公式为：
Figure FDA0002605109180000021
其中tij表示第i个样本的实际类别为j，yij为softmax函数的输出，表示将第i个样本判别为类别j的概率，N表示训练样本集样本总数，K为模型可分辨的类别数，本方法基于AlexNet模型的卷积神经网络的识别类数为11，分别为油污、凹坑、压伤、锯齿、刮花、起泡、起皮、排线挤压、竹节、黑斑，合格品；
S44：构建反向传播测试模型，根据样本实际所属类别以及预测类别，采用基于动量的随机梯度下降法进行反向传播，优化网络结构参数；
基于动量的随机梯度下降法的运算过程如下所示：
Figure FDA0002605109180000022
W←W+v
其中γ表示学习率，L表示损失函数，W表示要更新的权重参数，α为动量值，设为0.5，v等效于物体的速度，初始化时设置为0；
S45：重复执行S43和S44，直至获得预期准确率的模型，保存模型，用于检测测试集；
S46：应用S45所得模型对测试集进行测试，得到测试样本所属类别，即银质丝材表面瑕疵识别结果。
CN202010736316.2A 2020-07-28 2020-07-28 一种基于深度学习的银质丝材表面瑕疵识别方法 Active CN111862064B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010736316.2A CN111862064B (zh) 2020-07-28 2020-07-28 一种基于深度学习的银质丝材表面瑕疵识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010736316.2A CN111862064B (zh) 2020-07-28 2020-07-28 一种基于深度学习的银质丝材表面瑕疵识别方法

Publications (2)

Publication Number Publication Date
CN111862064A true CN111862064A (zh) 2020-10-30
CN111862064B CN111862064B (zh) 2022-08-09

Family

ID=72948408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010736316.2A Active CN111862064B (zh) 2020-07-28 2020-07-28 一种基于深度学习的银质丝材表面瑕疵识别方法

Country Status (1)

Country Link
CN (1) CN111862064B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112967000A (zh) * 2021-03-11 2021-06-15 中工美(北京)供应链物流管理有限责任公司 白银仓储自动入库系统的外观和重量识别方法
CN113109352A (zh) * 2021-04-07 2021-07-13 桂林电子科技大学 一种基于机器视觉的生丝质量检测方法及装置
CN113177924A (zh) * 2021-05-10 2021-07-27 南通大学 一种工业流水线产品瑕疵检测方法
CN113189109A (zh) * 2021-01-15 2021-07-30 深圳锦绣创视科技有限公司 一种基于人工智能的瑕疵判定系统及瑕疵判定方法
CN113706465A (zh) * 2021-07-22 2021-11-26 杭州深想科技有限公司 基于深度学习的笔类缺陷检测方法、计算设备和存储介质
CN113762330A (zh) * 2021-07-14 2021-12-07 北京深点视觉科技有限公司 一种动态网络中服务配置的优化方法及装置
CN113781458A (zh) * 2021-09-16 2021-12-10 厦门理工学院 一种基于人工智能的识别方法
CN113916899A (zh) * 2021-10-11 2022-01-11 四川科伦药业股份有限公司 基于视觉识别的大输液软袋产品的检测方法、系统及装置
CN113989279A (zh) * 2021-12-24 2022-01-28 武汉华康龙兴工贸有限公司 基于人工智能及图像处理的塑料薄膜质量检测方法
CN114088730A (zh) * 2022-01-24 2022-02-25 心鉴智控(深圳)科技有限公司 一种运用图像处理检测铝塑泡罩瑕疵的方法及系统
CN114170226A (zh) * 2022-01-24 2022-03-11 谱为科技(常州)有限公司 基于图像增强和卷积神经网络的布草检测方法、装置
CN115471473A (zh) * 2022-09-15 2022-12-13 广东艾依格家居有限公司 一种家具板材瑕疵检测系统及方法
CN115980322A (zh) * 2023-02-09 2023-04-18 百福工业缝纫机（张家港）有限公司 一种织物瑕疵智能检测方法及系统
CN116228769A (zh) * 2023-05-09 2023-06-06 和峻（广州）胶管有限公司 一种适用于钢丝编织管瑕疵检测的装置及检测方法
CN116500086A (zh) * 2023-06-28 2023-07-28 深圳市鑫典金光电科技有限公司 一种基于深度学习的铜复铝散热底板生产评价方法及系统
CN116525295A (zh) * 2023-07-03 2023-08-01 河南华佳新材料技术有限公司 一种高频脉冲电容用金属化薄膜及其制备方法
CN117890389A (zh) * 2024-03-14 2024-04-16 上海强华实业股份有限公司 精烧制品表面质量在线检测方法、设备及其存储介质
CN115471473B (zh) * 2022-09-15 2024-06-07 广东艾依格家居有限公司 一种家具板材瑕疵检测系统及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160163035A1 (en) * 2014-12-03 2016-06-09 Kla-Tencor Corporation Automatic Defect Classification Without Sampling and Feature Selection
CN106053485A (zh) * 2016-08-01 2016-10-26 苏州宙点自动化设备有限公司 基于机器视觉的钢球表面缺陷智能环形循检的新型算法
CN107563999A (zh) * 2017-09-05 2018-01-09 华中科技大学 一种基于卷积神经网络的芯片缺陷识别方法
CN108765391A (zh) * 2018-05-19 2018-11-06 科立视材料科技有限公司 一种基于深度学习的平板玻璃异物影像分析方法
CN109727229A (zh) * 2018-11-28 2019-05-07 歌尔股份有限公司 虚焊检测方法及装置
CN110889838A (zh) * 2019-11-26 2020-03-17 武汉纺织大学 一种织物疵点检测方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160163035A1 (en) * 2014-12-03 2016-06-09 Kla-Tencor Corporation Automatic Defect Classification Without Sampling and Feature Selection
CN106053485A (zh) * 2016-08-01 2016-10-26 苏州宙点自动化设备有限公司 基于机器视觉的钢球表面缺陷智能环形循检的新型算法
CN107563999A (zh) * 2017-09-05 2018-01-09 华中科技大学 一种基于卷积神经网络的芯片缺陷识别方法
CN108765391A (zh) * 2018-05-19 2018-11-06 科立视材料科技有限公司 一种基于深度学习的平板玻璃异物影像分析方法
CN109727229A (zh) * 2018-11-28 2019-05-07 歌尔股份有限公司 虚焊检测方法及装置
CN110889838A (zh) * 2019-11-26 2020-03-17 武汉纺织大学 一种织物疵点检测方法及装置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ABDULKADIR SEKER: "Evaluation of Fabric Defect Detection Based on Transfer Learning with Pre-trained AlexNet", 《2018 INTERNATIONAL CONFERENCE ON ARTIFICIAL INTELLIGENCE AND DATA PROCESSING (IDAP)》 *
XIAO-YI ZHAO等: "Detecting Surface Defects of Wind Tubine Blades Using an Alexnet Deep Learning Algorithm", 《IEICE TRANSACTIONS ON FUNDAMENTALS OF ELECTRONICS, COMMUNICATIONS AND COMPUTER》 *
严飞华: "车辆皮革瑕疵智能检测方法研究", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑)》 *
李慧慧: "基于深度学习的金属表面瑕疵识别", 《中国优秀硕士学位论文全文数据库 (工程科技Ⅰ辑)》 *
艾婷等: "改进的AlexNet模型在玻壳缺陷检测中的应用", 《制造业自动化》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113189109A (zh) * 2021-01-15 2021-07-30 深圳锦绣创视科技有限公司 一种基于人工智能的瑕疵判定系统及瑕疵判定方法
CN112967000A (zh) * 2021-03-11 2021-06-15 中工美(北京)供应链物流管理有限责任公司 白银仓储自动入库系统的外观和重量识别方法
CN113109352A (zh) * 2021-04-07 2021-07-13 桂林电子科技大学 一种基于机器视觉的生丝质量检测方法及装置
CN113177924A (zh) * 2021-05-10 2021-07-27 南通大学 一种工业流水线产品瑕疵检测方法
CN113762330A (zh) * 2021-07-14 2021-12-07 北京深点视觉科技有限公司 一种动态网络中服务配置的优化方法及装置
CN113706465B (zh) * 2021-07-22 2022-11-15 杭州深想科技有限公司 基于深度学习的笔类缺陷检测方法、计算设备和存储介质
CN113706465A (zh) * 2021-07-22 2021-11-26 杭州深想科技有限公司 基于深度学习的笔类缺陷检测方法、计算设备和存储介质
CN113781458A (zh) * 2021-09-16 2021-12-10 厦门理工学院 一种基于人工智能的识别方法
CN113916899A (zh) * 2021-10-11 2022-01-11 四川科伦药业股份有限公司 基于视觉识别的大输液软袋产品的检测方法、系统及装置
CN113916899B (zh) * 2021-10-11 2024-04-19 四川科伦药业股份有限公司 基于视觉识别的大输液软袋产品的检测方法、系统及装置
CN113989279A (zh) * 2021-12-24 2022-01-28 武汉华康龙兴工贸有限公司 基于人工智能及图像处理的塑料薄膜质量检测方法
CN114088730A (zh) * 2022-01-24 2022-02-25 心鉴智控(深圳)科技有限公司 一种运用图像处理检测铝塑泡罩瑕疵的方法及系统
CN114170226A (zh) * 2022-01-24 2022-03-11 谱为科技(常州)有限公司 基于图像增强和卷积神经网络的布草检测方法、装置
CN114170226B (zh) * 2022-01-24 2022-08-19 谱为科技(常州)有限公司 基于图像增强和卷积神经网络的布草检测方法、装置
CN115471473A (zh) * 2022-09-15 2022-12-13 广东艾依格家居有限公司 一种家具板材瑕疵检测系统及方法
CN115471473B (zh) * 2022-09-15 2024-06-07 广东艾依格家居有限公司 一种家具板材瑕疵检测系统及方法
CN115980322A (zh) * 2023-02-09 2023-04-18 百福工业缝纫机（张家港）有限公司 一种织物瑕疵智能检测方法及系统
CN116228769B (zh) * 2023-05-09 2023-10-17 和峻（广州）胶管有限公司 一种适用于钢丝编织管瑕疵检测的装置及检测方法
CN116228769A (zh) * 2023-05-09 2023-06-06 和峻（广州）胶管有限公司 一种适用于钢丝编织管瑕疵检测的装置及检测方法
CN116500086B (zh) * 2023-06-28 2023-09-05 深圳市鑫典金光电科技有限公司 一种基于深度学习的铜复铝散热底板生产评价方法及系统
CN116500086A (zh) * 2023-06-28 2023-07-28 深圳市鑫典金光电科技有限公司 一种基于深度学习的铜复铝散热底板生产评价方法及系统
CN116525295B (zh) * 2023-07-03 2023-09-08 河南华佳新材料技术有限公司 一种高频脉冲电容用金属化薄膜及其制备方法
CN116525295A (zh) * 2023-07-03 2023-08-01 河南华佳新材料技术有限公司 一种高频脉冲电容用金属化薄膜及其制备方法
CN117890389A (zh) * 2024-03-14 2024-04-16 上海强华实业股份有限公司 精烧制品表面质量在线检测方法、设备及其存储介质
CN117890389B (zh) * 2024-03-14 2024-05-24 上海强华实业股份有限公司 精烧制品表面质量在线检测方法、设备及其存储介质

Also Published As

Publication number Publication date
CN111862064B (zh) 2022-08-09

Similar Documents

Publication Publication Date Title
CN111862064B (zh) 一种基于深度学习的银质丝材表面瑕疵识别方法
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN110148130B (zh) 用于检测零件缺陷的方法和装置
CN115082683B (zh) 一种基于图像处理的注塑缺陷检测方法
CN113469177B (zh) 基于深度学习的排水管道缺陷检测方法及系统
CN108960245B (zh) 轮胎模具字符的检测与识别方法、装置、设备及存储介质
KR102254773B1 (ko) 영상정보를 이용한 건물 부위별 하자의 자동 판정과 분류 시스템 및 그 방법
CN111915572B (zh) 一种基于深度学习的自适应齿轮点蚀定量检测系统及方法
CN110490842B (zh) 一种基于深度学习的带钢表面缺陷检测方法
CN111667455A (zh) 一种刷具多种缺陷的ai检测方法
CN103593670A (zh) 一种基于在线序列极限学习机的铜板带表面缺陷检测方法
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN113177924A (zh) 一种工业流水线产品瑕疵检测方法
CN116703911B (zh) 一种led灯生产质量检测系统
CN115294033A (zh) 一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法
CN114445707A (zh) 瓶装水标签缺陷智能化视觉精细检测方法
CN111161237A (zh) 一种果蔬表面质检方法及其储存介质、分拣装置
CN116665011A (zh) 一种基于机器视觉的煤矿带式输送机煤流异物识别方法
CN114255212A (zh) 一种基于cnn的fpc表面缺陷检测方法及其系统
CN116051586A (zh) 一种适用于检测浅色系胶水轮廓的检测方法
CN114004858A (zh) 基于机器视觉识别航空线缆表面编码的方法及装置
Sulaiman et al. Automatic grading system for oil palm fruit ripeness
Sun et al. A novel method for multi-feature grading of mango using machine vision
CN111862039A (zh) 快速编带视觉检测方法
Regayeg et al. Automatic detection system for verification and quality control: Application to water connector inspection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant