CN113838208B - 基于改进残差收缩网络的带钢缺陷检测方法 - Google Patents

基于改进残差收缩网络的带钢缺陷检测方法 Download PDF

Info

Publication number
CN113838208B
CN113838208B CN202111025437.7A CN202111025437A CN113838208B CN 113838208 B CN113838208 B CN 113838208B CN 202111025437 A CN202111025437 A CN 202111025437A CN 113838208 B CN113838208 B CN 113838208B
Authority
CN
China
Prior art keywords
network
residual shrinkage
strip steel
improved
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111025437.7A
Other languages
English (en)
Other versions
CN113838208A (zh
Inventor
蒋占四
梁日强
滕制
胡燕林
郑泽瀚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guilin University of Electronic Technology
Original Assignee
Guilin University of Electronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guilin University of Electronic Technology filed Critical Guilin University of Electronic Technology
Priority to CN202111025437.7A priority Critical patent/CN113838208B/zh
Publication of CN113838208A publication Critical patent/CN113838208A/zh
Application granted granted Critical
Publication of CN113838208B publication Critical patent/CN113838208B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于改进残差收缩网络的带钢缺陷检测方法，通过增广数据集提高网络训练的准确度，构建残差收缩网络模型，再将新的激活函数LeakyReLU和Adamax优化器替换原残差收缩网络的激活函数和优化器，并且应用于带钢的缺陷检测中，训练完成后以准确度判断检测结果，如未达到预设值则重新训练至预设目标才保存网络输出结果，所述基于改进残差收缩网络的带钢缺陷检测方法有效剔除了网络训练特征学习带来的冗余信息，提升残差收缩网络的性能，解决了现有技术中带钢识别方法准确率不高的问题。

Description

基于改进残差收缩网络的带钢缺陷检测方法
技术领域
本发明涉及机器视觉技术领域，尤其涉及一种基于改进残差收缩网络的带钢缺陷检测方法。
背景技术
图像识别是机器视觉的重要部分，图像作为一种信息载体，会得到更加直观的，高效的视觉信息。近年来深度学习不断的发展，产生了各种的网络类型，并且都有在工业检测上应用。传统的视觉的带钢识别方法一般都是图像处理或者分类器加特征提取，这些传统代表的方法存在受到图像质量以及图像灰度的影响，以及识别精度比较低。
发明内容
本发明的目的在于提供一种基于改进残差收缩网络的带钢缺陷检测方法，旨在解决现有技术中带钢识别方法准确率不高的问题。
为实现上述目的，本发明采用一种基于改进残差收缩网络的带钢缺陷检测方法，包括下列步骤：
导入数据集，增广数据集；
搭建改进的残差收缩网络模型；
选择优化器；
训练完成网络并验证。
其中，增广数据集由所述数据集随机旋转和随机水平翻转组成完成扩充。
其中，所述改进的残差收缩网络模型中使用LeakyReLU激活函数代替传统的深度卷积网络中的ReLU激活函数。
其中，所述改进的残差收缩网络模型中的交叉熵损失函数应用softmax函数，并把特征强制控制在(0,1)的范围内。
其中，所述改进的残差收缩网络模型使用软阈值化消除图像噪声。
其中，使用Adamax算法代替Adam优化算法对所述改进的残差收缩网络模型进行优化。
其中，在训练完成网络并验证的过程中，判断准确度是否可以达到预设值，
如果达到则保存网络，输出训练的结果；
如果未达到则重新训练。
本发明的一种基于改进残差收缩网络的带钢缺陷检测方法，通过增广数据集提高网络训练的准确度，构建残差收缩网络模型，再将新的激活函数LeakyReLU和Adamax优化器替换原残差收缩网络的激活函数和优化器，并且应用于带钢的缺陷检测中，训练完成后以准确度判断检测结果，如未达到预设值则重新训练至预设目标才保存网络输出结果，所述基于改进残差收缩网络的带钢缺陷检测方法有效剔除了网络训练特征学习带来的冗余信息，提升残差收缩网络的性能，解决了现有技术中带钢识别方法准确率不高的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的一种基于改进残差收缩网络的带钢缺陷检测方法的流程示意图。
图2是本发明的改进的残差收缩网络模型的模型架构图。
图3是本发明的一种基于改进残差收缩网络的带钢缺陷检测方法的具体实施示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
请参阅图1，本发明提出了一种基于改进残差收缩网络的带钢缺陷检测方法，包括下列步骤：
S1：导入数据集，增广数据集；
S2：搭建改进的残差收缩网络模型；
S3：选择优化器；
S4：训练完成网络并验证。
增广数据集由所述数据集随机旋转和随机水平翻转组成完成扩充。
所述改进的残差收缩网络模型中使用LeakyReLU激活函数代替传统的深度卷积网络中的ReLU激活函数。
所述改进的残差收缩网络模型中的交叉熵损失函数应用softmax函数，并把特征强制控制在(0,1)的范围内。
所述改进的残差收缩网络模型使用软阈值化消除图像噪声。
使用Adamax算法代替Adam优化算法对所述改进的残差收缩网络模型进行优化。
在训练完成网络并验证的过程中，判断准确度是否可以达到预设值，
如果达到则保存网络，输出训练的结果；
如果未达到则重新训练。
以下结合图2和图3，对本发明做进一步说明：
步骤S1中，增广数据集主要是由随机旋转和随机水平翻转组成，其模型如下：
随机旋转：
随机水平翻转：
公式中的x'、y'是旋转翻转之后的横纵坐标的像素，x,y是旋转或者翻转之前横纵坐标的像素。这样通过扩充数据集，可以得到更多的图像进行训练，从而提高训练的准确度。
步骤S2中，搭建改进的残差收缩网络模型，确定深度学习的层数，以及各个通道数。
请参阅图2，确定网络的层数为36层，残差收缩模块的具体数学模型如下：
1、基本组件
差收缩网络跟传统的深度卷积网络一样，都包括：卷积层、池化层、偏差项、激活函数、交叉熵损失函数。在卷积核与特征图之间需要加上一个偏差项，偏差项表达形式如下：
式中：xi表示第ith个通道的输入特征图，yj是jth个通道的输出特征图，k是卷积核，Mj是计算输出yth特征图的通道集合
在深度学习中，为了减少内部的协变位移，所以正则化通常被引入到深度学习中，BN正则化的表达形式如下BN正则化：
公式中的xn,yn分别代表了第nth个特征图的输入和输出γ,β表示缩放、移动的训练参数，ε是接近于0的一个常数。
它可以有效的防止在深度学习中的梯度消失，使用在非线性变换中。残差收缩网络的激活函数使用LeakyReLU激活函数，本发明使用LeakyReLU激活函数，可以有效的解决ReLU激活神经元死亡问题，计算效率高，可以快速收敛，它的表达形式如下：
ai是(0,+∞)的固定参数。
为了更好的计算出交叉熵损失，应用softmax函数，把特征强制控制在(0,1)的范围内softmax函数表示如下：
其中，x,y是softmax功能的输入和输出特征图，i，j是输出层神经元的索引。Nclass是类别的数量。yj可以被视为属于jth类的观测值的预测概率。
在多分类的目标识别中，交叉熵损失函数被用来最小化，交叉熵损失函数：
公式中的t是目标的输出，tj属于jth类的观测值的实际概率。
2、主干网络
它由一个输入层、一个卷积层、多个rbu、一个BN、一个ReLU、一个GAP和一个输出FC层组成，并作为本发明的主要改进网络。残差网络的输入和输出的关系可以这样表示：
F(x)＝H(x)-x
H(x)是观测值，在单位映射中，F(x)对应的残差。
3、软阈值
软阈值化，可以很好的消除图像的一些噪声，它并不是将激活函数的负数特征设为0，而是将其负数特征保留
x表示输入特征，y表示输出特征，τ表示阈值。
其导数
由此可见，导数要么为1，要么为0，可以有效的防止梯度爆炸可梯度消失，这里的软阈值与激活函数的功能类似。
4、残差收缩的构建
FC网络中的第二层有多个神经元，神经元的数量等于输入特征图的通道数。FC网络的输出缩放到(0,1)的范围，使用以下公式:
zc是第cth个神经元的特征，αc是第cth个缩放数。
阈值计算
τc是cth特征图的阈值，i,j,c分别表示特征图x的宽，高和通道。
步骤S3中，原有的Adam优化算法不稳定，对于更新比较慢，因此使用Adamax算法对残差收缩网络进行优化，使其收敛的时候得到一个有效的稳定的值，加快更新速度
ut＝max(β2*Vt-1,|gt|)
u0的初始值为0，gt是时间t步长的梯度，mt为时间步的梯度动量，νt指数移动平均数，为指数均值mt的修正，η为学习因子。引用无穷阶动量后，可以得到一个比较稳定的结果。
对应步骤S4，判断带钢的缺陷检测的结果，是否可以达到预设的准确度，如果达到则保存网络，并且输出训练的结果，如果未达到则重新训练。
在Intel(R)Core(TM)i5-10400 CPU@2.90GHz 2.90GHz，Win10、英伟达显卡1080Ti环境，pytorch深度学习框架进行训练。每次运行迭代10次，BATCH_SIZE＝4的情况进行实验。带钢数据集的检测效果：
实验结果表明，改进的残差收缩网络与未改进的残差收缩网络做对比，改进后的性能可以大幅度的提升，经过三次训练之后再取平均值，由数据表明不论是训练集还是测试集的准确率都有大幅度的提升，测试集的准确率提高了3％,从另一个角度来看改进的残差收缩网络的错误率比没有改进的残差收缩网络的错误率降低了73％。因此，本发明具有一定的实用价值。
与其他方法进行对比：
上述对比图表可知：传统的缺陷识别方法，在带钢的缺陷识别最多可以达到96.86的准确度，还可能受到图像质量的影响。
作为近年来比较主流的网络残差网络，虽然在工业应用上有着较好的表现效果，但是仍然在训练的时候出现耗时长，以及检测的准确度不高等特点。“Deep ResidualShrinkage Networks forFault Diagnosis”，提出了一种残差收缩网络，针对在特征学习的过程中，存在大量的冗余信息，将软阈值化作为收缩层引进残差网络，并提出自适应的设置阈值的方法。但是残差收缩网络在工业检测上同样存在训练精度不高，速度不快的特点，因此利用替换激活函数以及优化器的方法改进残差收缩网络，改进后的网络无论是在训练集上的表现，还是在测试集上的表现，都有较好的效果。通过与已知的带钢识别方法进行对比：SVM+LBP方法精度最高能达到96％，SVM+GLDM识别的准确度可以达到92.3％，HMT模型可以达到94％的准确。基于深度学习带钢识别的方法：残差网络可以达到90.91的准确度，DRESN-cs可以达到95.16％，DRESN-CM可以达到95.85％，深度卷积神经网络可以达到：98％，而本发明的方法可以达到98.88％。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (3)

1.一种基于改进残差收缩网络的带钢缺陷检测方法，其特征在于，包括下列步骤：
导入数据集，增广数据集；
搭建改进的残差收缩网络模型；
在所述改进的残差收缩网络模型中使用LeakyReLU激活函数代替传统的深度卷积网络中的ReLU激活函数；
交叉熵损失函数应用softmax函数，并把特征强制控制在(0,1)的范围内；
使用软阈值化消除图像噪声；
选择优化器，使用Adamax算法代替Adam优化算法对所述改进的残差收缩网络模型进行优化；
训练完成网络并验证。
2.如权利要求1所述的基于改进残差收缩网络的带钢缺陷检测方法，其特征在于，增广数据集由所述数据集随机旋转和随机水平翻转组成完成扩充。
3.如权利要求1所述的基于改进残差收缩网络的带钢缺陷检测方法，其特征在于，在训练完成网络并验证的过程中，判断准确度是否可以达到预设值，
如果达到则保存网络，输出训练的结果；
如果未达到则重新训练。
CN202111025437.7A 2021-09-02 2021-09-02 基于改进残差收缩网络的带钢缺陷检测方法 Active CN113838208B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111025437.7A CN113838208B (zh) 2021-09-02 2021-09-02 基于改进残差收缩网络的带钢缺陷检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111025437.7A CN113838208B (zh) 2021-09-02 2021-09-02 基于改进残差收缩网络的带钢缺陷检测方法

Publications (2)

Publication Number Publication Date
CN113838208A CN113838208A (zh) 2021-12-24
CN113838208B true CN113838208B (zh) 2024-02-02

Family

ID=78961963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111025437.7A Active CN113838208B (zh) 2021-09-02 2021-09-02 基于改进残差收缩网络的带钢缺陷检测方法

Country Status (1)

Country Link
CN (1) CN113838208B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903373A (zh) * 2019-02-19 2019-06-18 华南理工大学 一种基于多尺度残差网络的高质量人脸生成方法
CN110097543A (zh) * 2019-04-25 2019-08-06 东北大学 基于生成式对抗网络的热轧带钢表面缺陷检测方法
CN110660052A (zh) * 2019-09-23 2020-01-07 武汉科技大学 一种基于深度学习的热轧带钢表面缺陷检测方法
CN111275684A (zh) * 2020-01-20 2020-06-12 东华大学 一种基于多尺度特征提取的带钢表面缺陷检测方法
CN112365577A (zh) * 2020-11-09 2021-02-12 重庆邮电大学 一种基于卷积神经网络的机械零件增强现实跟踪注册方法
CN112508013A (zh) * 2020-12-02 2021-03-16 哈尔滨市科佳通用机电股份有限公司 一种锁扣丢失故障检测方法、系统及装置
CN112767539A (zh) * 2021-01-12 2021-05-07 杭州师范大学 一种基于深度学习的图像三维重构方法及系统
CN112884709A (zh) * 2021-01-18 2021-06-01 燕山大学 引入注意力机制的yolov3带钢表面缺陷检测与分类方法
CN112991267A (zh) * 2021-02-08 2021-06-18 上海工程技术大学 一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法
CN115661350A (zh) * 2022-10-30 2023-01-31 华南农业大学 基于深度学习的单壁碳纳米管三维结构重建方法及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903373A (zh) * 2019-02-19 2019-06-18 华南理工大学 一种基于多尺度残差网络的高质量人脸生成方法
CN110097543A (zh) * 2019-04-25 2019-08-06 东北大学 基于生成式对抗网络的热轧带钢表面缺陷检测方法
CN110660052A (zh) * 2019-09-23 2020-01-07 武汉科技大学 一种基于深度学习的热轧带钢表面缺陷检测方法
CN111275684A (zh) * 2020-01-20 2020-06-12 东华大学 一种基于多尺度特征提取的带钢表面缺陷检测方法
CN112365577A (zh) * 2020-11-09 2021-02-12 重庆邮电大学 一种基于卷积神经网络的机械零件增强现实跟踪注册方法
CN112508013A (zh) * 2020-12-02 2021-03-16 哈尔滨市科佳通用机电股份有限公司 一种锁扣丢失故障检测方法、系统及装置
CN112767539A (zh) * 2021-01-12 2021-05-07 杭州师范大学 一种基于深度学习的图像三维重构方法及系统
CN112884709A (zh) * 2021-01-18 2021-06-01 燕山大学 引入注意力机制的yolov3带钢表面缺陷检测与分类方法
CN112991267A (zh) * 2021-02-08 2021-06-18 上海工程技术大学 一种基于改进的efficientNet-RCNN的带钢表面缺陷检测方法
CN115661350A (zh) * 2022-10-30 2023-01-31 华南农业大学 基于深度学习的单壁碳纳米管三维结构重建方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Feature fusion-based preprocessing for steel plate surface defect recognition;Yong Tian等;Math Biosci Eng;5672-5685 *
基于改进的残差收缩网络的带钢表面缺陷识别;梁日强等;组合机床与自动化加工技术;82-85 *
基于残差收缩网络的带钢表面缺陷识别方法研究;梁日强;工程科技Ⅰ辑;1-74 *
深度学习在钢板表面缺陷与字符识别中的应用;贺笛;工程科技Ⅰ辑;1-138 *

Also Published As

Publication number Publication date
CN113838208A (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
CN107292887B (zh) 一种基于深度学习自适应权重的视网膜血管分割方法
CN112330682B (zh) 一种基于深度卷积神经网络的工业ct图像分割方法
CN111311538B (zh) 一种基于卷积神经网络的多尺度轻量化道路路面检测方法
CN111652321A (zh) 一种基于改进yolov3算法的海上船舶检测方法
CN110569738A (zh) 基于密集连接网络的自然场景文本检测方法、设备和介质
CN113128442A (zh) 基于卷积神经网络的汉字书法风格识别方法和评分方法
CN111222457B (zh) 一种基于深度可分离卷积的鉴别视频真伪性的检测方法
CN115035418A (zh) 一种基于改进DeepLabV3+网络的遥感图像语义分割方法及系统
CN113920516B (zh) 一种基于孪生神经网络的书法字骨架匹配方法及系统
CN114926680A (zh) 一种基于AlexNet网络模型的恶意软件分类方法及系统
CN114882278A (zh) 一种基于注意力机制和迁移学习的轮胎花纹分类方法和装置
CN113112447A (zh) 基于vgg卷积神经网络的隧道围岩级别智能判定方法
CN113963272A (zh) 一种基于改进yolov3的无人机图像目标检测方法
CN113838208B (zh) 基于改进残差收缩网络的带钢缺陷检测方法
CN116977844A (zh) 一种轻量级水下目标实时检测方法
CN116740572A (zh) 一种基于改进yolox的海上船舰目标检测方法和系统
CN115761259B (zh) 基于类别平衡损失函数的厨余垃圾目标检测方法和系统
CN115410059B (zh) 基于对比损失的遥感图像部分监督变化检测方法及设备
CN112668378A (zh) 一种基于图像融合与卷积神经网络结合的人脸表情识别方法
CN112862767B (zh) 基于度量学习的解决难分不平衡样本的表面缺陷检测方法
CN116228623A (zh) 一种基于等变正则化自监督注意力网络的金属表面缺陷检测方法、设备和储存介质
CN112215868B (zh) 基于生成对抗网络的去除手势图像背景的方法
CN114648667A (zh) 一种基于轻量化双线性cnn模型的鸟类图像细粒度识别方法
Rizky et al. Text recognition on images using pre-trained CNN
CN114241470A (zh) 一种基于注意力机制的自然场景文字检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant