CN113450344A - 带钢表面缺陷检测方法及系统 - Google Patents

带钢表面缺陷检测方法及系统 Download PDF

Info

Publication number
CN113450344A
CN113450344A CN202110814180.7A CN202110814180A CN113450344A CN 113450344 A CN113450344 A CN 113450344A CN 202110814180 A CN202110814180 A CN 202110814180A CN 113450344 A CN113450344 A CN 113450344A
Authority
CN
China
Prior art keywords
discriminator
generator
network
sample
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110814180.7A
Other languages
English (en)
Other versions
CN113450344B (zh
Inventor
宿磊
祁阳
李可
顾杰斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangnan University
Original Assignee
Jiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangnan University filed Critical Jiangnan University
Priority to CN202110814180.7A priority Critical patent/CN113450344B/zh
Publication of CN113450344A publication Critical patent/CN113450344A/zh
Application granted granted Critical
Publication of CN113450344B publication Critical patent/CN113450344B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30136Metal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及一种带钢表面缺陷检测方法及系统,包括以下步骤:获取带钢表面缺陷样本;构建基于残差优化的改进ACGAN模型;训练改进ACGAN模型的判别器网络和生成器网络,获得判别器和生成器的判别损失和分类损失;在判别器中引入梯度惩罚机制,优化判别器网络模型参数,获得优化后的判别器网络模型;将生成器判别损失和分类损失相结合,更新生成器网络模型参数,获得优化后的生成器网络模型;迭代以使得生成器和判别器达到纳什平衡,改进ACGAN模型收敛到最佳;将测试集数据输入至优化后的改进ACGAN模型,实现带钢表面缺陷检测。其提高ACGAN模型的训练稳定性,极大程度的提高小样本环境下带钢表面缺陷检测的准确性。

Description

带钢表面缺陷检测方法及系统
技术领域
本发明涉及带钢表面缺陷检测技术领域,尤其是指一种带钢表面缺陷检测方法及系统。
背景技术
钢材是工业上必不可少的重要原材料之一,被广泛应用于汽车制造、航天航空和电力能源等领域。但是,由于制造工艺和生产环境等复杂因素影响,其表面易出现各种缺陷。这些缺陷不仅影响产品外观,还会对其性能和安全产生不利影响。因此,对钢表面缺陷进行检测以控制其质量尤为重要。
基于机器视觉的自动检测方法具有实时、高效、经济且非接触等优势,然而传统的机器视觉检测技术需要先利用图像处理和识别算法提取图像特征,再通过机器学习算法将这些特征分类,其检测精度在一定程度上依赖于人类专家设计的特征,且对应用环境的变化非常敏感。
深度学习无需设计人工特征,可以通过训练数据自动学习特征,并将特征提取和分类融合,实现了更加可靠通用的缺陷检测。但深度学习的应用依赖大数据驱动,基于传统深度学习所训练的分类器多数建立在训练样本充足的情况下,而实际工业生产中表面缺陷数据难以获得,采集大量带标签的样本是费时且昂贵的,导致现有方法在小样本的环境下缺陷识别准确率较低,甚至存在误识别等问题。
发明内容
为此,本发明所要解决的技术问题在于克服现有技术中缺陷识别准确率低,甚至存在误识别的技术缺陷。
为解决上述技术问题,本发明提供了一种带钢表面缺陷检测方法,包括以下步骤:
S1、获取带钢表面缺陷样本,将缺陷样本分为训练集和测试集;
S2、构建基于残差优化的改进ACGAN模型,所述改进ACGAN模型包括生成器网络和判别器网络;
S3、以不同的比例训练改进ACGAN模型的判别器网络和生成器网络,并引入生成对抗机制,获得判别器和生成器的判别损失和分类损失;
S4、在判别器中引入梯度惩罚机制,并与判别损失和分类损失相结合,基于训练集利用梯度下降法优化判别器网络模型参数,获得优化后的判别器网络模型;
S5、将生成器判别损失和分类损失相结合,基于训练集利用梯度下降法更新生成器网络模型参数,获得优化后的生成器网络模型;
S6、重复S3至S5,迭代以使得生成器和判别器达到纳什平衡,所述改进ACGAN模型收敛到最佳,保存模型参数,获得优化后的改进ACGAN模型;
S7、将测试集数据输入至优化后的改进ACGAN模型,实现带钢表面缺陷检测。
作为优选的,所述S2包括:
构建生成器网络,所述生成器网络包括依次设置的1个第一全连接层、5个上采样残差块和1个第一卷积层;
构建判别器网络,所述判别器网络包括6个下采样残差块、2个第二全连接层和2个输出层,其中,2个全连接层与基础ACGAN网络一致,分别对应于判别层和分类层,2个输出层对应于判别打分输出和预测类别概率输出。
分别初始化生成器和判别器的网络参数θG和θD
作为优选的,所述上采样残差块包括res1子模块、res2子模块和short-cut子模块;
所述res1子模块包括依次设置的批归一化、激活函数ReLU、上采样层和3×3卷积层;
所述res2子模块包括依次设置的批归一化、激活函数ReLU和3×3卷积层;
所述short-cut子模块包括上采样层和1×1卷积层。
作为优选的,所述下采样残差块包括res1子模块、res2子模块和short-cut子模块;
所述res1子模块包括3×3卷积层和Leaky ReLU激活函数;
所述res2子模块包括3×3卷积层、Leaky ReLU激活函数和下采样层;
所述short-cut子模块包含下采样层和1×1卷积层。
作为优选的,所述S3包括:
随机采样满足均匀分布的噪声向量与随机采样的one-hot类别标签向量联合组成输入生成器网络生成新样本,其样本分布为Pg
将生成新样本和真实训练集样本输入判别器得到相应的判别打分和预测类别概率,基于生成对抗机制将判别器的真假判别变为生成样本的质量判别;
依据生成样本质量改进判别器的判别对象,改进判别器的判别损失;
依据生成对抗网络的对抗机制,获取对应所述生成器的判别损失;
根据交叉熵函数计算生成器和判别器网络的分类损失。
作为优选的,所述依据生成样本质量改进判别器的判别对象,改进判别器的判别损失,包括:
判别器的判别损失
Figure BDA0003169315460000041
为:
Figure BDA0003169315460000042
其中,D(x)为判别器的判别打分,参数π=0.3为生成样本质量高低的比例,即生成样本分布为Pg=πPgr+(1-π)Pgf,Pgr表示高质量生成样本分布,Pgf表示低质量生成样本分布;
依据生成对抗机制,判别器的目标为当样本为高质量生成样本时,最大化判别器打分D(x);当样本为低质量生成样本时,最小化判别器打分D(x),即最大化(1-D(x));
当迭代预设周期时,高质量样本分布Pgr能够等同于真实样本分布Pd,低质量样本分布Pgf能够由所述生成样本和高质量样本之差表示:
Figure BDA0003169315460000043
改进后的判别器网络的判别损失通过生成样本和真实样本计算:
Figure BDA0003169315460000044
进一步改进判别器的判别损失为:
Figure BDA0003169315460000045
作为优选的,所述依据生成对抗网络的对抗机制,获取对应所述生成器的判别损失,包括:
生成器的判别损失
Figure BDA0003169315460000051
所述根据交叉熵函数计算生成器和判别器网络的分类损失,包括:
分类损失
Figure BDA0003169315460000052
其中,h是样本序数,B为生成样本总数或真实样本总数,
Figure BDA0003169315460000053
为对应数据判别器所输出的预测类别概率,Yh为输入样本的真实标签。
作为优选的,所述S4包括:
梯度惩罚项为:
Figure BDA0003169315460000054
其中,δ取自服从与真实样本标准差的均匀分布,通过在真实样本周围插入干扰样本(x+δ)以限制判别器在真实样本分布中的梯度;
判别器网络的总损失为:
Figure BDA0003169315460000055
其中λ=3,γ=10分别表示分类损失与梯度惩罚对于判别器模型的重要程度;
通过反向传播,利用梯度下降法迭代更新模型参数,优化判别器的损失;
在每次迭代过程中,判别器的参数θD通过判别器学习率αD=0.0002进行更新:
Figure BDA0003169315460000056
作为优选的,所述将生成器判别损失和分类损失相结合,基于训练集利用梯度下降法更新生成器网络模型参数,包括:
生成器网络的损失为:
Figure BDA0003169315460000057
其中,λ表示分类损失对于生成器模型的重要程度;
结合生成器学习率αG优化分布差异与分类损失,更新生成器参数θG
Figure BDA0003169315460000061
本发明公开了一种基于改进辅助分类生成对抗网络的带钢表面缺陷检测系统,包括:
样本获取模块,所述样品获取模块用于获取带钢表面缺陷样本,将缺陷样本分为训练集和测试集;
模型构建模块,所述模型构建模块用于构建基于残差优化的改进ACGAN模型,所述改进ACGAN模型包括生成器网络和判别器网络;
损失获取模块,所述损失获取模块以不同的比例训练改进ACGAN模型的判别器网络和生成器网络,并引入生成对抗机制,获得判别器和生成器的判别损失和分类损失;
判别器网络优化模块,所述判别器网络优化模块用于在判别器中引入梯度惩罚机制,并与判别损失和分类损失相结合,基于训练集利用梯度下降法优化判别器网络模型参数,获得优化后的判别器网络模型;
生成器网络优化模块,所述生成器网络优化模块用于将生成器判别损失和分类损失相结合,基于训练集利用梯度下降法更新生成器网络模型参数,获得优化后的生成器网络模型;
改进ACGAN模型优化模块,所述改进ACGAN模型优化模块用于迭代以使得生成器和判别器达到纳什平衡,所述改进ACGAN模型收敛到最佳,保存模型参数,获得优化后的改进ACGAN模型;
测试模块,所述测试模块将测试集数据输入至优化后的改进ACGAN模型,实现带钢表面缺陷检测。
本发明的上述技术方案相比现有技术具有以下优点:
1、本发明针对小样本环境下钢表面缺陷检测问题进行研究,公开了一种改进ACGAN的带钢表面缺陷检测方法,该方法选择辅助分类对抗网络ACGAN为基础网络模型,通过残差优化网络来提升模型的深层特征提取能力,并改进判别器的损失函数来提高生成样本的质量和模型训练的稳定性,最后通过合成高质量的新样本来实现样本扩充。
2、本发明能够提高ACGAN模型的训练稳定性,极大程度的提高小样本环境下带钢表面缺陷检测的准确性。
附图说明
图1为是本申请公开的带钢表面缺陷检测方法的流程图;
图2为基于改进的辅助分类生成对抗网络的模型图;
图3为生成器的上采样残差块结构示意图;
图4为判别器的下采样残差块结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明,以使本领域的技术人员可以更好地理解本发明并能予以实施,但所举实施例不作为对本发明的限定。
参照图1-图4所示,本发明公开了一种带钢表面缺陷检测方法,包括以下步骤:
步骤一、获取带钢表面缺陷样本,将缺陷样本分为训练集和测试集;
步骤二、构建基于残差优化的改进ACGAN模型,改进ACGAN模型包括生成器网络和判别器网络,包括:
构建生成器网络,生成器网络包括依次设置的1个第一全连接层、5个上采样残差块和1个第一卷积层;
构建判别器网络,判别器网络包括6个下采样残差块、2个第二全连接层和2个输出层,其中,2个全连接层与基础ACGAN网络一致,分别对应于判别层和分类层,2个输出层对应于判别打分输出和预测类别概率输出。
分别初始化生成器和判别器的网络参数θG和θD
其中,上采样残差块包括res1子模块、res2子模块和short-cut子模块;res1子模块包括依次设置的批归一化、激活函数ReLU、上采样层和3×3卷积层;res2子模块包括依次设置的批归一化、激活函数ReLU和3×3卷积层;short-cut子模块包括上采样层和1×1卷积层。
下采样残差块包括res1子模块、res2子模块和short-cut子模块;res1子模块包括3×3卷积层和Leaky ReLU激活函数;res2子模块包括3×3卷积层、Leaky ReLU激活函数和下采样层;short-cut子模块包含下采样层和1×1卷积层。
步骤三、以不同的比例训练改进ACGAN模型的判别器网络和生成器网络,并引入生成对抗机制,获得判别器和生成器的判别损失和分类损失,包括:
S31、随机采样满足均匀分布的噪声向量与随机采样的one-hot类别标签向量联合组成输入生成器网络生成新样本,其样本分布为Pg
S32、将生成新样本和真实训练集样本输入判别器得到相应的判别打分和预测类别概率,基于生成对抗机制将判别器的真假判别变为生成样本的质量判别;
S33、依据生成样本质量改进判别器的判别对象,改进判别器的判别损失,包括:
判别器的判别损失
Figure BDA0003169315460000081
为:
Figure BDA0003169315460000082
其中,D(x)为判别器的判别打分,参数π=0.3为生成样本质量高低的比例,即生成样本分布为Pg=πPgr+(1-π)Pgf,Pgr表示高质量生成样本分布,Pgf表示低质量生成样本分布;
依据生成对抗机制,判别器的目标为当样本为高质量生成样本时,最大化判别器打分D(x);当样本为低质量生成样本时,最小化判别器打分D(x),即最大化(1-D(x));
当迭代预设周期时,高质量样本分布Pgr能够等同于真实样本分布Pd,低质量样本分布Pgf能够由生成样本和高质量样本之差表示:
Figure BDA0003169315460000091
改进后的判别器网络的判别损失通过生成样本和真实样本计算:
Figure BDA0003169315460000092
进一步改进判别器的判别损失为:
Figure BDA0003169315460000093
S34、依据生成对抗网络的对抗机制,获取对应生成器的判别损失,包括:
生成器的判别损失
Figure BDA0003169315460000094
根据交叉熵函数计算生成器和判别器网络的分类损失,包括:
分类损失
Figure BDA0003169315460000095
其中,h是样本序数,B为生成样本总数或真实样本总数,
Figure BDA0003169315460000096
为对应数据判别器所输出的预测类别概率,Yh为输入样本的真实标签。
S35、根据交叉熵函数计算生成器和判别器网络的分类损失。
步骤四、在判别器中引入梯度惩罚机制,并与判别损失和分类损失相结合,基于训练集利用梯度下降法优化判别器网络模型参数,获得优化后的判别器网络模型,包括:
梯度惩罚项为:
Figure BDA0003169315460000101
其中,δ取自服从与真实样本标准差的均匀分布,通过在真实样本周围插入干扰样本(x+δ)以限制判别器在真实样本分布中的梯度;
判别器网络的总损失为:
Figure BDA0003169315460000102
其中,λ和γ分别表示分类损失与梯度惩罚对于判别器模型的重要程度;
通过反向传播,利用梯度下降法迭代更新模型参数,优化判别器的损失;在每次迭代过程中,判别器的参数θD通过判别器学习率αD进行更新:
Figure BDA0003169315460000103
步骤五、将生成器判别损失和分类损失相结合,基于训练集利用梯度下降法更新生成器网络模型参数,获得优化后的生成器网络模型;
步骤六、重复步骤三至步骤五,迭代以使得生成器和判别器达到纳什平衡,改进ACGAN模型收敛到最佳,保存模型参数,获得优化后的改进ACGAN模型。
其中,将生成器判别损失和分类损失相结合,基于训练集利用梯度下降法更新生成器网络模型参数,包括:
生成器网络的损失为:
Figure BDA0003169315460000104
其中,λ表示分类损失对于生成器模型的重要程度;
结合生成器学习率αG优化分布差异与分类损失,更新生成器参数θG
Figure BDA0003169315460000111
步骤七、将测试集数据输入至优化后的改进ACGAN模型,实现带钢表面缺陷检测。
本发明还公开了一种基于改进辅助分类生成对抗网络的带钢表面缺陷检测系统,包括样本获取模块、模型构建模块、损失获取模块、判别器网络优化模块、生成器网络优化模块、改进ACGAN模型优化模块、测试模块。
样品获取模块用于获取带钢表面缺陷样本,将缺陷样本分为训练集和测试集;
模型构建模块用于构建基于残差优化的改进ACGAN模型,改进ACGAN模型包括生成器网络和判别器网络。
损失获取模块以不同的比例训练改进ACGAN模型的判别器网络和生成器网络,并引入生成对抗机制,获得判别器和生成器的判别损失和分类损失。
判别器网络优化模块用于在判别器中引入梯度惩罚机制,并与判别损失和分类损失相结合,基于训练集利用梯度下降法优化判别器网络模型参数,获得优化后的判别器网络模型。
生成器网络优化模块用于将生成器判别损失和分类损失相结合,基于训练集利用梯度下降法更新生成器网络模型参数,获得优化后的生成器网络模型。
改进ACGAN模型优化模块用于迭代以使得生成器和判别器达到纳什平衡,改进ACGAN模型收敛到最佳,保存模型参数,获得优化后的改进ACGAN模型。
测试模块将测试集数据输入至优化后的改进ACGAN模型,实现带钢表面缺陷检测。
下面,结合具体实施例对本发明的技术方案做进一步说明。
步骤S1:从公开数据集获取带钢表面缺陷样本,对所有样本图像进行分割并统一尺寸,并为每个样本制作相应类别one-hot类型标签,具体方法可以参考现有的方法,本申请不再赘述。将所有样本按照一定的比例分为训练集与测试集。
步骤S2:搭建改进ACGAN网络模型:
(1)构建生成器网络,生成器网络包含1个全连接层、5个上采样残差块和一个3×3卷积层组成,具体如模型图2的生成器所示。生成器的上采样残差块包含三个子模块,结构如图3所示:res1由批归一化、激活函数ReLU、上采样层及3×3卷积层组成;res2由批归一化、激活函数ReLU和3×3卷积层组成;short-cut子模块包含上采样层和1×1卷积层。
(2)构建判别器网络,判别器网络由6个下采样残差块、2个全连接层和2个输出层组成,具体如模型图2的判别器所示。判别器的下采样残差块结构如图4所示:res1由3×3卷积层和Leaky ReLU激活函数组成;res2包括3×3卷积层、Leaky ReLU激活函数和下采样层;short-cut子模块包含下采样层和1×1卷积层。2个全连接层与基础ACGAN网络一致,分别对应于判别层和分类层,2个输出层对应于判别打分输出和预测类别概率输出。
(3)分别初始化生成器和判别器的网络参数θG和θD
步骤S3:以不同的比例训练改进ACGAN的判别器和生成器网络,具体训练流程如图4所示,并引入生成对抗机制,分别得到判别器和生成器的判别损失和分类损失。
(1)随机采样满足均匀分布的噪声向量与随机采样的one-hot类别标签向量联合组成输入生成器网络生成128×128的新样本,其样本分布为Pg。将生成新样本和真实训练样本输入判别器得到相应的判别打分和预测类别概率。
(2)依据生成样本质量改进判别器的判别对象,改进判别器的判别损失,基于生成对抗机制将判别器的真假判别变为生成样本的质量判别,即判别器的判别损失
Figure BDA0003169315460000121
为:
Figure BDA0003169315460000122
其中D(x)为判别器的判别打分,参数π=0.3为生成样本质量高低的比例,即生成样本分布为Pg=πPgr+(1-π)Pgf,Pgr表示高质量生成样本分布,Pgf表示低质量生成样本分布。依据生成对抗机制,判别器的目标为当样本为高质量生成样本时,最大化判别器打分D(x);当样本为低质量生成样本时,最小化判别器打分D(x),即最大化(1-D(x))。通过最大化判别器的判别损失LaDdv评估生成样本,提高判别器的判别能力并反馈给生成器调整生成样本的低质量部分。当迭代一定周期时,高质量样本分布Pgr可等同于真实样本分布Pd,低质量样本分布Pgf可以由所述生成样本和高质量样本之差表示:
Figure BDA0003169315460000131
改进后的判别器网络的判别损失通过生成样本和真实样本计算:
Figure BDA0003169315460000132
为避免损失为负而引起的模型不稳定和过拟合现象,进一步改进判别器的判别损失为:
Figure BDA0003169315460000133
(3)依据生成对抗网络的对抗机制,对应所述生成器的判别损失为:
Figure BDA0003169315460000134
对生成器而言,其目标为生成尽可能高质量的生成样本,使得判别器无法区分,即生成样本的判别打分D(x)最大化,通过最大化生成器的判别损失
Figure BDA0003169315460000135
来提高生成样本的质量。
(4)生成器和判别器网络的分类损失,根据交叉熵函数计算为:
Figure BDA0003169315460000136
其中,h是样本序数,B为生成样本总数或真实样本总数,
Figure BDA0003169315460000137
为对应数据判别器所输出的预测类别概率,Yh为输入样本的真实标签。
步骤S4:在判别器中引入梯度惩罚机制,并与改进判别损失和分类损失相结合通过梯度下降法优化判别器网络模型参数。
(1)原始ACGAN模型在训练过程中易发生梯度爆炸现象,引入梯度惩罚机制,通过在真实样本附近添加梯度约束,缓解判别器过大的梯度变化,梯度惩罚项为:
Figure BDA0003169315460000141
其中δ取自服从与真实样本标准差的均匀分布,通过在真实样本周围插入干扰样本(x+δ),来限制判别器在真实样本分布中的梯度,以避免局部平衡带来的模式崩塌现象,进而实现稳定可靠的训练。
(2)判别器网络的总损失为:
Figure BDA0003169315460000142
其中λ=3,γ=10分别表示分类损失与梯度惩罚对于判别器模型的重要程度。通过反向传播,利用梯度下降法迭代更新模型参数,优化判别器的损失。在每次迭代过程中,判别器的参数θD通过判别器学习率αD=0.0002进行更新:
Figure BDA0003169315460000143
步骤S5:将生成器判别损失和分类损失相结合,利用梯度下降法更新生成器网络模型参数网络模型。生成器网络的损失为:
Figure BDA0003169315460000144
其中λ=3表示分类损失对于生成器模型的重要程度。结合生成器学习率αG=0.0002优化分布差异与分类损失,更新生成器参数θG
Figure BDA0003169315460000145
步骤S6:重复步骤S3至S5,大约迭代次数达到30000次时,生成器和判别器达到纳什平衡,模型收敛到最佳,保存模型参数。输入测试集数据,实现带钢表面缺陷检测。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,上述实施例仅仅是为清楚地说明所作的举例,并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种带钢表面缺陷检测方法,其特征在于,包括以下步骤:
S1、获取带钢表面缺陷样本,将缺陷样本分为训练集和测试集;
S2、构建基于残差优化的改进ACGAN模型,所述改进ACGAN模型包括生成器网络和判别器网络;
S3、以不同的比例训练改进ACGAN模型的判别器网络和生成器网络,并引入生成对抗机制,获得判别器和生成器的判别损失和分类损失;
S4、在判别器中引入梯度惩罚机制,并与判别损失和分类损失相结合,基于训练集利用梯度下降法优化判别器网络模型参数,获得优化后的判别器网络模型;
S5、将生成器判别损失和分类损失相结合,基于训练集利用梯度下降法更新生成器网络模型参数,获得优化后的生成器网络模型;
S6、重复S3至S5,迭代以使得生成器和判别器达到纳什平衡,所述改进ACGAN模型收敛到最佳,保存模型参数,获得优化后的改进ACGAN模型;
S7、将测试集数据输入至优化后的改进ACGAN模型,实现带钢表面缺陷检测。
2.根据权利要求1所述的带钢表面缺陷检测方法,其特征在于,所述S2包括:
构建生成器网络,所述生成器网络包括依次设置的1个第一全连接层、5个上采样残差块和1个第一卷积层;
构建判别器网络,所述判别器网络包括6个下采样残差块、2个第二全连接层和2个输出层,其中,2个全连接层与基础ACGAN网络一致,分别对应于判别层和分类层,2个输出层对应于判别打分输出和预测类别概率输出。
分别初始化生成器和判别器的网络参数θG和θD
3.根据权利要求2所述的带钢表面缺陷检测方法,其特征在于,所述上采样残差块包括res1子模块、res2子模块和short-cut子模块;
所述res1子模块包括依次设置的批归一化、激活函数ReLU、上采样层和3×3卷积层;
所述res2子模块包括依次设置的批归一化、激活函数ReLU和3×3卷积层;
所述short-cut子模块包括上采样层和1×1卷积层。
4.根据权利要求2所述的带钢表面缺陷检测方法,其特征在于,所述下采样残差块包括res1子模块、res2子模块和short-cut子模块;
所述res1子模块包括3×3卷积层和Leaky ReLU激活函数;
所述res2子模块包括3×3卷积层、Leaky ReLU激活函数和下采样层;
所述short-cut子模块包含下采样层和1×1卷积层。
5.根据权利要求1所述的带钢表面缺陷检测方法,其特征在于,所述S3包括:
随机采样满足均匀分布的噪声向量与随机采样的one-hot类别标签向量联合组成输入生成器网络生成新样本,其样本分布为Pg
将生成新样本和真实训练集样本输入判别器得到相应的判别打分和预测类别概率,基于生成对抗机制将判别器的真假判别变为生成样本的质量判别;
依据生成样本质量改进判别器的判别对象,改进判别器的判别损失;
依据生成对抗网络的对抗机制,获取对应所述生成器的判别损失;
根据交叉熵函数计算生成器和判别器网络的分类损失。
6.根据权利要求5所述的带钢表面缺陷检测方法,其特征在于,所述依据生成样本质量改进判别器的判别对象,改进判别器的判别损失,包括:
判别器的判别损失
Figure FDA0003169315450000031
为:
Figure FDA0003169315450000032
其中,D(x)为判别器的判别打分,参数π=0.3为生成样本质量高低的比例,即生成样本分布为Pg=πPgr+(1-π)Pgf,Pgr表示高质量生成样本分布,Pgf表示低质量生成样本分布;
依据生成对抗机制,判别器的目标为当样本为高质量生成样本时,最大化判别器打分D(x);当样本为低质量生成样本时,最小化判别器打分D(x),即最大化(1-D(x));
当迭代预设周期时,高质量样本分布Pgr能够等同于真实样本分布Pd,低质量样本分布Pgf能够由所述生成样本和高质量样本之差表示:
Figure FDA0003169315450000033
改进后的判别器网络的判别损失通过生成样本和真实样本计算:
Figure FDA0003169315450000034
进一步改进判别器的判别损失为:
Figure FDA0003169315450000041
7.根据权利要求6所述的带钢表面缺陷检测方法,其特征在于,
所述依据生成对抗网络的对抗机制,获取对应所述生成器的判别损失,包括:
生成器的判别损失
Figure FDA0003169315450000042
所述根据交叉熵函数计算生成器和判别器网络的分类损失,包括:
分类损失
Figure FDA0003169315450000043
其中,h是样本序数,B为生成样本总数或真实样本总数,
Figure FDA0003169315450000044
为对应数据判别器所输出的预测类别概率,Yh为输入样本的真实标签。
8.根据权利要求7所述的带钢表面缺陷检测方法,其特征在于,所述S4包括:
梯度惩罚项为:
Figure FDA0003169315450000045
其中,δ取自服从与真实样本标准差的均匀分布,通过在真实样本周围插入干扰样本(x+δ)以限制判别器在真实样本分布中的梯度;
判别器网络的总损失为:
Figure FDA0003169315450000046
其中,λ和γ分别表示分类损失与梯度惩罚对于判别器模型的重要程度;
通过反向传播,利用梯度下降法迭代更新模型参数,优化判别器的损失;
在每次迭代过程中,判别器的参数θD通过判别器学习率αD进行更新:
Figure FDA0003169315450000047
9.根据权利要求1所述的带钢表面缺陷检测方法,其特征在于,所述将生成器判别损失和分类损失相结合,基于训练集利用梯度下降法更新生成器网络模型参数,包括:
生成器网络的损失为:
Figure FDA0003169315450000051
其中,λ表示分类损失对于生成器模型的重要程度;
结合生成器学习率αG优化分布差异与分类损失,更新生成器参数θG
Figure FDA0003169315450000052
10.一种基于改进辅助分类生成对抗网络的带钢表面缺陷检测系统,其特征在于,包括:
样本获取模块,所述样品获取模块用于获取带钢表面缺陷样本,将缺陷样本分为训练集和测试集;
模型构建模块,所述模型构建模块用于构建基于残差优化的改进ACGAN模型,所述改进ACGAN模型包括生成器网络和判别器网络;
损失获取模块,所述损失获取模块以不同的比例训练改进ACGAN模型的判别器网络和生成器网络,并引入生成对抗机制,获得判别器和生成器的判别损失和分类损失;
判别器网络优化模块,所述判别器网络优化模块用于在判别器中引入梯度惩罚机制,并与判别损失和分类损失相结合,基于训练集利用梯度下降法优化判别器网络模型参数,获得优化后的判别器网络模型;
生成器网络优化模块,所述生成器网络优化模块用于将生成器判别损失和分类损失相结合,基于训练集利用梯度下降法更新生成器网络模型参数,获得优化后的生成器网络模型;
改进ACGAN模型优化模块,所述改进ACGAN模型优化模块用于迭代以使得生成器和判别器达到纳什平衡,所述改进ACGAN模型收敛到最佳,保存模型参数,获得优化后的改进ACGAN模型;
测试模块,所述测试模块将测试集数据输入至优化后的改进ACGAN模型,实现带钢表面缺陷检测。
CN202110814180.7A 2021-07-19 2021-07-19 带钢表面缺陷检测方法及系统 Active CN113450344B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110814180.7A CN113450344B (zh) 2021-07-19 2021-07-19 带钢表面缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110814180.7A CN113450344B (zh) 2021-07-19 2021-07-19 带钢表面缺陷检测方法及系统

Publications (2)

Publication Number Publication Date
CN113450344A true CN113450344A (zh) 2021-09-28
CN113450344B CN113450344B (zh) 2022-05-13

Family

ID=77816670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110814180.7A Active CN113450344B (zh) 2021-07-19 2021-07-19 带钢表面缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN113450344B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116502060A (zh) * 2023-04-25 2023-07-28 浙江大学长三角智慧绿洲创新中心 一种基于WGANGP-Unet的结构健康监测缺失数据重构方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097543A (zh) * 2019-04-25 2019-08-06 东北大学 基于生成式对抗网络的热轧带钢表面缺陷检测方法
CN111178499A (zh) * 2019-12-10 2020-05-19 西安交通大学 一种基于生成对抗网络改进的医学图像超分辨率方法
CN111798369A (zh) * 2020-06-29 2020-10-20 电子科技大学 一种基于循环条件生成对抗网络的人脸衰老图像合成方法
CN112699717A (zh) * 2019-10-23 2021-04-23 中国科学院遥感与数字地球研究所 基于gan网络的sar图像生成方法及生成装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097543A (zh) * 2019-04-25 2019-08-06 东北大学 基于生成式对抗网络的热轧带钢表面缺陷检测方法
CN112699717A (zh) * 2019-10-23 2021-04-23 中国科学院遥感与数字地球研究所 基于gan网络的sar图像生成方法及生成装置
CN111178499A (zh) * 2019-12-10 2020-05-19 西安交通大学 一种基于生成对抗网络改进的医学图像超分辨率方法
CN111798369A (zh) * 2020-06-29 2020-10-20 电子科技大学 一种基于循环条件生成对抗网络的人脸衰老图像合成方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
常江 等: "基于改进生成对抗网络和 MobileNetV3的带钢缺陷分类", 《激光与光电子学进展》 *
程婧怡 等: "改进YOLOv3的金属表面缺陷检测研究", 《计算机工程与应用》 *
陆雅诺 等: "一种基于注意力模型的带钢表面缺陷识别算法", 《激光与光电子学进展》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116502060A (zh) * 2023-04-25 2023-07-28 浙江大学长三角智慧绿洲创新中心 一种基于WGANGP-Unet的结构健康监测缺失数据重构方法
CN116502060B (zh) * 2023-04-25 2024-04-23 浙江大学长三角智慧绿洲创新中心 一种基于WGANGP-Unet的结构健康监测缺失数据重构方法

Also Published As

Publication number Publication date
CN113450344B (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
US11557029B2 (en) Method for detecting and recognizing surface defects of automated fiber placement composite based on image converted from point cloud
CN105975573B (zh) 一种基于knn的文本分类方法
CN111860171B (zh) 一种大规模遥感图像中不规则形状目标的检测方法及系统
CN109523518B (zh) 一种轮胎x光病疵检测方法
CN113034483B (zh) 基于深度迁移学习的烟支缺陷检测方法
CN113888485A (zh) 一种基于深度学习的磁芯表面缺陷的检测方法
CN115205521B (zh) 基于神经网络的厨余垃圾检测方法
CN110349170B (zh) 一种全连接crf级联fcn和k均值脑肿瘤分割算法
US20210004721A1 (en) Inspection system, discrimination system, and learning data generation device
CN113450344B (zh) 带钢表面缺陷检测方法及系统
Chang et al. A novel multicategory defect detection method based on the convolutional neural network method for TFT-LCD panels
CN108090905B (zh) 产线异常的判断方法及系统
CN117291898A (zh) 一种表面缺陷检测方法、系统及设备
CN117011274A (zh) 自动化玻璃瓶检测系统及其方法
CN115374858B (zh) 基于混合集成模型的流程工业生产品质的智能诊断方法
CN116561692A (zh) 一种动态更新的实时量测数据检测方法
CN115797326A (zh) 一种基于改进yolox-s算法的金属铸件表面缺陷检测方法
CN114897858A (zh) 一种基于深度学习的快速绝缘子缺陷检测方法及其系统
CN115239967A (zh) 一种基于Trans-CSN生成对抗网络的图像生成方法及装置
CN113011446B (zh) 一种基于多源异构数据学习的智能目标识别方法
CN115512174A (zh) 应用二次IoU损失函数的无锚框目标检测方法
CN113658108A (zh) 一种基于深度学习的玻璃缺陷检测方法
CN114821206B (zh) 基于对抗互补特征的多模态图像融合分类方法与系统
CN111369508A (zh) 一种金属三维点阵结构的缺陷检测方法及系统
CN117152746B (zh) 一种基于yolov5网络的宫颈细胞分类参数获取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant