CN115272225A - 一种基于对抗学习网络的带钢表面缺陷检测方法及系统 - Google Patents

一种基于对抗学习网络的带钢表面缺陷检测方法及系统 Download PDF

Info

Publication number
CN115272225A
CN115272225A CN202210885378.9A CN202210885378A CN115272225A CN 115272225 A CN115272225 A CN 115272225A CN 202210885378 A CN202210885378 A CN 202210885378A CN 115272225 A CN115272225 A CN 115272225A
Authority
CN
China
Prior art keywords
network
strip steel
defect detection
image
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210885378.9A
Other languages
English (en)
Inventor
马海峰
田素坤
刘战强
周金华
张思露
宋清华
刘兆军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202210885378.9A priority Critical patent/CN115272225A/zh
Publication of CN115272225A publication Critical patent/CN115272225A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于对抗学习网络的带钢表面缺陷检测方法及系统，包括：获取待检测的带钢图像；对待检测的带钢图像进行二值化处理后，输入训练好的缺陷检测网络模型，进行缺陷区域检测；其中，缺陷检测网络模型包括分割网络和判别器网络；所述判别器网络通过综合损失函数对所述分割网络进行约束；所述分割网络的扩张卷积模块包括若干个依次连接的扩展卷积层，且不同扩张卷积层采用的扩张因子不同，实现了带钢表面缺陷的精确分割。

Description

一种基于对抗学习网络的带钢表面缺陷检测方法及系统
技术领域
本发明属于带钢表面检测技术领域，尤其涉及一种基于对抗学习网络的带钢表面缺陷检测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
带钢受轧制工艺和设备的影响，表面缺陷(如裂纹、划痕、点蚀、斑块、疵点、夹杂物等)严重影响了钢的性能，降低了最终产品的疲劳强度和腐蚀稳定性。传统手工检测方法依据个人的先验知识评估带钢表面的综合质量，存在效率低、易受主观意识等因素的影响，不能满足现代化工业生产的需求。
随着高质量检测的要求，基于计算机视觉的检测方法逐渐成为主流，取代了传统手工检测方法，具有效率低、精度低、劳动强度高等特点。此外，由于产品表面特征的多样性，设计一种高效、通用、准确的缺陷检测方法仍然是一个亟待解决的问题。通过集成图像处理、人工智能和模式识别等许多先进技术，基于计算机视觉的检测方法已成功应用于各种材料表面的缺陷检测，从而获得了较高的精度和可靠性。虽然这些方法取得了很好的检测效果，但它们的性能严重依赖于操作人员的主观经验，缺乏普遍性。
近年来，随着深度学习方法广泛应用于图像分割、识别和目标检测。与基于计算机视觉的图像处理任务相比，深度学习方法可以自动从输入样本中提取有效的特征，而不需要手工设计复杂的图像特征。虽然许多基于图像识别网络的缺陷检测方法已经取得了较高的检测精度，但它们的检测结果只是缺陷所在的边界框，无法满足高精度工业制造的要求。然而，基于分割网络的缺陷检测方法由于能够获得缺陷区域而受到广泛关注。目前，经典卷积神经网络已成为各种基于计算机视觉的检测任务的有力工具。因此，一些工作试图利用精心设计的深度学习技术进行缺陷检测，但这些方法也需要面对以下巨大挑战：1)钢表面缺陷的出现是随机的，因此，在工业场景中很难获得各种类型的高分辨率缺陷图像；此外，类内缺陷在大小和形状上存在很大差异，这不利于准确标记；因此，使用有限的样本和不准确的标签，检测网络无法实现良好的泛化能力；2)当材料表面缺陷与其背景之间的灰度差非常小时，显著区域很容易淹没在背景中；此外，分散的缺陷很难准确分离；3)大多数现有的深度学习方法通常用于特定材料的缺陷检测，这意味着泛化能力受到限制，很难将其扩展到其他材料表面。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种基于对抗学习网络的带钢表面缺陷检测方法及系统，利用两个特征提取模块和不同扩展因子的扩展卷积层来提高缺陷区域的识别，并采用综合损失度量，以帮助深度对抗网络推断出更细粒度的边缘信息，从而实现带钢表面缺陷的精确分割。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于对抗学习网络的带钢表面缺陷检测方法，其包括：
获取待检测的带钢图像；
对待检测的带钢图像进行二值化处理后，输入训练好的缺陷检测网络模型，进行缺陷区域检测；
其中，缺陷检测网络模型包括分割网络和判别器网络；所述判别器网络通过综合损失函数对所述分割网络进行约束；所述分割网络的扩张卷积模块包括若干个依次连接的扩展卷积层，且不同扩张卷积层采用的扩张因子不同。
进一步地，所述缺陷检测网络模型在训练时，分割网络用于提取二值化处理后的带钢图像的缺陷区域；所述分割网络输出的缺陷区域与带钢图像的真实缺陷区域一起输入到所述判别器网络，以计算综合损失函数对分割网络进行约束。
进一步地，所述缺陷检测网络模型训练时采用的训练集的获取方法为：
采集若干张带有表面缺陷的带钢图像；
对带钢图像进行二值化处理和缺陷区域标记后，得到初始训练集；
对初始训练集中的带钢图像进行尺寸调整后，进行旋转和扩充，得到用于缺陷检测网络模型训练的训练集。
进一步地，所述分割网络还包括若干个卷积层、若干个反卷积层和若干个特征提取模块，且编码阶段的卷积层还跳转连接到解码阶段的反卷积层。
进一步地，所述特征提取模块使用不同卷积核尺寸的滤波器对输入特征进行并行转换操作，得到不同感受野特征；并对不同感受野特征进行融合后进行卷积，将卷积结果与输入特征进行融合，得到输出特征图。
进一步地，所述综合损失函数对抗性损失、均方误差损失、特征匹配损失和边缘约束损失的加权和。
进一步地，所述判别器网络包括若干个依次连接的卷积层和一个全连接层，且每个卷积层后连接有批量标准化层和修正线性单元。
本发明的第二个方面提供一种基于对抗学习网络的带钢表面缺陷检测系统，其包括：
图像获取模块，其被配置为：获取待检测的带钢图像；
缺陷检测模块，其被配置为：对待检测的带钢图像进行二值化处理后，输入训练好的缺陷检测网络模型，进行缺陷区域检测；
其中，缺陷检测网络模型包括分割网络和判别器网络；所述判别器网络通过综合损失函数对所述分割网络进行约束；所述分割网络的扩张卷积模块包括若干个依次连接的扩展卷积层，且不同扩张卷积层采用的扩张因子不同。
本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的一种基于对抗学习网络的带钢表面缺陷检测方法中的步骤。
本发明的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的一种基于对抗学习网络的带钢表面缺陷检测方法中的步骤。
与现有技术相比，本发明的有益效果是：
本发明提供了一种基于对抗学习网络的带钢表面缺陷检测方法，其利用两个特征提取模块和不同扩展因子的扩展卷积层来提高缺陷区域的识别；还设计了一种综合损失度量，以帮助深度对抗网络推断出更细粒度的边缘信息，从而实现精确分割；克服了现有检测方法存在的检测效率低、检测类别少、检测准确率低、对类内缺陷差异大不友好的问题，满足了实时、高效的带钢表面缺陷检测的需求。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例一的一种基于对抗学习网络的带钢表面缺陷检测方法流程图；
图2是本发明实施例一的缺陷检测网络模型结构框架图；
图3是本发明实施例一的带钢数据集样本示意图；
图4是本发明实施例一的分割网络结构图和扩展卷积模块结构图；
图5是本发明实施例一的特征提取模块结构图；
图6是本发明实施例一的判别器网络结构图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
本实施例提供了一种基于对抗学习网络的带钢表面缺陷检测方法，如图1所示，包括以下步骤：
步骤S1，对采集大量具有复杂表面缺陷形态的带钢图像(原图像)进行二值化处理和缺陷区域标记，得到初始训练集。
其中，带钢表面缺陷包含6种类型：裂纹、划痕、点蚀、斑块、疵点和夹杂物。
如图2所示，在对带钢图像进行二值化处理之前，还可以对图像做两种旋转操作，一个是+90度，一个是-90度，即TR＝{T0,T1}，其中，TR表示旋转变换矩阵，T0表示旋转+90度，T1表示旋转-90度。
其中，对带钢图像二值化处理采用大津(Otsu)分割算法。具体的，为了实现带钢表面缺陷的细粒度分割和精确定位，图像预处理是进一步提高带钢表面缺陷图像质量的关键步骤，因此，通过对大津分割算法的二维直方图进行分解，引入加权因子，实现了对背景与显著特征区域之间的分割，如图3所示。给定图像大小为M×N，其灰度范围为[0，l]。像素灰度值和像素邻域灰度值形成二维灰度直方图，表示为(i,j)。以(s,t)为阈值，构造背景和显著特征区域之间的灰度差，即，大津分割算法中，阈值(s,t)对应的类间方差表示为：
Figure BDA0003765436710000061
其中，μb、μo和μw分别是背景、目标区域(显著特征区域)和整体图像的灰度向量，δ(s)和δ(t)分别为像素灰度值和像素邻域灰度值的均方误差。
为了避免在较大的二维空间中搜索阈值，对二维Otsu分割算法的直方图进行分解，并分别在图像像素灰度直方图和像素邻域灰度直方图上求解阈值。最后，将得到的阈值(s'，t')用作大津分割算法的最佳分割阈值，最佳分割阈值对应的类间方差表示为：
Figure BDA0003765436710000071
完成二维Otsu分割算法的分解，从而实现s和t的完全分离。最后，通过最大化两个一维直方图的类间方差，获得阈值向量(s'，t')。
对于每个带钢表面缺陷图像，确定图像的灰度平均值
Figure BDA0003765436710000073
和最大像素亮度频率f，但仅利用它们之间的差异来平衡偏差是不稳定的。因此，为了改善分解过程中被忽略的边缘和噪声影响，在像素邻域灰度分割阈值的求解中加入一个加权因子λ来计算最佳阈值。即，通过最大化类间方差选择出阈值(s'，t')后，令s＝s'，t＝t'，再通过以下公式计算大津分割算法的最佳阈值：
Figure BDA0003765436710000072
步骤S2，对初始训练集中的带钢图像进行尺寸调整后，进行旋转和扩充，得到用于缺陷检测网络模型训练的训练集。
具体的，采用cvResize函数将初始训练集中的带钢表面缺陷图像统一调整为256×256；对每张带有缺陷的带钢表面图像进行+90°和-90°的旋转，同时采用pix2pix网络来生成扩充带钢图像数据集，得到训练集。
步骤S3，搭建适用于复杂钢材表面图像缺陷区域分割的智能检测网络模型(缺陷检测网络模型)，如图2所示，该模型主要包括：融合了特征提取模块和不同扩张因子的扩展卷积层的分割网络、判别器网络和综合损失测量函数。
分割网络包括特征提取模块和扩展卷积模块；两功能模块级联在一起用于缺陷区域的智能提取(提取二值化处理后的带钢图像的缺陷区域)，在进行模型训练时，其与真值(人工标注出的带钢图像的真实缺陷区域)一起输入到判别器网络进行区分，并且网络训练过程中采用综合损失函数实时约束分割网络。分割网络采用编解码结构，由几个标准卷积层、两个特征提取模块和一个扩展卷积模块组成。该分割网络由多层组成，其中一组滤波器与输入图像进行卷积，以获得带钢表面缺陷区域的特征信息。在每个卷积层之后，除了最后一层之外，添加了一个修正线性单元函数和一个批量标准化层，而输出层包含一个带有sigmoid函数的卷积层，用于将输出标准化到[0，1]范围。与其他基于池化操作的卷积网络降低图像分辨率不同，提出的分割网络使用两次分步(1/2)反卷积运算将分辨率降低两倍，可以提取出带钢表面上具有精确边界的缺陷特征。此外，对于可能由于缺少池化层而导致的结构信息丢失，通过使用跳转连接将低层特征转移到解码阶段，以增强结构信息。如图4所示，分割网络包括一个扩张卷积模块、若干个卷积层、若干个反卷积层和若干个特征提取模块，且编码阶段的卷积层还跳转连接到解码阶段的反卷积层，具体的，分割网络包括依次连接的第一卷积层(64@256×256，其中，@前表示通道数，@表示图像的大小)、第二卷积层(128@128×128)、第三卷积层(128@128×128)、第四卷积层(256@64×64)、第五卷积层(256@64×64)、第一特征提取模块(256@64×64)、扩张卷积模块、第二特征提取模块(256@64×64)、第六卷积层(256@64×64)、第一反卷积层(128@128×128)、第七卷积层(128@128×128)、第二反卷积层(64@256×256)、第八卷积层(32@256×256)和第九卷积层(3@256×256)；第一卷积层还与第二反卷积层连接；第三卷积层还与第一反卷积层连接；第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第一特征提取模块、第二特征提取模块、第六卷积层、第一反卷积层、第七卷积层、第二反卷积层和第八卷积层均连接有一个修正线性单元和一个批量标准化层；第九卷积层(输出层)连接一个sigmoid函数。
特征提取模块，通过使用不同的卷积核来提取更丰富的图像特征，具体来说：首先，使用卷积核尺寸为1×1和3×3的滤波器对输入特征映射进行并行转换操作，以提取所有感受野的各种抽象特征，得到不同感受野特征。然后，对不同感受野特征进行融合，对融合(concatenation)后的特征图进行再次卷积，将卷积结果与多尺度结果(输入特征)进行融合，实现残差连接，从而防止网络退化，并在降维后得到最终输出特征图。在通道方向内融合和拼接不同级别的特征，从而使特征提取模块捕获更有效的特征信息，如图5所示。
扩展卷积模块，除了在分割网络中使用标准卷积层之外，还利用中间层中的扩展卷积模块来确保分割网络可以获得更细粒度的特征。与跳过连接不同，扩展卷积模块在通道方向上将前端特征映射连接到后端层。此外，扩展卷积模块捕获各种抽象特征，并扩展感受野以实现有效的特征表示。为了在不增加计算负担的情况下，获取更准确的缺陷区域特征信息，设置不同的扩张因子(γ＝2,4,8,16)以获得具有合适尺度的感受野。此外，这种连接允许每个特征映射在不同的膨胀因子下进行四次转换操作，从而捕获各种精细特征。每个卷积层的特征映射被集成到最后一个扩展卷积操作的输出端，以便分割网络能够更有效地捕获细粒度缺陷特征。如图4所示，扩展卷积模块包括若干个依次连接的扩展卷积层，且不同扩张卷积层采用的扩张因子不同。具体的，扩展卷积模块包括依次连接的第一扩展卷积层、第二扩展卷积层、第三扩展卷积层、第四扩展卷积层和第五扩展卷积层；第一扩展卷积层的输出分别输入第二扩展卷积层、第三扩展卷积层、第四扩展卷积层和第五扩展卷积层；第二扩展卷积层的输出分别输入第三扩展卷积层、第四扩展卷积层和第五扩展卷积层；第三扩展卷积层和第四扩展卷积层的输出均输入第五扩展卷积层第一扩展卷积层、第二扩展卷积层、第三扩展卷积层、第四扩展卷积层和第五扩展卷积层的扩张因子γ分别为1、2、4、8和16。
为了进一步理解扩张卷积模块，给定扩展卷积层的第i通道输入的hi×wi图像，下一层是第i+1通道输入的hi+1×wi+1图像。对于输入的特征映射f，第一扩展卷积层、第二扩展卷积层、第三扩展卷积层、第四扩展卷积层和第五扩展卷积层的扩展卷积算子可以写成：
Figure BDA0003765436710000101
其中，xγi,γj表示扩展卷积层的输入，R表示ReLU非线性函数；kw和kh分别表示卷积核的宽和高；b表示偏执向量；f表示卷积层之间的核矩阵。
判别器网络，由于识别两个表面缺陷图像的任务比通过卷积网络模型分割图像更容易，判别器网络的结构不像分割网络那样复杂。判别器网络包括若干个依次连接的卷积层和一个全连接层，且每个卷积层后连接有批量标准化层和修正线性单元。具体而言，判别器网络有七层，前六个单元块为卷积层，紧随其后的是批量标准化层和修正线性单元函数。在第六层中，尺寸为5×5的转换滤波器和卷积层的步长设置为2。第六层的输出结果被反馈到具有sigmoid传输层的全连接层以生成标量，该标量用于估计输入缺陷二值图像是分割缺陷图像的二值图像而不是真值的概率，如图6所示。给定缺陷图像x(原图像)及其目标图像z(人工标注的真实缺陷图像)，对抗性学习的目标函数公式如下：
Figure BDA0003765436710000102
其中，Pdata是指真值的分布，
Figure BDA0003765436710000111
是期望运算，S是分割网络，D是判别器。
综合损失函数用于辅助网络训练过程中获取更多的边缘信息，通过结合对抗性损失
Figure BDA0003765436710000112
均方误差损失
Figure BDA0003765436710000113
特征匹配损失
Figure BDA0003765436710000114
和边缘约束损失
Figure BDA0003765436710000115
构建总体目标，即综合损失函数对抗性损失、均方误差损失、特征匹配损失和边缘约束损失的加权和：
Figure BDA0003765436710000116
其中，λ为对应的平衡系数。
均方误差损失，为了提高训练稳定性，考虑到分割区域掩码，使用均方误差(MSE)损失。MSE在像素级客观地量化分割缺陷图像与其对应的二值图像之间的差异，以评估总体内容一致性。
Figure BDA0003765436710000117
其中，S(x)是分割后的图像，Z是真值，F表示范数。
特征匹配损失，通过引入基于判别器网络的特征匹配损失，进一步优化对抗性损失函数。特征匹配损失采用动态调整权重的判别器网络提取特征，使生成的特征和目标特征在判别器网络中的隐层形成对抗模式。由于判别器网络不能基于高维抽象特征准确区分真假结果，将分割后的缺陷图像及其对应的带钢二值图像的标准差相加，以微调目标函数。缺陷区域特征匹配损失重新计算如下：
Figure BDA0003765436710000118
其中，T是判别器网络中卷积层的总层数，mi是第i层的元素数，
Figure BDA0003765436710000119
和
Figure BDA00037654367100001110
分别表示真实图像和生成图像的输出向量在Di上的标准差。
边缘约束损失，一些研究工作表明，图像边缘信息可以提供有用的约束，以指导分割的显著特征提取。因此，为了明确地建模带钢表面缺陷区域的显著边缘特征，添加了一个额外的边缘约束来监控显著边缘特征。具体地说，通过测量分割的分割网络得到的缺陷边缘图Sedge和相应二值图像Bedge之间的差异，并根据交叉熵损失构造约束函数：
Figure BDA0003765436710000121
其中，w表示图像的宽，h表示图像的高。
步骤S4，采用带钢表面缺陷检测数据集对构建的智能缺陷检测网络进行预训练，得到预训练好的最优的缺陷检测模型；
步骤S5，采用预训练好的最优网络模型对带钢表面缺陷数据进行缺陷区域标记，准确的输出缺陷区域的复杂形态。
具体的，获取待检测的带钢图像，进行二值化处理后，输入训练好的缺陷检测网络模型中的分割网络，进行缺陷区域检测，得到标注出缺陷区域的带钢图像。
针对输入的带钢表面缺陷图像，模型首先对图像特征进行提取，以获得缺陷区域的位置信息，然后针对可能的缺陷位置进行更进一步的准确定位，从而检测到输入样本数据的准确的形态。
本发明实施例中，采用获得的测试集进行网络性能分析，本发明方法与现有基于生成对抗方法的分割准确率进行对比，结果显示本发明具有较高的精度。
本发明利用两个特征提取模块和不同扩展因子的扩展卷积层来提高缺陷区域的识别；还设计了一种综合损失度量，以帮助深度对抗网络推断出更细粒度的边缘信息，从而实现精确分割；克服了现有检测方法存在的检测效率低、检测类别少、检测准确率低、对类内缺陷差异大不友好的问题，实现一种检测效率高、准确率高、通用性强的带钢表面缺陷检测方法，满足实时、高效的带钢表面缺陷检测的需求。
本实施例对本发明的方法进行了定性和定量评估，并将其与最先进的基于深度学习的方法进行了比较，在三个表面缺陷数据库上的实验结果表明，所提出的缺陷检测网络具有有效的检测性能和良好的任务泛化能力。
实施例二
本实施例提供了一种基于对抗学习网络的带钢表面缺陷检测系统，其具体包括如下模块：
图像获取模块，其被配置为：获取待检测的带钢图像；
缺陷检测模块，其被配置为：对待检测的带钢图像进行二值化处理后，输入训练好的缺陷检测网络模型，进行缺陷区域检测；
其中，缺陷检测网络模型包括分割网络和判别器网络；所述判别器网络通过综合损失函数对所述分割网络进行约束；所述分割网络的扩张卷积模块包括若干个依次连接的扩展卷积层，且不同扩张卷积层采用的扩张因子不同。
其中，缺陷检测网络模型在训练时，分割网络用于提取二值化处理后的带钢图像的缺陷区域；所述分割网络输出的缺陷区域与带钢图像的真实缺陷区域一起输入到所述判别器网络，以计算综合损失函数对分割网络进行约束。
其中，缺陷检测网络模型训练时采用的训练集的获取方法为：
采集若干张带有表面缺陷的带钢图像；
对带钢图像进行二值化处理和缺陷区域标记后，得到初始训练集；
对初始训练集中的带钢图像进行尺寸调整后，进行旋转和扩充，得到用于缺陷检测网络模型训练的训练集。
其中，分割网络还包括若干个卷积层、若干个反卷积层和若干个特征提取模块，且编码阶段的卷积层还跳转连接到解码阶段的反卷积层。
其中，特征提取模块使用不同卷积核尺寸的滤波器对输入特征进行并行转换操作，得到不同感受野特征；并对不同感受野特征进行融合后进行卷积，将卷积结果与输入特征进行融合，得到输出特征图。
其中，综合损失函数对抗性损失、均方误差损失、特征匹配损失和边缘约束损失的加权和。
具体的，判别器网络包括若干个依次连接的卷积层和一个全连接层，且每个卷积层后连接有批量标准化层和修正线性单元。
此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的一种基于对抗学习网络的带钢表面缺陷检测方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的一种基于对抗学习网络的带钢表面缺陷检测方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于对抗学习网络的带钢表面缺陷检测方法，其特征在于，包括：
获取待检测的带钢图像；
对待检测的带钢图像进行二值化处理后，输入训练好的缺陷检测网络模型，进行缺陷区域检测；
其中，缺陷检测网络模型包括分割网络和判别器网络；所述判别器网络通过综合损失函数对所述分割网络进行约束；所述分割网络的扩张卷积模块包括若干个依次连接的扩展卷积层，且不同扩张卷积层采用的扩张因子不同。
2.如权利要求1所述的一种基于对抗学习网络的带钢表面缺陷检测方法，其特征在于，所述缺陷检测网络模型在训练时，分割网络用于提取二值化处理后的带钢图像的缺陷区域；所述分割网络输出的缺陷区域与带钢图像的真实缺陷区域一起输入到所述判别器网络，以计算综合损失函数对分割网络进行约束。
3.如权利要求1所述的一种基于对抗学习网络的带钢表面缺陷检测方法，其特征在于，所述缺陷检测网络模型训练时采用的训练集的获取方法为：
采集若干张带有表面缺陷的带钢图像；
对带钢图像进行二值化处理和缺陷区域标记后，得到初始训练集；
对初始训练集中的带钢图像进行尺寸调整后，进行旋转和扩充，得到用于缺陷检测网络模型训练的训练集。
4.如权利要求1所述的一种基于对抗学习网络的带钢表面缺陷检测方法，其特征在于，所述分割网络还包括若干个卷积层、若干个反卷积层和若干个特征提取模块，且编码阶段的卷积层还跳转连接到解码阶段的反卷积层。
5.如权利要求4所述的一种基于对抗学习网络的带钢表面缺陷检测方法，其特征在于，所述特征提取模块使用不同卷积核尺寸的滤波器对输入特征进行并行转换操作，得到不同感受野特征；并对不同感受野特征进行融合后进行卷积，将卷积结果与输入特征进行融合，得到输出特征图。
6.如权利要求1所述的一种基于对抗学习网络的带钢表面缺陷检测方法，其特征在于，所述综合损失函数对抗性损失、均方误差损失、特征匹配损失和边缘约束损失的加权和。
7.如权利要求1所述的一种基于对抗学习网络的带钢表面缺陷检测方法，其特征在于，所述判别器网络包括若干个依次连接的卷积层和一个全连接层，且每个卷积层后连接有批量标准化层和修正线性单元。
8.一种基于对抗学习网络的带钢表面缺陷检测系统，其特征在于，包括：
图像获取模块，其被配置为：获取待检测的带钢图像；
缺陷检测模块，其被配置为：对待检测的带钢图像进行二值化处理后，输入训练好的缺陷检测网络模型，进行缺陷区域检测；
其中，缺陷检测网络模型包括分割网络和判别器网络；所述判别器网络通过综合损失函数对所述分割网络进行约束；所述分割网络的扩张卷积模块包括若干个依次连接的扩展卷积层，且不同扩张卷积层采用的扩张因子不同。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的一种基于对抗学习网络的带钢表面缺陷检测方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的一种基于对抗学习网络的带钢表面缺陷检测方法中的步骤。
CN202210885378.9A 2022-07-26 2022-07-26 一种基于对抗学习网络的带钢表面缺陷检测方法及系统 Pending CN115272225A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210885378.9A CN115272225A (zh) 2022-07-26 2022-07-26 一种基于对抗学习网络的带钢表面缺陷检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210885378.9A CN115272225A (zh) 2022-07-26 2022-07-26 一种基于对抗学习网络的带钢表面缺陷检测方法及系统

Publications (1)

Publication Number Publication Date
CN115272225A true CN115272225A (zh) 2022-11-01

Family

ID=83769662

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210885378.9A Pending CN115272225A (zh) 2022-07-26 2022-07-26 一种基于对抗学习网络的带钢表面缺陷检测方法及系统

Country Status (1)

Country Link
CN (1) CN115272225A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661174A (zh) * 2022-11-14 2023-01-31 北京矩视智能科技有限公司 基于流扭曲的表面缺陷区域分割方法、装置及电子设备
CN117372438A (zh) * 2023-12-08 2024-01-09 湘江实验室 基于类别不平衡的热轧钢板缺陷检测方法及相关设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661174A (zh) * 2022-11-14 2023-01-31 北京矩视智能科技有限公司 基于流扭曲的表面缺陷区域分割方法、装置及电子设备
CN117372438A (zh) * 2023-12-08 2024-01-09 湘江实验室 基于类别不平衡的热轧钢板缺陷检测方法及相关设备

Similar Documents

Publication Publication Date Title
CN115272225A (zh) 一种基于对抗学习网络的带钢表面缺陷检测方法及系统
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN108734199A (zh) 基于分段深度特征及低秩表示的高光谱图像鲁棒分类方法
CN112991271B (zh) 基于改进yolov3的铝型材表面缺陷视觉检测方法
Lv et al. Few-shot learning combine attention mechanism-based defect detection in bar surface
Travieso et al. Pollen classification based on contour features
Lin et al. Determination of the varieties of rice kernels based on machine vision and deep learning technology
CN111046838A (zh) 一种湿地遥感信息的识别方法及装置
CN110992301A (zh) 一种气体轮廓识别方法
CN114373079A (zh) 一种快速准确的探地雷达目标检测方法
CN111127407B (zh) 一种基于傅里叶变换的风格迁移伪造图像检测装置及方法
CN109829511B (zh) 基于纹理分类的下视红外图像中云层区域检测方法
CN117372853A (zh) 一种基于图像增强和注意力机制的水下目标检测算法
CN112288765A (zh) 一种用于车载红外行人检测跟踪的图像处理方法
CN117315578A (zh) 一种结合分类网络的锈斑面积扩大的监测方法与系统
CN116958662A (zh) 一种基于卷积神经网络的钢带缺陷分类方法
CN115761467A (zh) 一种基于高低频特征差分金字塔神经网络的水下目标检测方法
CN114862883A (zh) 一种目标边缘提取方法、图像分割方法及系统
CN113989567A (zh) 垃圾图片分类方法及装置
Monteiro Pollen grain recognition through deep learning convolutional neural networks
CN117392440B (zh) 一种基于组织结构及颜色分类的纺织面料检索方法和系统
CN117746079B (zh) 一种高光谱图像的聚类预测方法、系统、存储介质及设备
CN117011719B (zh) 一种基于卫星图像的水资源信息采集方法
Van de Wouver et al. Multiscale asymmetry signatures for texture analysis
CN117237599A (zh) 图像目标检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination