CN110675359A - 一种钢卷表面的缺陷样本生成方法、系统及电子设备 - Google Patents

一种钢卷表面的缺陷样本生成方法、系统及电子设备 Download PDF

Info

Publication number
CN110675359A
CN110675359A CN201910584062.4A CN201910584062A CN110675359A CN 110675359 A CN110675359 A CN 110675359A CN 201910584062 A CN201910584062 A CN 201910584062A CN 110675359 A CN110675359 A CN 110675359A
Authority
CN
China
Prior art keywords
defect
image
steel coil
neural network
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910584062.4A
Other languages
English (en)
Inventor
张发恩
刘洋
黄家水
唐永亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Qizhi (nanjing) Technology Co Ltd
Original Assignee
Innovation Qizhi (nanjing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Qizhi (nanjing) Technology Co Ltd filed Critical Innovation Qizhi (nanjing) Technology Co Ltd
Priority to CN201910584062.4A priority Critical patent/CN110675359A/zh
Publication of CN110675359A publication Critical patent/CN110675359A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明提供一种钢卷表面的缺陷样本生成方法，该方法通过使用初始神经网络学习多种缺陷样本，并通过输入随机抠除部分位置的待处理图像至初始神经网络后，在抠除位置生成平滑、自然的缺陷，实现了从普通无缺陷样本到缺陷样本的生成，使得用户可通过少量的多种类的缺陷样本为基础，生成大量成像平滑、自然的缺陷样本，减少了人工绘制样本的时间和人力成本，提高样本生成的效率。

Description

一种钢卷表面的缺陷样本生成方法、系统及电子设备
【技术领域】
本发明涉及钢卷表面缺陷样本生成领域，特别涉及一种钢卷表面的缺陷样本生成方法、系统及电子设备。
【背景技术】
机器学习是人工智能的核心，其通过设计神经网络使得机器具有学习功能，并能将学习结果储存记忆。神经网络通过输入的大量不同的学习样本，例如具有不同类别产品、物种的图片，并经过人工的干预，使得神经网络“记住”学习结果，也即对神经网络的不断完善。
但现有的机器学习过程中，大量不同的学习样本往往很难获取，特别是在钢卷表面缺陷识别的神经网络中，因钢卷表面的区域较大，缺陷位置的面积较小，往往需要大量缺陷样本进行训练才能达到足够的识别精确度，在获取样本的方法中，有的是通过人工修改图像充当学习样本，但绘制的图像并不自然，人工痕迹明显，且需要耗费较大的人工与时间成本，效率较低。
【发明内容】
为了克服目前现有钢卷表面的缺陷样本生成方法中效率较低的问题，本发明提供一种钢卷表面的缺陷样本生成方法、系统及电子设备。
本发明为解决上述技术问题，提供一技术方案如下：一种钢卷表面的缺陷样本生成方法，包括如下步骤:步骤S1：提供带缺陷的初始钢卷表面图像及一初始神经网络，抠除初始钢卷表面图像中的缺陷部分获得缺陷抠除图像，并将缺陷抠除图像作为输入，用带缺陷的初始钢卷表面图像进行监督学习，获得一缺陷生成神经网络，所述缺陷生成神经网络可基于输入的图像特征生成缺陷纹理；及步骤S2：将随机抠除部分位置的待处理图像输入至所述缺陷生成神经网络中，获得所需具有缺陷的样本图像。
优选地，步骤S1可包括如下步骤：步骤S11：提供带缺陷的初始钢卷表面图像，并生成缺陷位置的掩膜；步骤S12：利用掩膜，抠除初始钢卷表面图像中的缺陷以获得缺陷抠除图像；步骤S13：提供一初始神经网络，将缺陷抠除图像输入至所述初始神经网络中，并用带缺陷的初始钢卷表面图像进行监督学习，获得一缺陷生成神经网络。
优选地，步骤S13中的初始神经网络为具有部分卷积层的全连接结构的神经网络。
优选地，上述步骤S13具体包括如下步骤：步骤S131：将缺陷抠除图像与带缺陷的初始钢卷表面图像输入至初始神经网络；步骤S132：所述初始神经网络以带缺陷的初始钢卷表面图像为参照，在缺陷抠除图像中抠除缺陷的位置生成与带缺陷的初始钢卷表面图像中的缺陷相匹配的模拟缺陷；及步骤S133：所述初始神经网络保存获得的模拟缺陷，并将所述模拟缺陷与对应抠除位置边缘的像素值配对后保存，获得缺陷生成神经网络。
优选地，步骤S132中，通过计算带缺陷的初始钢卷表面图像中的缺陷与模拟缺陷之间的损失函数，并根据所述损失函数，将生成的所述模拟缺陷更接近带缺陷的初始钢卷表面图像中的缺陷。
优选地，步骤S2具体包括如下步骤：步骤S21：提供初始完整图像，在初始完整图像上任意位置抠除至少一处图像，获得待处理图像；及步骤S22：将所述待处理图像输入至缺陷生成神经网络，在抠除图像的位置生成为与所述模拟缺陷相匹配的样本缺陷，获得所需具有缺陷的样本图像。
优选地，步骤S22中，具体包括以下步骤：步骤S221：所述缺陷生成神经网络通过所述待处理图像中抠除缺陷的位置边缘的像素值，获得与该边缘的像素值匹配的模拟缺陷；及步骤S222：以匹配结果的模拟缺陷为参照，在对应抠除缺陷的位置生成样本缺陷。
本发明还提供一种钢卷表面的缺陷样本生成系统，包括：网络训练单元，被配置为用于提供带缺陷的初始钢卷表面图像及一初始神经网络，抠除初始钢卷表面图像中的缺陷部分获得缺陷抠除图像，并将缺陷抠除图像作为输入，用带缺陷的初始钢卷表面图像进行监督学习，获得一缺陷生成神经网络，所述缺陷生成神经网络可基于输入的图像特征生成缺陷纹理；样本生成单元，被配置为用于将随机抠除部分位置的待处理图像输入至所述缺陷生成神经网络中，获得所需具有缺陷的样本图像。
优选地，所述网络训练单元还包括：图像获取单元，被配置为用于提供带缺陷的初始钢卷表面图像，并生成缺陷位置的掩膜；缺陷抠除单元，被配置为用于利用掩膜，抠除初始钢卷表面图像中的缺陷以获得缺陷抠除图像；及监督学习单元，被配置为用于提供一初始神经网络，将缺陷抠除图像输入至所述初始神经网络中，并用带缺陷的初始钢卷表面图像进行监督学习，获得一缺陷生成神经网络。
本发明还提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被设置为运行时执行上述任一项中所述的钢卷表面的缺陷样本生成方法；所述处理器被设置为通过所述计算机程序执行上述任一项中所述的钢卷表面的缺陷样本生成方法。
与现有技术相比，本发明提供的一种钢卷表面的缺陷样本生成方法、系统及电子设备，具有以下优点：
1、在钢卷表面钢卷表面的缺陷样本生成领域中，通过使用初始神经网络学习多种缺陷样本，并通过输入随机抠除部分位置的完整图像至初始神经网络后，在抠除位置生成平滑、自然的缺陷，实现了从普通无缺陷样本到缺陷样本的生成，使得用户可通过少量的多种类的缺陷样本为基础，生成大量成像平滑、自然的缺陷样本，减少了人工绘制样本的时间和人力成本，提高样本生成的效率。
2、通过计算带缺陷的初始钢卷表面图像中原始缺陷与缺陷抠除图像中模拟缺陷之间的损失函数，并根据所述损失函数，将所述缺陷抠除图像中生成的模拟缺陷更接近带缺陷的初始钢卷表面图像内的原始缺陷。
3、通过使用具有部分卷积层的全连接结构的神经网络，以提高缺陷生成神经网络生成的样本缺陷更接近于模拟缺陷，提高缺陷还原度。
4、通过完整图像中抠除缺陷的位置边缘的像素值与该边缘像素值相匹配的缺陷匹配，可根据不同背景生成更自然、平滑的缺陷样本。
【附图说明】
图1为本发明第一实施例提供的一种钢卷表面的缺陷样本生成方法的整体流程图。
图2a为本发明第一实施例提供的一种钢卷表面的缺陷样本生成方法的步骤S1的细节流程图。
图2b为本发明第一实施例提供的一种钢卷表面的缺陷样本生成方法的步骤S1中步骤S11的掩膜生成过程的示意图。
图2c为本发明第一实施例提供的一种钢卷表面的缺陷样本生成方法的步骤S1中步骤S12的缺陷抠除过程的示意图。
图3a为本发明第一实施例提供的一种钢卷表面的缺陷样本生成方法的步骤S13的细节流程图。
图3b为本发明第一实施例提供的一种钢卷表面的缺陷样本生成方法的步骤S132中模拟缺陷生成的示意图。
图4a为本发明第一实施例提供的一种钢卷表面的缺陷样本生成方法的步骤S2的细节流程图。
图4b为本发明第一实施例提供的一种钢卷表面的缺陷样本生成方法的步骤S22的细节流程图。
图4c为本发明第一实施例提供的一种钢卷表面的缺陷样本生成方法的步骤S222中样本缺陷生成的的示意图。
图5为本发明第二实施例提供的一种钢卷表面的缺陷样本生成系统的模块图。
图6为本发明第二实施例提供的一种钢卷表面的缺陷样本生成系统中网络训练单元的模块图。
图7为本发明第三实施例提供的一种电子设备的模块图。
附图标记说明：
1、网络训练单元；2、样本生成单元；
11、图像获取单元；12、缺陷抠除单元；13、监督学习单元；
10、存储器；20、处理器；
100、带缺陷的初始钢卷表面图像；101、原始缺陷；102、虚线框；
200、缺陷抠除图像；201、模拟缺陷；
300、待处理图像；301、样本缺陷。
【具体实施方式】
为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图及实施实例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
请参阅图1，本发明第一实施例提供一种钢卷表面的缺陷样本生成方法，包括以下步骤：
步骤S1：提供带缺陷的初始钢卷表面图像及一初始神经网络，抠除初始钢卷表面图像中的缺陷部分获得缺陷抠除图像，并将缺陷抠除图像作为输入，用带缺陷的初始钢卷表面图像进行监督学习，获得一缺陷生成神经网络，所述缺陷生成神经网络可基于输入的图像特征生成缺陷纹理；及
步骤S2：将随机抠除部分位置的待处理图像输入至所述缺陷生成神经网络中，获得所需具有缺陷的样本图像。
可以理解，所述具有缺陷的样本图像可作为神经网络的学习样本进行学习。
请参阅图2a，步骤S1具体包括步骤S11～S13：
步骤S11：提供带缺陷的初始钢卷表面图像，并生成缺陷位置的掩膜；
步骤S12：利用掩膜，抠除初始钢卷表面图像中的缺陷以获得缺陷抠除图像；
步骤S13：提供一初始神经网络，将缺陷抠除图像输入至所述初始神经网络中，并用带缺陷的初始钢卷表面图像进行监督学习，获得一缺陷生成神经网络。
可以理解，步骤S11中，所述带缺陷的初始钢卷表面图像中的缺陷位置通过预先标记，计算机通过该标记在对应的位置生成掩膜，所述初始钢卷表面图像中的缺陷为原始缺陷，也即所述原始缺陷为真实的缺陷特征。
可以理解，步骤12中，所述掩膜通过将带缺陷的初始钢卷表面图像中缺陷位置以外的区域遮住，将缺陷从掩膜上抠除，以获得抠除缺陷的缺陷抠除图像。
例如，结合图2b与图2c，在带缺陷的初始钢卷表面图像100内具有原始缺陷101，将虚线框102内的原始缺陷101沿着虚线框102的边缘抠除，并保留虚线框102以外的区域，获得缺陷抠除图像200。
可以理解，步骤S11～S13仅为该实施例的一种实施方式，其实施方式并不限定于步骤S11～S13。
具体地，请参阅图3a，步骤S13具体包括步骤S131～S133：
步骤S131：将缺陷抠除图像与带缺陷的初始钢卷表面图像输入至初始神经网络；
步骤S132：所述初始神经网络以带缺陷的初始钢卷表面图像为参照，在缺陷抠除图像中抠除缺陷的位置生成与带缺陷的初始钢卷表面图像中的缺陷相匹配的模拟缺陷；及
步骤S133：所述初始神经网络保存获得的模拟缺陷，并将所述模拟缺陷与对应抠除位置边缘的像素值配对后保存，获得缺陷生成神经网络。
可以理解，步骤S131中，所述初始神经网络为具有部分卷积层的全连接结构的神经网络，其利用部分卷积(Partial Convolutions)，将传统U-net中的卷积层替换为部分卷积层，使得后续缺陷生成神经网络在将缺陷抠除图像上生成的模拟缺陷更接近于所述带缺陷的初始钢卷表面图像中的缺陷。
可以理解，步骤S132中，所述初始神经网络通过学习模拟缺陷的生成进而保存生成的多种类型的模拟缺陷，使得后续输入缺陷抠除图像时，所述初始神经网络可寻找图像中的抠除位置，并在抠除位置根据模拟缺陷生成平滑的缺陷特征。
可以理解，步骤S132中，带缺陷的初始钢卷表面图像中的缺陷与模拟缺陷相匹配，也即在模拟缺陷在参照所述原始缺陷生成过程中会存在误差，使得模拟缺陷的特征与所述原始缺陷的特征具有区别。
例如，请结合图2c和图3b，所述缺陷抠除图像200上对应虚线框102的位置经过步骤S132之后，获得参照所述原始缺陷101生成的模拟缺陷201。
可以理解，步骤S133中，模拟缺陷具有多种类型的缺陷特征，将所述模拟缺陷与对应抠除位置边缘的像素值配对后保存，使得后续步骤中选取不同类型的模拟缺陷时，可根据对应抠除位置边缘的像素值选取相应的模拟缺陷。
可以理解，上述步骤S132中，可通过计算带缺陷的初始钢卷表面图像中的原始缺陷与生成的缺陷抠除图像中的模拟缺陷之间的损失函数，并根据所述损失函数，将所述缺陷抠除图像中生成的模拟缺陷更接近带缺陷的初始钢卷表面图像内的原始缺陷。
可以理解，步骤S131～S133仅为该实施例的一种实施方式，其实施方式并不限定于步骤S131～S133。
请参阅图4a，步骤S2：将随机抠除部分位置的待处理图像输入至所述缺陷生成神经网络中，获得所需具有缺陷的样本图像。步骤S2具体包括步骤S21～S22：
步骤S21：提供初始完整图像，在初始完整图像上任意位置抠除至少一处图像，获得待处理图像；及
步骤S22：将所述待处理图像输入至缺陷生成神经网络，在抠除图像的位置生成为与所述模拟缺陷相匹配的样本缺陷，获得所需具有缺陷的样本图像。
可以理解，将所述初始完整图像随机抠除至少一处图像，缺陷生成神经网络可根据步骤S21中抠除图像的位置生成一匹配的样本缺陷，以获得所需具有缺陷的样本图像，所述样本缺陷为经过训练的缺陷生成神经网络所生成的，相比于人工绘制的学习样本，所述具有缺陷的样本图像中的样本缺陷具有成像更自然、真实的特点，使得所述所需具有缺陷的样本图像可直接作为机器学习的样本。
可以理解，步骤S21～S22仅为该实施例的一种实施方式，其实施方式并不限定于步骤S21～S22。
请参阅图4b，上述步骤S22具体包括步骤S221～S222。
步骤S221：所述缺陷生成神经网络通过所述待处理图像中抠除缺陷的位置边缘的像素值，匹配与该边缘的像素值匹配的模拟缺陷；及
步骤S222：以匹配结果的模拟缺陷为参照，在对应抠除缺陷的位置生成样本缺陷。
可以理解，在步骤S221中，所述缺陷生成神经网络在生成所述样本缺陷时，会根据模拟缺陷所在缺陷抠除图像中对应区域的边缘的像素值与所述模拟缺陷进行配对，并储存于所述缺陷生成神经网络中，所述缺陷生成神经网络可根据抠除缺陷位置边缘的像素值来选择生成缺陷的类型。
例如，请结合图3b与图4c，提供一张随机抠除一个位置的待处理图像300，当缺陷生成神经网络检测到虚线框102边缘的像素值与缺陷生成神经网络中储存的模拟缺陷201边缘的像素值具有较大匹配度时，则神经网络根据模拟缺陷201在虚线框102内生成与模拟缺陷201相似的样本缺陷301。
可以理解，所述缺陷生成神经网络通过模拟缺陷在生成样本缺陷时，由于误差不可避免，因此，生成的样本缺陷与模拟缺陷存在误差，而为了提高准确度，则需要将误差控制在可控范围之内。
可以理解，本发明提供的钢卷表面的缺陷样本生成方法尤其适用于钢卷表面的钢卷表面的缺陷样本生成技术。钢卷表面分布有孔隙、裂纹的缺陷，通过对多种不同缺陷类型的学习，使得缺陷生成神经网络可生成多种具有平滑、自然的缺陷图像，可根据生成的带缺陷的样本图像作为机器学习的样本。
请参阅图5，本发明第二实施例还提供一种钢卷表面的缺陷样本生成系统，该钢卷表面的缺陷样本生成系统可以包括：
网络训练单元1，被配置为用于提供带缺陷的初始钢卷表面图像进行处理，并提供一初始神经网络，将缺陷抠除图像作为输入，用带缺陷的初始钢卷表面图像进行监督学习，获得一缺陷生成神经网络，所述缺陷生成神经网络可基于输入的图像特征生成缺陷纹理。及
样本生成单元2，被配置为用于将随机抠除部分位置的待处理图像输入至所述神经网络中，获得所需具有缺陷的样本图像。
请参阅图6，所述网络训练单元还包括：
图像获取单元11，被配置为用于提供带缺陷的初始钢卷表面图像，并生成缺陷位置的掩膜；
缺陷抠除单元12，被配置为用于利用掩膜，抠除初始钢卷表面图像中的缺陷以获得缺陷抠除图像；
监督学习单元13，被配置为用于提供一初始神经网络，将缺陷抠除图像输入至所述初始神经网络中，并用带缺陷的初始钢卷表面图像进行监督学习，获得一缺陷生成神经网络。
请参阅图7，本发明第三实施例提供一种用于实施上述钢卷表面的缺陷样本生成方法的电子设备，所述电子设备包括存储器10和处理器20，所述存储器10中存储有运算机程序，所述运算机程序被设置为运行时执行上述任一项钢卷表面的缺陷样本生成方法实施例中的步骤。所述处理器20被设置为通过所述运算机程序执行上述任一项钢卷表面的缺陷样本生成方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于运算机网络的多个网络设备中的至少一个网络设备。
具体地，所述电子设备为钢卷表面钢卷表面的缺陷样本生成中的样本生成设备，其用于在完整无缺陷的钢卷图像中针对人为抠除的部分重新生成新的缺陷，以通过该电子设备生成多种具有成像平滑、自然的钢卷表面缺陷样本。
与现有技术相比，本发明提供的一种钢卷表面的缺陷样本生成方法，具有以下优点：
1、在钢卷表面钢卷表面的缺陷样本生成领域中，通过使用初始神经网络学习多种缺陷样本，并通过输入随机抠除部分位置的完整图像至初始神经网络后，在抠除位置生成平滑、自然的缺陷，实现了从普通无缺陷样本到缺陷样本的生成，使得用户可通过少量的多种类的缺陷样本为基础，生成大量成像平滑、自然的缺陷样本，减少了人工绘制样本的时间和人力成本，提高样本生成的效率。
2、通过计算带缺陷的初始钢卷表面图像中原始缺陷与缺陷抠除图像中模拟缺陷之间的损失函数，并根据所述损失函数，将所述缺陷抠除图像中生成的模拟缺陷更接近带缺陷的初始钢卷表面图像内的原始缺陷。
3、通过使用具有部分卷积层的全连接结构的神经网络，以提高缺陷生成神经网络生成的样本缺陷更接近于模拟缺陷，提高缺陷还原度。
4、通过完整图像中抠除缺陷的位置边缘的像素值与该边缘像素值相匹配的缺陷匹配，可根据不同背景生成更自然、平滑的缺陷样本。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。
在该计算机程序被处理器执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请所述的计算机存储器可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机存储器例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。
计算机存储器的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读信号介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等，或者上述的任意合适的组合。
可以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括图像获取单元、缺陷抠除单元、监督学习单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，缺陷抠除单元还可以被描述为“基于当前图像与掩膜的位置，从当前图像中抠除掩膜位置的单元”。
作为另一方面，本申请还提供了一种计算机存储器，该计算机存储器可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。上述计算机存储器承载有一个或者多个程序，当上述一个或者多个程序被该装置执行时，使得该装置：提供带缺陷的初始钢卷表面图像进行处理，提供一初始神经网络，将缺陷抠除图像作为输入，用带缺陷的初始钢卷表面图像进行监督学习，获得一缺陷生成神经网络，所述缺陷生成神经网络可基于输入的图像特征生成缺陷纹理；将随机抠除部分位置的待处理图像输入至所述神经网络中，获得所需具有缺陷的样本图像。
以上仅为本发明较佳实施例而已，并不用以限制本发明，凡在本发明原则之内所作的任何修改，等同替换和改进等均应包含本发明的保护范围之内。

Claims (10)

1.一种钢卷表面的缺陷样本生成方法，其特征在于：包括如下步骤:
步骤S1：提供带缺陷的初始钢卷表面图像及一初始神经网络，抠除初始钢卷表面图像中的缺陷部分获得缺陷抠除图像，并将缺陷抠除图像作为输入，用带缺陷的初始钢卷表面图像进行监督学习，获得一缺陷生成神经网络，所述缺陷生成神经网络可基于输入的图像特征生成缺陷纹理；及
步骤S2：将随机抠除部分位置的待处理图像输入至所述缺陷生成神经网络中，获得所需具有缺陷的样本图像。
2.如权利要求1中所述钢卷表面的缺陷样本生成方法，其特征在于，步骤S1可包括如下步骤：
步骤S11：提供带缺陷的初始钢卷表面图像，并生成缺陷位置的掩膜；
步骤S12：利用掩膜，抠除初始钢卷表面图像中的缺陷以获得缺陷抠除图像；及
步骤S13：提供一初始神经网络，将缺陷抠除图像输入至所述初始神经网络中，并用带缺陷的初始钢卷表面图像进行监督学习，获得一缺陷生成神经网络。
3.如权利要求2中所述钢卷表面的缺陷样本生成方法，其特征在于：步骤S13中的初始神经网络为具有部分卷积层的全连接结构的神经网络。
4.如权利要求2中所述钢卷表面的缺陷样本生成方法，其特征在于：上述步骤S13具体包括如下步骤：
步骤S131：将缺陷抠除图像与带缺陷的初始钢卷表面图像输入至初始神经网络；
步骤S132：所述初始神经网络以带缺陷的初始钢卷表面图像为参照，在缺陷抠除图像中抠除缺陷的位置生成与带缺陷的初始钢卷表面图像中的缺陷相匹配的模拟缺陷；及
步骤S133：所述初始神经网络保存获得的模拟缺陷，获得缺陷生成神经网络。
5.如权利要求4中所述钢卷表面的缺陷样本生成方法，其特征在于：步骤S132中，通过计算带缺陷的初始钢卷表面图像中的缺陷与模拟缺陷之间的损失函数，并根据所述损失函数，将生成的所述模拟缺陷更接近带缺陷的初始钢卷表面图像中的缺陷。
6.如权利要求4中所述钢卷表面的缺陷样本生成方法，其特征在于：步骤S2具体包括如下步骤：
步骤S21：提供初始完整图像，在初始完整图像上任意位置抠除至少一处图像，获得待处理图像；及
步骤S22：将所述待处理图像输入至缺陷生成神经网络，在抠除图像的位置生成为与所述模拟缺陷相匹配的样本缺陷，获得所需具有缺陷的样本图像。
7.如权利要求6中所述钢卷表面的缺陷样本生成方法，其特征在于：步骤S22中，具体包括以下步骤：
步骤S221：所述缺陷生成神经网络通过所述待处理图像中抠除缺陷的位置边缘的像素值，获得与该边缘的像素值匹配的模拟缺陷；及
步骤S222：以匹配结果的模拟缺陷为参照，在对应抠除缺陷的位置生成样本缺陷。
8.一种钢卷表面的缺陷样本生成系统，其特征在于，包括：
网络训练单元，被配置为用于提供带缺陷的初始钢卷表面图像及一初始神经网络，抠除初始钢卷表面图像中的缺陷部分获得缺陷抠除图像，并将缺陷抠除图像作为输入，用带缺陷的初始钢卷表面图像进行监督学习，获得一缺陷生成神经网络，所述缺陷生成神经网络可基于输入的图像特征生成缺陷纹理；及
样本生成单元，被配置为用于将随机抠除部分位置的待处理图像输入至所述缺陷生成神经网络中，获得所需具有缺陷的样本图像。
9.如权利要求8中所述钢卷表面的缺陷样本生成系统，其特征在于，所述网络训练单元还包括：
图像获取单元，被配置为用于提供带缺陷的初始钢卷表面图像，并生成缺陷位置的掩膜；
缺陷抠除单元，被配置为用于利用掩膜，抠除初始钢卷表面图像中的缺陷以获得缺陷抠除图像；及
监督学习单元，被配置为用于提供一初始神经网络，将缺陷抠除图像输入至所述初始神经网络中，并用带缺陷的初始钢卷表面图像进行监督学习，获得一缺陷生成神经网络。
10.一种电子设备，包括存储器和处理器，其特征在于：所述存储器中存储有计算机程序，所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的钢卷表面的缺陷样本生成方法；
所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的钢卷表面的缺陷样本生成方法。
CN201910584062.4A 2019-06-29 2019-06-29 一种钢卷表面的缺陷样本生成方法、系统及电子设备 Pending CN110675359A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910584062.4A CN110675359A (zh) 2019-06-29 2019-06-29 一种钢卷表面的缺陷样本生成方法、系统及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910584062.4A CN110675359A (zh) 2019-06-29 2019-06-29 一种钢卷表面的缺陷样本生成方法、系统及电子设备

Publications (1)

Publication Number Publication Date
CN110675359A true CN110675359A (zh) 2020-01-10

Family

ID=69068776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910584062.4A Pending CN110675359A (zh) 2019-06-29 2019-06-29 一种钢卷表面的缺陷样本生成方法、系统及电子设备

Country Status (1)

Country Link
CN (1) CN110675359A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429411A (zh) * 2020-03-16 2020-07-17 东南大学 一种碳纤维复合芯导线的x射线缺陷图像样本生成方法
CN111681162A (zh) * 2020-06-09 2020-09-18 创新奇智(成都)科技有限公司 一种缺陷样本生成方法、装置、电子设备及存储介质
CN112733841A (zh) * 2020-12-30 2021-04-30 中冶赛迪重庆信息技术有限公司 钢卷内部紊乱判断方法、系统、设备及介质
CN113538631A (zh) * 2020-04-20 2021-10-22 贤智研究株式会社 通过基于用户输入所生成的人工智能模型来生成虚拟缺陷图像的计算机程序、方法和装置
CN114445309A (zh) * 2020-10-20 2022-05-06 斗山重工业建设有限公司 深度学习用缺陷图像生成方法以及用于深度学习用缺陷图像生成方法的系统
CN114898177A (zh) * 2022-05-09 2022-08-12 梅卡曼德（北京）机器人科技有限公司 缺陷图像生成方法、模型训练方法、设备、介质及产品

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1114553A (ja) * 1997-06-23 1999-01-22 Omron Corp 視覚欠陥検査装置における欠陥サンプルデータ出力方法および装置
CN108154508A (zh) * 2018-01-09 2018-06-12 北京百度网讯科技有限公司 产品缺陷检测定位的方法、装置、存储介质及终端设备
CN108447054A (zh) * 2018-03-22 2018-08-24 北京木业邦科技有限公司 木材缺陷样本获取方法、装置、电子设备及存储介质
CN108460761A (zh) * 2018-03-12 2018-08-28 北京百度网讯科技有限公司 用于生成信息的方法和装置
CN109242825A (zh) * 2018-07-26 2019-01-18 北京首钢自动化信息技术有限公司 一种基于深度学习技术的钢铁表面缺陷识别方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1114553A (ja) * 1997-06-23 1999-01-22 Omron Corp 視覚欠陥検査装置における欠陥サンプルデータ出力方法および装置
CN108154508A (zh) * 2018-01-09 2018-06-12 北京百度网讯科技有限公司 产品缺陷检测定位的方法、装置、存储介质及终端设备
CN108460761A (zh) * 2018-03-12 2018-08-28 北京百度网讯科技有限公司 用于生成信息的方法和装置
CN108447054A (zh) * 2018-03-22 2018-08-24 北京木业邦科技有限公司 木材缺陷样本获取方法、装置、电子设备及存储介质
CN109242825A (zh) * 2018-07-26 2019-01-18 北京首钢自动化信息技术有限公司 一种基于深度学习技术的钢铁表面缺陷识别方法和装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429411A (zh) * 2020-03-16 2020-07-17 东南大学 一种碳纤维复合芯导线的x射线缺陷图像样本生成方法
CN111429411B (zh) * 2020-03-16 2023-04-25 东南大学 一种碳纤维复合芯导线的x射线缺陷图像样本生成方法
CN113538631A (zh) * 2020-04-20 2021-10-22 贤智研究株式会社 通过基于用户输入所生成的人工智能模型来生成虚拟缺陷图像的计算机程序、方法和装置
CN111681162A (zh) * 2020-06-09 2020-09-18 创新奇智(成都)科技有限公司 一种缺陷样本生成方法、装置、电子设备及存储介质
CN111681162B (zh) * 2020-06-09 2023-09-01 创新奇智(成都)科技有限公司 一种缺陷样本生成方法、装置、电子设备及存储介质
CN114445309A (zh) * 2020-10-20 2022-05-06 斗山重工业建设有限公司 深度学习用缺陷图像生成方法以及用于深度学习用缺陷图像生成方法的系统
CN112733841A (zh) * 2020-12-30 2021-04-30 中冶赛迪重庆信息技术有限公司 钢卷内部紊乱判断方法、系统、设备及介质
CN112733841B (zh) * 2020-12-30 2022-12-16 中冶赛迪信息技术(重庆)有限公司 钢卷内部紊乱判断方法、系统、设备及介质
CN114898177A (zh) * 2022-05-09 2022-08-12 梅卡曼德（北京）机器人科技有限公司 缺陷图像生成方法、模型训练方法、设备、介质及产品

Similar Documents

Publication Publication Date Title
CN110675359A (zh) 一种钢卷表面的缺陷样本生成方法、系统及电子设备
CN110188765B (zh) 图像语义分割模型生成方法、装置、设备及存储介质
CN110827297A (zh) 基于改进的条件生成对抗网络的绝缘子分割方法
US10726535B2 (en) Automatically generating image datasets for use in image recognition and detection
CN116958131B (zh) 一种图像处理方法、装置、设备及存储介质
CN111881944A (zh) 图像鉴别的方法、电子设备和计算机可读介质
CN112581483B (zh) 基于自学习的植物叶片叶脉分割方法和装置
CN111144477A (zh) 一种钢材表面缺陷的训练样本生成方法、系统及电子设备
CN114898177B (zh) 缺陷图像生成方法、模型训练方法、设备、介质及产品
CN110175963B (zh) 一种适用于水下图像及大气暗图像的两用图像增强方法及装置
CN109064464B (zh) 用于检测电池极片毛刺的方法和装置
CN113158856B (zh) 一种提取遥感图像中目标区域的处理方法和装置
CN114462582A (zh) 基于卷积神经网络模型的数据处理方法及装置、设备
CN112348085B (zh) 一种电力数据监测系统与方法
CN113780469A (zh) 图像识别模型的训练方法、介质、装置和计算设备
CN113223011A (zh) 基于引导网络和全连接条件随机场的小样本图像分割方法
CN117058384A (zh) 一种三维点云语义分割的方法及系统
CN111093140A (zh) 检测麦克和听筒防尘网缺陷的方法、装置、设备及存储介质
CN113627241B (zh) 一种用于行人重识别的背景抑制方法与系统
CN116152191A (zh) 基于深度学习的显示屏裂纹缺陷检测方法、装置及设备
CN114821396A (zh) Lng卸车作业流程的规范性检测方法、设备及存储介质
CN114943655A (zh) 基于循环深度卷积生成对抗网络结构的图像修复系统
CN114359359A (zh) 多任务光学和sar遥感图像配准方法、设备和介质
CN113537380A (zh) 一种色情图像识别方法、系统、存储介质和电子设备
CN112734778A (zh) 基于神经网络的车辆抠图方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200110