CN118211636B - 网络模型训练方法、金属件表面缺陷检测方法及电子设备 - Google Patents

网络模型训练方法、金属件表面缺陷检测方法及电子设备 Download PDF

Info

Publication number
CN118211636B
CN118211636B CN202410628291.2A CN202410628291A CN118211636B CN 118211636 B CN118211636 B CN 118211636B CN 202410628291 A CN202410628291 A CN 202410628291A CN 118211636 B CN118211636 B CN 118211636B
Authority
CN
China
Prior art keywords
data set
image data
surface defect
image
metal piece
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410628291.2A
Other languages
English (en)
Other versions
CN118211636A (zh
Inventor
高阳
王小玲
秦玉良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hi P Shanghai Automation Technology Co ltd
Hi P Chengdu Precision Plastic Manufacturing Co ltd
Original Assignee
Hi P Shanghai Automation Technology Co ltd
Hi P Chengdu Precision Plastic Manufacturing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hi P Shanghai Automation Technology Co ltd, Hi P Chengdu Precision Plastic Manufacturing Co ltd filed Critical Hi P Shanghai Automation Technology Co ltd
Priority to CN202410628291.2A priority Critical patent/CN118211636B/zh
Publication of CN118211636A publication Critical patent/CN118211636A/zh
Application granted granted Critical
Publication of CN118211636B publication Critical patent/CN118211636B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种网络模型训练方法、金属件表面缺陷检测方法及电子设备，其中网络模型训练方法包括：获取金属件表面缺陷图像数据集，调整所述金属件表面缺陷图像数据集中的金属件表面缺陷图像的尺寸；使用预设的第一辅助函数对金属件表面缺陷图像数据集进行过采样处理，得到第一图像数据集；将所述第一图像数据集输入卷积神经网络中进行训练，得到第二图像数据集；将所述第二图像数集据输入生成对抗网络中进行训练，得到第三图像数据集；通过合并所述第二图像数据集与所述第三图像数据集生成第四图像数据集；将所述第四图像数据集输入深度学习模型中进行训练，得到金属件表面缺陷图像检测模型。本发明能够有效提高深度学习模型的训练速度。

Description

网络模型训练方法、金属件表面缺陷检测方法及电子设备
技术领域
本发明涉及缺陷检测技术领域，特别是涉及一种网络模型训练方法、金属件表面缺陷检测方法及电子设备。
背景技术
在金属件的生产制造过程中，对金属件的外观要求比较高。但是受到生产环境、生产工艺以及机器设备等因素的影响，所生产出来的金属件将会存在不良品。这些不良品的缺陷情况包括多种类型，例如划伤、主件脏污以及毛刺等。那么需要需要人工将这些不良品从产线上挑选出来，并根据不良品的类型进行记录。但是如果长时间的观察，人眼容易产生疲劳，进而影响对不良品的辨别能力。
近年来，人工智能的新兴，进而衍生出了深度学习模型。使用训练好的深度学习模型来替代人工对不良品进行识别，并且记录不良品的缺陷类型，以便于针对主要的缺陷类型进行改进。目前训练深度学习模型的方法包括生成对抗网络，但是生成对抗网络在处理图像数据集不平衡问题时，需要耗费大量的资源以及时间，这将会延长训练深度学习模型的速度。
发明内容
有鉴于此，本发明的目的在于提供一种网络模型训练方法，处理图像数据集不平衡问题时更加简单高效，能够节省资源以及时间。
根据本申请实施例的第一方面，提供一种网络模型训练方法，用于生成金属件表面缺陷图像检测模型，包括：
获取金属件表面缺陷图像数据集，调整所述金属件表面缺陷图像数据集中的金属件表面缺陷图像的尺寸；
使用预设的第一辅助函数对金属件表面缺陷图像数据集进行过采样处理，得到第一图像数据集；
将所述第一图像数据集输入卷积神经网络中进行训练，得到第二图像数据集；
将所述第二图像数据集输入生成对抗网络中进行训练，得到第三图像数据集；
通过合并所述第二图像数据集与所述第三图像数据集生成第四图像数据集；
将所述第四图像数据集输入深度学习模型中进行训练，得到金属件表面缺陷图像检测模型。
在一实施例中，在获取金属件表面缺陷图像数据集之后，还包括：
创建深度学习框架，使用所述深度学习框架对所述金属件表面缺陷图像数据集进行增强并生成增强金属件表面缺陷图像数据集；
导入缺陷类型标签，根据所述增强金属件表面缺陷图像数据集中的所述金属件表面缺陷图像的缺陷类型，对每个所述金属件表面缺陷图像标记对应的缺陷类型标签；
将标记有同一种缺陷类型标签的所述金属件表面缺陷图像分类在一起，生成标签集；
使用预设的第二辅助函数为所述标签集中每个缺陷类型标签选取对应的示例图像并进行展示。
在一实施例中，使用第一辅助函数对金属件表面缺陷图像数据集进行过采样处理后，还包括：
按照预设比例将所述第一图像数据集按照，拆分成训练集、验证集以及测试集；
将所述训练集、所述验证集以及所述测试集输入所述卷积神经网络中进行训练。
在一实施例中，在将所述第一图像数据集输入卷积神经网络中进行训练，得到第二图像数据集之后，还包括：
将所述第二图像数据集中的成功被所述卷积神经网络识别的存在缺陷的金属件表面缺陷图像定义为真实样本；
将所述第二图像数据集中的未被所述卷积神经网络识别的存在缺陷的金属件表面缺陷图像定义为假样本。
在一实施例中，将所述第二图像数据集输入生成对抗网络中进行训练，包括：
构建并编译生成器模型，构建并编译判别器模型，构建并编译生成对抗网络；
将所述第二图像数据集输入所述生成对抗网络，由所述判别器模型识别所述第二图像数据集中的金属件表面缺陷图像为真实样本或假样本，并将获得的假样本组成的假样本数据集作为所述第三图像数据集，所述假样本数据集的采样间隔等于所述第二图像数据集的采样间隔。
根据本申请实施例的第二方面，提供一种金属件表面缺陷检测方法，包括：
获取待检测的金属表面缺陷图像数据集；
利用基于第一方面所述的方法训练得到的金属件表面缺陷图像检测模型对所述待检测的金属表面缺陷图像数据进行检测。
根据本申请实施例的第三方面，提供一种金属件表面缺陷检测模型的训练装置，包括：
获取模块，用于获取金属件表面缺陷图像数据集，调整所述金属件表面缺陷图像数据集中的金属件表面缺陷图像的尺寸；
第一增强模块，用于采用预设的第一辅助函数对所述金属件表面缺陷图像数据集进行过采样处理，得到第一图像数据集；
第一训练模块，用于将所述第一图像数据集输入卷积神经网络中进行训练，得到第二图像数据集；
第二训练模块，用于将所述第二图像数据集输入生成对抗网络中进行训练，得到第三图像数据集；
合并模块，用于合并所述第二图像数据集与所述第三图像数据集，并生成第四图像数据集；
学习模块，用于将所述第四图像数据集输入深度学习模型中进行训练，得到金属件表面缺陷图像检测模型。
在一实施例中，金属件表面缺陷检测模型的训练装置还包括：
第二增强模块，用于创建深度学习框架，使用所述深度学习框架对所述金属件表面缺陷图像数据集进行增强并生成增强金属件表面缺陷图像数据集；
分类模块，用于导入缺陷类型标签，根据所述增强金属件表面缺陷图像数据集中的所述金属件表面缺陷图像的缺陷类型，对每个所述金属件表面缺陷图像标记对应的缺陷类型标签，将标记有同一种缺陷类型标签的所述金属件表面缺陷图像分类在一起，生成标签集；
展示模块，用于使用预设的第二辅助函数为所述标签集中每个缺陷类型标签选取对应的示例图像并进行展示。
根据本申请实施例的第四方面，提供一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的网络模型训练方法，或第二方面所述的金属件表面缺陷检测方法。
本申请的实施例提供的技术方案可以包括以下有益效果：
由上述实施例可知，本申请通过使用过采样技术处理图像数据集不平衡问题，从而节省处理不平衡问题的资源以及时间。并且联合卷积神经网络与生成对抗网络中一起进行训练，通过卷积神经网络进行初步训练，将训练结果输入生成对抗网络进行深度训练。不仅能够节省生成对抗网络生成假样本所需的时间，又能够使用生成对抗网络提高识别的准确性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请一实施例中网络模型训练方法的流程示意图。
图2为本申请一实施例中获取金属件表面图像数据之后的流程示意图。
图3为本申请一实施例中生成对抗网络中进行训练的流程示意图。
图4为本申请一实施例中金属件表面缺陷检测方法的流程示意图。
图5为本申请一实施例中金属件表面缺陷检测模型的训练装置的结构示意图。
具体实施方式
下面将结合附图，对本发明的特定实施例进行详细描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的描述，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，除非另有明确的规定和限定，术语“设置”、“安装”、“连接”等应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语的具体含义。
术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
术语“第一”、“第二”、 “第三”等仅仅是为了区别属性类似的元件，而不是指示或暗示相对的重要性或者特定的顺序。
术语“包括”、“包含”或者其任何其他变体，意在涵盖非排他性的包含，除了包含所列的那些要素，而且还可包含没有明确列出的其他要素。
请参照图1，其示出了本发明实施例中提供的一种网络模型训练方法，用于生成金属件表面缺陷图像检测模型，包括：
步骤S1，获取金属件表面缺陷图像数据集，调整金属件表面缺陷图像数据集中的金属件表面缺陷图像的尺寸；
步骤S2，使用预设的第一辅助函数对金属件表面缺陷图像数据集进行过采样处理，平衡分类后的金属件表面缺陷图像数据集，得到第一图像数据集；
步骤S3，将第一图像数据集输入卷积神经网络中进行训练，得到第二图像数据集；
步骤S4，将第二图像数据集输入生成对抗网络中进行训练，得到第三图像数据集；
步骤S5，通过合并第二图像数据集与第三图像数据集生成第四图像数据集；
步骤S6，将第四图像数据集输入深度学习模型中进行训练，得到金属件表面缺陷图像检测模型。
由上述实施例可知，本申请首先使用过采样技术来处理金属件表面缺陷图像数据集不平衡问题。因为在处理过程中，过采样的操作相对简单，它主要通过复制或生成少数类的样本来增加其数量，从而达到各类金属件表面缺陷图像平衡的效果。此时再将第一图像数据集输入生成对抗网络中进行训练，则不需要生成对抗网络耗费大量的时间以及资源来处理不平衡问题，可以直接进行训练，从而节省网络模型的训练时间。
在本申请中，使用过采样技术处理金属件表面缺陷图像数据集不平衡问题，得到第一图像数据集后，并未将第一图像数据集直接输入生成对抗网络中进行训练。因为使用过采样技术处理后得到的第一图像数据集，该第一图像数据集内所包含的图像数据的质量不高。例如第一图像数据集内含有的缺陷特征较为明显的金属件表面缺陷图像或缺陷特征易识别的金属件表面缺陷图像等，这一类金属件表面缺陷图像对于模型的训练作用不大。而生成对抗网络不仅处理不平衡问题需要耗费大量的时间以及资源，在训练过程中亦是如此。
因此，如果将第一图像数据集直接输入生成对抗网络中进行训练，也会造成资源的浪费，以及延长训练时间。本申请中通过步骤S3，将第一图像数据集输入卷积神经网络中进行训练，得到第二图像数据集。经过第一次训练得到的第二图像数据集，其中所包含的图像数据经过卷积神经网络的处理，能够过滤部分训练作用不大的图像数据，从而提高图像质量。
那么，此时再将第二图像数据集输入生成对抗网络中进行训练，生成对抗网络所得到的为高质量的金属件表面缺陷图像数据集。生成对抗网络只需要训练这些高质量的金属件表面缺陷图像数据集，可以节省时间以及资源。并且使用高质量的金属件表面缺陷图像数据集进行训练，所得到的第三图像数据集也更加精确，使用该第三图像数据集训练得到的模型能够更加精确地识别缺陷特征。
如图2所示，在在获取金属件表面图像数据之后，还包括以下子步骤：
步骤S11，创建深度学习框架，使用深度学习框架对金属件表面缺陷图像数据集进行增强并生成增强金属件表面缺陷图像数据集；
步骤S12，导入缺陷类型标签，根据增强金属件表面缺陷图像数据集中的金属件表面缺陷图像的缺陷类型，对每个金属件表面缺陷图像标记对应的缺陷类型标签；
步骤S13，将标记有同一种缺陷类型标签的金属件表面缺陷图像分类在一起，形成标签集；
步骤S14，使用预设的第二辅助函数为标签集中每个缺陷类型标签选取对应的示例图像并进行展示。
具体地，本申请中使用AI学习框架TensorFlow来对金属件表面缺陷图像进行增强。使用AI学习框架TensorFlow的优点在于易于使用，且十分高效。对金属件表面缺陷图像进行初步增强后，再进行分类。
先导入缺陷类型标签，该缺陷类型标签包括缺陷亮印、划伤、主件脏污、毛刺等。导入的缺陷类型标签用Y表示，Y={Y1，Y2，......Yn，n表示缺陷类型标签的最大数量，Y1表示具体的标签类型。例如，本申请中，将缺陷亮印记录为Y1，划伤记录为Y2，以此类推，直至将所有缺陷类型记录完。然后将金属件表面缺陷图像用X表示，X={X1，X2，......Xn，n表示图像的最大数量；将第一个金属件表面缺陷图像记录为X1，将第二个金属件表面缺陷图像记录为X2，以此类推。
本申请中X代表图像，Y代表缺陷类型标签。每个金属件表面缺陷图像都标记有对应的缺陷类型标签，每个缺陷类型标签对应至少一个金属件表面缺陷图像。将每个缺陷类型标签所对应的金属件表面缺陷图像整合在一起，记录该缺陷类型标签所对应的金属件表面缺陷图像的数量，以便使用过采样技术进行平衡处理。
优选地，本申请中的第二辅助函数采用displaySampleWaferMaps。因为每个缺陷类型标签对应至少一个图像数据，即一个Y对应至少一个X。本案中进行示例性展示，Y1={X11，X12，......X1n，n表示图像最大数量，Y2={X21，X22，......X2n，n表示图像最大数量，以此类推。使用第二辅助函数从X11，X12，......X1n中选取具有代表性的金属件表面缺陷图像，作为Y1的示例图像，从X21，X22，......X2n中选取具有代表性的金属件表面缺陷图像，作为Y2的示例图像。以此类推，直至为每个缺陷类型标签都选取出对应的示例图像，提高金属件表面缺陷图像数据集的可视化程度，以方便用户可以更直观地查看和理解各种缺陷类型的图像。
具体地，调整金属件表面缺陷图像的尺寸的方式包括：
从金属件表面缺陷图像数据集中挑选出缺陷尺寸最大的图像数据，记录为Z1；
裁剪Z1至合适尺寸，合适尺寸指的是恰好能够完整观察到缺陷的尺寸；
将金属件表面缺陷图像数据集中其余的金属件表面缺陷图像全都，以缺陷为中心裁剪至合适尺寸。
本申请中通过将所有金属件表面缺陷图像全都裁剪至合适尺寸，从而保证每个金属件表面缺陷图像中的缺陷都能够完整的观察到。
本申请中使用预设的第一辅助函数对金属件表面缺陷图像数据集进行过采样处理后，还包括：
按照预设比例将第一图像数据集按照，拆分成训练集、验证集以及测试集；
将训练集、验证集以及测试集输入卷积神经网络中进行训练。
优选地，本申请中的第一辅助函数为splitlabels。此时的金属件表面缺陷图像数据集经过了AI学习框架增强，以及过采样技术的处理和增强，再将该增强后的第一图像数据集拆分，输入卷积神经网络中进行训练。
本申请中，预设的比例为0.9:0.05:0.05，将第一图像数据集按照该比例，拆分成训练集、验证集以及测试集。这样的比例有助于提高模型的泛化能力，减少过拟合的风险。
本申请中在将第一图像数据集输入卷积神经网络中进行训练，得到第二图像数据集之后，还包括：
将第二图像数据集中的成功被卷积神经网络识别的存在缺陷的金属件表面缺陷图像定义为真实样本；
将第二图像数据集中的未被卷积神经网络识别的存在缺陷的金属件表面缺陷图像定义为假样本。
因为第一次使用卷积神经网络进行训练，此时的卷积神经网络还不够成熟，对金属件表面的缺陷特征处于学习过程中，并不能保证识别的准确率。所以将第一图像数据集输入卷积神经网络进行训练后，得到的第二图像数据集中含有假样本。在该假样本中，一般为缺陷特征难以识别的图像数据，或缺陷特征细微容易忽视的图像数据。那么在训练模型的过程中，将假样本中这些重要的缺陷特征输入到模型中进行学习训练，才能够提高模型识别金属件表面缺陷的准确性。
但是这些假样本已经是卷积神经网络一次训练过后的结果，如果再次将这些假样本输入卷积神经网络中进行训练，卷积神经网络还是很难识别这些假样本，那么二次训练后的结果中，还是会包含较多假样本。为了确保训练出来的模型能够准确地识别各类缺陷特征，需要使卷积神经网络完成所有假样本的学习。那么将这些假样本不断地重复输入卷积神经网络中训练，直至卷积神经网络成功识别所有假样本。但是这样的训练学习方法，需要耗费大量的时间与资源。
如图3所示，本申请采取的方法为将第二图像数据集输入生成对抗网络中进行训练，并且包括以下子步骤：
步骤S41，构建并编译生成器模型，构建并编译判别器模型，构建并编译生成对抗网络；
步骤S42，将第二图像数据集输入生成对抗网络，由所述判别器模型识别所述第二图像数据集中的金属件表面缺陷图像为真实样本或假样本，并将获得的假样本组成的假样本数据集作为第三图像数据集，假样本数据集的采样间隔等于第二图像数据集的采样间隔。
具体地，生成对抗网络由生成器和判别器这两个主要部分组成，所以需要先构建并编译生成器模型和判别器模型。现有技术中生成对抗网络是通过生成器来生成假样本，然后将所生成的假样本输入判别器中，由判别器进行判别。在这过程中，由生成器努力产生越来越真实的样本，试图让判别器无法识别出是伪造的数据；判别器则努力提高其辨别真伪的能力，以便正确分类真实和生成的数据，从而达到提高识别能力的效果。在生成器努力产生越来越真实的样本这个过程中，也需要耗费大量的时间以及资源，并且生成器所生成的假样本也不够准确。
而在本申请中，直接将第二图像数据集输入生成对抗网络，由判别器模型进行识别，不需要通过生成器进行生成，能够节省时间以及资源。并且第二图像数据集中的假样本是卷积神经网络未能识别的，这样的假样本更具有欺骗性。那么经过第二图像数据集中的假样本训练的模型，能够提高识别的准确性。
具体地，判别器进行判别的步骤包括：
输入第二图像数据集中的第二图像数据，由判别器进行判别；
若为真实样本，则重新判别下一个第二图像数据；
若为假样本，则将该假样本输出。
因为生成对抗网络具有更加准确的识别能力，所以将第二图像数据集输入生成对抗网络，能够更加快速地完成对所有假样本的识别，节约了训练学习所耗费的时间。当判别器完成对第二图像数据集的训练后，将所有输出的假样本合并，得到第三图像数据集。并且在第三图像数据集里面还记录有识别该假样本时的缺陷特征，以便于深度学习模型进行学习。同时，输出的第三图像数据集的采样间隔等于第二图像数据的采样间隔。
本申请中，第二图像数据集里面记录有识别基础金属件表面缺陷图像时的缺陷特征，第三图像数据集里面记录有识别假样本数据时的缺陷特征。通过步骤5，合并第二图像数据集与第三图像数据集，并生成第四图像数据集，那么该第四图像数据集里面所包含的缺陷特征则更加全面、完整。再通过步骤6，将第四图像数据集输入深度学习模型中进行训练，得到金属件表面图像检测模型。
使用第四图像数据集训练得到的金属件表面图像检测模型，不仅具备了识别基础缺陷特征的能力，还能够识别假样本中复杂或难以识别的缺陷特征，提高了识别金属件表面缺陷的准确性。
如图4所示，基于前述实施例相同的发明构思，本实施例提供了一种金属件表面缺陷检测方法，可以包括以下步骤：
步骤S01，获取待检测的金属件表面缺陷图像数据集；
步骤S02，利用上述方法训练得到的金属件表面图像检测模型对待检测的金属件表面缺陷图像数据集进行检测。
采用该金属件表面缺陷检测方法，能够提高金属件表面缺陷识别的准确率。
如图5所示，与前述的一种网络模型训练方法的实施例相对应，本申请还提供了一种金属件表面缺陷检测模型的训练装置的实施例，该装置包括：
获取模块M10，用于获取金属件表面缺陷图像数据集，调整金属件表面缺陷图像数据集中的金属件表面缺陷图像的尺寸；
第一增强模块M20，用于采用预设的第一辅助函数对金属件表面图像数据集进行过采样处理，得到第一图像数据集；
第一训练模块M30，用于将第一图像数据集输入卷积神经网络中进行训练，得到第二图像数据集；
第二训练模块M40，用于将第二图像数据集输入生成对抗网络中进行训练，得到第三图像数据集；
合并模块M50，合并第二图像数据集与第三图像数据集，并生成第四图像数据集；
学习模块M60，将第四图像数据集输入深度学习模型中进行训练，得到金属件表面图像检测模型。
在获取模块M10与第一增强模块M20之间，还包括：
第二增强模块，用于创建深度学习框架，使用深度学习框架对金属件表面图像数据进行增强
分类模块，用于导入缺陷类型标签，根据所述增强金属件表面缺陷图像数据集中的所述金属件表面缺陷图像的缺陷类型，对每个所述金属件表面缺陷图像标记对应的缺陷类型标签，将标记有同一种缺陷类型标签的所述金属件表面缺陷图像分类在一起，生成标签集；
展示模块，用于使用预设的第二辅助函数为所述标签集中每个缺陷类型标签选取对应的示例图像并进行展示。
基于上述实施例相同的发明构思，本实施例还提供了一种电子设备，包括一个或多个处理器；存储器，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述实施例中的网络模型训练方法，或上述实施例中的金属件表面缺陷检测方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所附的权利要求为准。

Claims (4)

1.一种网络模型训练方法，用于生成金属件表面缺陷图像检测模型，其特征在于，包括：
获取金属件表面缺陷图像数据集，调整所述金属件表面缺陷图像数据集中的金属件表面缺陷图像的尺寸；
创建深度学习框架，使用所述深度学习框架对所述金属件表面缺陷图像数据集进行增强并生成增强金属件表面缺陷图像数据集；
导入缺陷类型标签，根据所述增强金属件表面缺陷图像数据集中的所述金属件表面缺陷图像的缺陷类型，对每个所述金属件表面缺陷图像标记对应的缺陷类型标签；
将标记有同一种缺陷类型标签的所述金属件表面缺陷图像分类在一起，生成标签集；
使用预设的第二辅助函数为所述标签集中每个缺陷类型标签选取对应的示例图像并进行展示；
使用预设的第一辅助函数对金属件表面缺陷图像数据集进行过采样处理，得到第一图像数据集；
按照预设比例将所述第一图像数据集拆分成训练集、验证集以及测试集；
将所述训练集、所述验证集以及所述测试集输入卷积神经网络中进行训练，得到第二图像数据集；
将所述第二图像数据集中的成功被所述卷积神经网络识别的存在缺陷的金属件表面缺陷图像定义为真实样本；
将所述第二图像数据集中的未被所述卷积神经网络识别的存在缺陷的金属件表面缺陷图像定义为假样本；
构建并编译生成器模型，构建并编译判别器模型，构建并编译生成对抗网络；
将所述第二图像数据集输入所述生成对抗网络，由所述判别器模型识别所述第二图像数据集中的金属件表面缺陷图像为真实样本或假样本，并将获得的假样本组成的假样本数据集作为第三图像数据集，所述假样本数据集的采样间隔等于所述第二图像数据集的采样间隔；
通过合并所述第二图像数据集与所述第三图像数据集生成第四图像数据集；
将所述第四图像数据集输入深度学习模型中进行训练，得到金属件表面缺陷图像检测模型。
2.一种金属件表面缺陷检测方法，其特征在于，包括：
获取待检测的金属表面缺陷图像数据集；
利用基于权利要求1所述的网络模型训练方法训练得到的金属件表面缺陷图像检测模型对所述待检测的金属表面缺陷图像数据集进行检测。
3.一种金属件表面缺陷检测模型的训练装置，其特征在于，包括：
获取模块，用于获取金属件表面缺陷图像数据集，调整所述金属件表面缺陷图像数据集中的金属件表面缺陷图像的尺寸；
第二增强模块，用于创建深度学习框架，使用所述深度学习框架对所述金属件表面缺陷图像数据集进行增强并生成增强金属件表面缺陷图像数据集；
分类模块，用于导入缺陷类型标签，根据所述增强金属件表面缺陷图像数据集中的所述金属件表面缺陷图像的缺陷类型，对每个所述金属件表面缺陷图像标记对应的缺陷类型标签，将标记有同一种缺陷类型标签的所述金属件表面缺陷图像分类在一起，生成标签集；
展示模块，用于使用预设的第二辅助函数为所述标签集中每个缺陷类型标签选取对应的示例图像并进行展示；
第一增强模块，用于采用预设的第一辅助函数对所述金属件表面缺陷图像数据集进行过采样处理，得到第一图像数据集；
第一训练模块，用于将所述第一图像数据集按照预设比例拆分成训练集、验证集以及测试集；
将所述训练集、所述验证集以及所述测试集输入卷积神经网络中进行训练，得到第二图像数据集；
第二训练模块，用于将所述第二图像数据集中的成功被所述卷积神经网络识别的存在缺陷的金属件表面缺陷图像定义为真实样本；
将所述第二图像数据集中的未被所述卷积神经网络识别的存在缺陷的金属件表面缺陷图像定义为假样本；
构建并编译生成器模型，构建并编译判别器模型，构建并编译生成对抗网络；
将所述第二图像数据集输入所述生成对抗网络，由所述判别器模型识别所述第二图像数据集中的金属件表面缺陷图像为真实样本或假样本，并将获得的假样本组成的假样本数据集作为第三图像数据集，所述假样本数据集的采样间隔等于所述第二图像数据集的采样间隔；
合并模块，用于合并所述第二图像数据集与所述第三图像数据集，并生成第四图像数据集；
学习模块，用于将所述第四图像数据集输入深度学习模型中进行训练，得到金属件表面缺陷图像检测模型。
4.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1所述的网络模型训练方法，或权利要求2所述的金属件表面缺陷检测方法。
CN202410628291.2A 2024-05-21 2024-05-21 网络模型训练方法、金属件表面缺陷检测方法及电子设备 Active CN118211636B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410628291.2A CN118211636B (zh) 2024-05-21 2024-05-21 网络模型训练方法、金属件表面缺陷检测方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410628291.2A CN118211636B (zh) 2024-05-21 2024-05-21 网络模型训练方法、金属件表面缺陷检测方法及电子设备

Publications (2)

Publication Number Publication Date
CN118211636A CN118211636A (zh) 2024-06-18
CN118211636B true CN118211636B (zh) 2024-07-19

Family

ID=91454783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410628291.2A Active CN118211636B (zh) 2024-05-21 2024-05-21 网络模型训练方法、金属件表面缺陷检测方法及电子设备

Country Status (1)

Country Link
CN (1) CN118211636B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840908A (zh) * 2019-01-31 2019-06-04 浙江工业大学 一种基于对抗生成网络的金属轴缺陷图像生成方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4027300B1 (en) * 2021-01-12 2023-12-27 Fujitsu Limited Apparatus, program, and method for anomaly detection and classification
CN114694028A (zh) * 2022-04-02 2022-07-01 中国船舶重工集团公司第七一六研究所 基于卷积置信生成对抗网络模型的船舶焊缝缺陷检测方法
CN114663436A (zh) * 2022-05-25 2022-06-24 南京航空航天大学 一种基于深度学习的跨尺度缺陷检测方法
CN115661062A (zh) * 2022-10-19 2023-01-31 浙大宁波理工学院 基于对抗生成网络的工业缺陷样本生成方法及系统
CN117934348A (zh) * 2023-12-28 2024-04-26 中国人民解放军总医院第四医学中心 基于生成对抗网络的金属伪影去除方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840908A (zh) * 2019-01-31 2019-06-04 浙江工业大学 一种基于对抗生成网络的金属轴缺陷图像生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的硅晶片瑕疵检测算法研究;原亚孟;中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑;20190715(第第（2019）07期期);第5-39页 *

Also Published As

Publication number Publication date
CN118211636A (zh) 2024-06-18

Similar Documents

Publication Publication Date Title
CN108562589A (zh) 一种对磁路材料表面缺陷进行检测的方法
CN107808358A (zh) 图像水印自动检测方法
CN111368764B (zh) 一种基于计算机视觉与深度学习算法的虚假视频检测方法
CN114549993B (zh) 实验中线段图像的评分方法、系统、设备及可读存储介质
CN109086794B (zh) 一种基于t-lda主题模型的驾驶行为模式识方法
CN110349125A (zh) 一种基于机器视觉的led芯片外观缺陷检测方法及系统
TWI747686B (zh) 缺陷檢測方法及檢測裝置
CN109685756A (zh) 影像特征自动辨识装置、系统及方法
CN109241948A (zh) 一种数控刀具视觉识别方法及装置
CN112116592A (zh) 图像检测方法、图像检测模型的训练方法、装置和介质
CN114972342A (zh) 一种变速箱齿轮表面缺陷检测方法
CN110599232A (zh) 基于大数据的消费群体分析方法
CN113076860B (zh) 一种野外场景下的鸟类检测系统
CN114639152A (zh) 基于人脸识别的多模态语音交互方法、装置、设备及介质
CN113918471A (zh) 测试用例的处理方法、装置及计算机可读存储介质
CN118211636B (zh) 网络模型训练方法、金属件表面缺陷检测方法及电子设备
CN118135453A (zh) 基于密集人物检测的课堂行为动态标注方法、装置及介质
US20170309040A1 (en) Method and device for positioning human eyes
CN111597805B (zh) 一种基于深度学习审核短信文本链接的方法及装置
CN112614113A (zh) 一种基于深度学习的带钢缺陷检测方法
CN111738991A (zh) 一种焊缝缺陷的数字射线检测模型的创建方法
CN111163332A (zh) 视频色情度检测方法、终端及介质
CN116521917A (zh) 一种图片筛选方法及装置
CN114637893A (zh) 一种fmea数据库系统及其处理方法
CN115909493A (zh) 一种面向课堂实录视频的教师不当手势检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant