CN111080622B - 神经网络训练方法、工件表面缺陷分类与检测方法及装置 - Google Patents

神经网络训练方法、工件表面缺陷分类与检测方法及装置 Download PDF

Info

Publication number
CN111080622B
CN111080622B CN201911293863.1A CN201911293863A CN111080622B CN 111080622 B CN111080622 B CN 111080622B CN 201911293863 A CN201911293863 A CN 201911293863A CN 111080622 B CN111080622 B CN 111080622B
Authority
CN
China
Prior art keywords
defect
image
target
pixel
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911293863.1A
Other languages
English (en)
Other versions
CN111080622A (zh
Inventor
梅爽
宋瑞超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Robot Vision Technology Co Ltd
Original Assignee
Seizet Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seizet Technology Shenzhen Co Ltd filed Critical Seizet Technology Shenzhen Co Ltd
Priority to CN201911293863.1A priority Critical patent/CN111080622B/zh
Publication of CN111080622A publication Critical patent/CN111080622A/zh
Application granted granted Critical
Publication of CN111080622B publication Critical patent/CN111080622B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Evolutionary Biology (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种神经网络训练方法、工件表面缺陷分类与检测方法及装置，属于机器视觉工业检测领域，首先通过小样本深度学习快速定位工件表面缺陷的像素坐标区域，然后提取该区域内的缺陷区域，其对应区域应为不规则区域，进而实现缺陷的分类与量化。缺陷分类结果可以有效地在检测到的图像中提供更多的信息，并且可以用于评估测试样品并提出制造过程的影响因素；缺陷量化结果可以快速地对工业加工生产工艺进行判断，有助于改善工业加工零部件的生产质量。

Description

神经网络训练方法、工件表面缺陷分类与检测方法及装置
技术领域
本发明属于机器视觉工业检测领域，更具体地，涉及一种神经网络训练方法、工件表面缺陷分类与检测方法及装置。
背景技术
随着工业的快速发展，基于机器学习的自动表面异常检测已然成为一个有趣且有前途的研究领域，对视觉检测的应用领域具有非常高的直接影响。深度学习方法已成为完成此任务的最合适方法，其允许检查系统通过简单地显示一些示例图像来学习检测表面异常。尽管引入深度可以提高缺陷检测的速度和准确性，但是截止目前，从缺陷检测结果中评估和改进制造过程的有效建议仍然是一个问题，其主要困难在于，缺陷检测只能检测缺陷的存在，而不能识别缺陷特征的细节，例如缺陷的类别和大小。因此从测量的表面特征和产品缺陷评估生产状态构建智能缺陷分类系统的需求很高。
发明内容
针对现有技术的以上缺陷或改进需求，本发明提出了一种神经网络训练方法、工件表面缺陷分类与检测方法及装置，由此解决现有缺陷检测只能检测缺陷的存在，而不能识别缺陷特征的细节，进而导致无法从缺陷检测结果中评估和改进制造过程的技术问题。
为实现上述目的，按照本发明的一个方面，提供了一种神经网络训练方法，包括：
基于包含不同缺陷类别的样本图像，提取各所述样本图像的目标区域分别构成目标图像，其中，所述目标区域包括缺陷区域；
对各所述目标图像中的缺陷区域像素值进行标注，以区分不同的缺陷类型，并提取各所述目标图像中的缺陷区域的坐标值，由各所述目标图像、各所述目标图像的缺陷类型及各所述目标图像中的缺陷区域的坐标值构成第一训练样本集，由所述第一训练样本集训练缺陷定位模型；
由各所述目标图像及经过像素值标注后的目标图像构成第二训练样本集，由所述第二训练样本集训练缺陷分割模型。
优选地，所述对各所述目标图像中的缺陷区域像素值进行标注，以区分不同的缺陷类型，包括：
提取各所述目标图像中的缺陷区域的轮廓，并将各轮廓内的区域像素值全部置为缺陷类别对应的像素值。
优选地，所述提取各所述目标图像中的缺陷区域的坐标值，包括：
提取各所述目标图像中的缺陷区域的外接矩形，并记录各外接矩形对应坐标值x1,y1,x2,y2，其中，x1为外接矩形左上角点x方向的像素坐标，y1为外接矩形左上角点y方向的像素坐标，x2为外接矩形右下角x方向的像素坐标，y2为外接矩形右下角y方向的像素坐标。
优选地，所述缺陷定位模型由若干个卷积层和若干个全连接层构成，所述缺陷定位模型的输出张量由x，y，w，h，pro，class构成，其中，参数x为预测的缺陷定位框左上角的x方向像素坐标，y为预测的缺陷定位框左上角的y方向像素坐标，w为预测的缺陷定位框的长，h为预测的缺陷定位框的宽，class为预测缺陷对应的类别，pro为预测缺陷对应类别的概率。
优选地，所述缺陷分割模型采用端到端的卷积网络，并引入下采样恢复预测的图像大小尺寸，其中，所述缺陷分割模型的输出为对应输入图像的每一个像素的类别。
按照本发明的另一个方面，提供了一种工件表面缺陷分类与检测方法，包括：
将待处理图像输入缺陷定位模型，由所述缺陷定位模型得到所述待处理图像中各缺陷的位置；
由各缺陷的位置裁剪所述待处理图像，将裁剪的各图像输入缺陷分割模型，由所述缺陷分割模型得到包含各缺陷的缺陷图像，其中，各所述缺陷图像分别与对应的输入图像尺寸一致；
将各所述缺陷图像还原至所述待处理图像中的对应位置，进而获得所述待处理图像中各缺陷类型及缺陷检测结果；
其中，所述缺陷定位模型及所述缺陷分割模型由上述任意一项所述的神经网络训练方法训练得到。
按照本发明的另一个方面，提供了一种神经网络训练装置，包括：
第一提取单元，用于基于包含不同缺陷类别的样本图像，提取各所述样本图像的目标区域分别构成目标图像，其中，所述目标区域包括缺陷区域；
标注单元，用于对各所述目标图像中的缺陷区域像素值进行标注，以区分不同的缺陷类型；
第二提取单元，用于提取各所述目标图像中的缺陷区域的坐标值；
第一训练单元，用于由各所述目标图像、各所述目标图像的缺陷类型及各所述目标图像中的缺陷区域的坐标值构成第一训练样本集，由所述第一训练样本集训练缺陷定位模型；
第二训练单元，用于由各所述目标图像及经过像素值标注后的目标图像构成第二训练样本集，由所述第二训练样本集训练缺陷分割模型。
优选地，所述标注单元，用于提取各所述目标图像中的缺陷区域的轮廓，并将各轮廓内的区域像素值全部置为缺陷类别对应的像素值；
所述第二提取单元，用于提取各所述目标图像中的缺陷区域的外接矩形，并记录各外接矩形对应坐标值x1,y1,x2,y2，其中，x1为外接矩形左上角点x方向的像素坐标，y1为外接矩形左上角点y方向的像素坐标，x2为外接矩形右下角x方向的像素坐标，y2为外接矩形右下角y方向的像素坐标。
优选地，所述缺陷定位模型由若干个卷积层和若干个全连接层构成，所述缺陷定位模型的输出张量由x，y，w，h，pro，class构成，其中，参数x为预测的缺陷定位框左上角的x方向像素坐标，y为预测的缺陷定位框左上角的y方向像素坐标，w为预测的缺陷定位框的长，h为预测的缺陷定位框的宽，class为预测缺陷对应的类别，pro为预测缺陷对应类别的概率。
优选地，所述缺陷分割模型采用端到端的卷积网络，并引入下采样恢复预测的图像大小尺寸，其中，所述缺陷分割模型的输出为对应输入图像的每一个像素的类别。
按照本发明的另一个方面，提供了一种工件表面缺陷分类与检测装置，包括：
缺陷定位模块，用于将待处理图像输入缺陷定位模型，由所述缺陷定位模型得到所述待处理图像中各缺陷的位置；
缺陷分割模块，用于由各缺陷的位置裁剪所述待处理图像，将裁剪的各图像输入缺陷分割模型，由所述缺陷分割模型得到包含各缺陷的缺陷图像，其中，各所述缺陷图像分别与对应的输入图像尺寸一致；
结果输出模块，用于将各所述缺陷图像还原至所述待处理图像中的对应位置，进而获得所述待处理图像中各缺陷类型及缺陷检测结果；
其中，所述缺陷定位模型及所述缺陷分割模型由上述任意一项所述的神经网络训练装置训练得到。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：
本发明首先通过小样本深度学习快速定位工件表面缺陷的像素坐标区域，然后提取该区域内的缺陷区域，其对应区域应为不规则区域，进而实现缺陷的分类与量化。缺陷分类结果可以有效地在检测到的图像中提供更多的信息，并且可以用于评估测试样品并提出制造过程的影响因素；缺陷量化结果可以快速地对工业加工生产工艺进行判断，有助于改善工业加工零部件的生产质量。
附图说明
图1是本发明实施例提供的一种缺陷分类与检测模型训练流程示意图；
图2是本发明实施例提供的一种缺陷预测流程图以及效果展示图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明涉及一种工件表面缺陷分类与检测，其主要内容包括：①零部件表面的缺陷定位，即缺陷分类；以及②零部件表面的缺陷分割，即缺陷量化。本发明目的在于为工业加工提供一种智能快速的工业缺陷检测方式，旨在提高工业加工质量与效率。
如图1所示是本发明实施例提供的一种缺陷分类与检测模型训练流程示意图，包括：
S1：基于包含不同缺陷类别的样本图像，提取各样本图像的目标区域分别构成目标图像，其中，目标区域包括缺陷区域；
在本发明实施例中，首先采集不同缺陷类别(比如1：裂纹；2：脏污)的板材图像样本，样本数量可以根据实际需要确定，然后裁剪图像的有效AOI区域得到深度学习训练样本集Image_TrainSet。
S2：对各目标图像中的缺陷区域像素值进行标注，以区分不同的缺陷类型，并提取各目标图像中的缺陷区域的坐标值，由各目标图像、各目标图像的缺陷类型及各目标图像中的缺陷区域的坐标值构成第一训练样本集，由第一训练样本集训练缺陷定位模型；
在本发明实施例中，对各目标图像中的缺陷区域像素值进行标注，以区分不同的缺陷类型，包括：
提取各目标图像中的缺陷区域的轮廓，并将各轮廓内的区域像素值全部置为缺陷类别对应的像素值。
在本发明实施例中，提取各目标图像中的缺陷区域的坐标值，包括：
提取各目标图像中的缺陷区域的外接矩形，并记录各外接矩形对应坐标值x1,y1,x2,y2，其中，x1为外接矩形左上角点x方向的像素坐标，y1为外接矩形左上角点y方向的像素坐标，x2为外接矩形右下角x方向的像素坐标，y2为外接矩形右下角y方向的像素坐标。
例如，针对训练样本集Image_TrainSet，可以采用Colabeler V2.0.4软件进行像素标注，即沿着不同缺陷(比如1：裂纹；2：脏污)绘制出其相应轮廓，并将对应轮廓内的区域像素值全部置为缺陷类别对应像素值(如裂纹区域对应像素值置1，脏污区域对应像素值置2)，然后提取不同缺陷类别对应区域的外接矩形，并记录外接矩形对应坐标值[x1,y1,x2,y2]，其中，x1为外接矩形左上角点x方向的像素坐标，y1为外接矩形左上角点y方向的像素坐标，另外x2为外接矩形右下角x方向的像素坐标，y2为外接矩形右下角y方向的像素坐标。
然后提取训练样本集Image_TrainSet中每一幅图像对应不同缺陷区域外接矩形的坐标值[x1,y1,x2,y2]，以及对应图像属性名(*.png)，然后将此信息记录于对应图像属性名的文本文档中(*.txt)。将图像以及对应的缺陷信息文本文档输入缺陷定位模型中进行训练，其中，训练次数及训练一次采用的样本量可以根据实际需要确定。
在本发明实施例中，缺陷定位模型由若干个卷积层和若干个全连接层构成，在本发明实施例中，优选的缺陷定位模型由24个卷积层和2个全连接层构成，缺陷定位模型的输出张量由x，y，w，h，pro，class构成，其中，参数x为预测的缺陷定位框左上角的x方向像素坐标，y为预测的缺陷定位框左上角的y方向像素坐标，w为预测的缺陷定位框的长，h为预测的缺陷定位框的宽，class为预测缺陷对应的类别，pro为预测缺陷对应类别的概率。
其中，缺陷定位模型的输入为：原始图像I(m×n×3)，即RGB三通道图，其中，m为图像尺寸对应的高，n为图像尺寸对应的宽，模型输出张量的有用信息包括：预测框的起始像素横纵坐标以及预测框的长与宽。
作为一种可选的实施方式，为简化处理，可以将不同缺陷(如1：裂纹；2：脏污)对应类别全部置为1:Defect，同时将类别训练loss权重值置为0，即不参与训练。
S3：由各目标图像及经过像素值标注后的目标图像构成第二训练样本集，由第二训练样本集训练缺陷分割模型。
例如，提取训练样本集Image_TrainSet中每一幅图像对应不同缺陷区域Label图像，在此缺陷Label图像中，缺陷1裂纹对应像素值为1，缺陷2脏污对应像素值为2，然后将训练样本集Image_TrainSet中每一幅图像I(m×n×3)与对应缺陷Label图像(m×n×1)输入到缺陷分割模型中，其中m为图像尺寸对应的高，n为图像尺寸对应的宽，模型对应输出Tensor信息对应输入图像每一个像素对应的类别，即含像素值＝0，1，2的一个数组，其中0代表背景，1代表缺陷类别1(裂纹)，2代表缺陷类别2(脏污)。
在本发明实施例中，缺陷分割模型采用端到端的卷积网络，并引入下采样恢复预测图像大小尺寸，对应模型输入为：原始图像I(m×n×3)对应的张量中包含m×n×3个像素值，其中m为图像尺寸对应的高，n为图像尺寸对应的宽，模型输出张量的有用信息包括：对应输入图像每一个像素的类别，即由0，1，2组成的二维数组，其中0代表背景，1代表缺陷类别1(裂纹)，2代表缺陷类别2(脏污)。
作为一种可选的实施方式，可以采用测试图像集Image_TestSet对训练得到的模型进行测试，分别预测其缺陷效果，评估可行性与实践性。
在本发明的另一实施例中，还提供了一种工件表面缺陷分类与检测方法，包括：
将待处理图像输入缺陷定位模型，由缺陷定位模型得到待处理图像中各缺陷的位置；
由各缺陷的位置裁剪待处理图像，将裁剪的各图像输入缺陷分割模型，由缺陷分割模型得到包含各缺陷的缺陷图像，其中，各缺陷图像分别与对应的输入图像尺寸一致；
将各缺陷图像还原至待处理图像中的对应位置，进而获得待处理图像中各缺陷类型及缺陷检测结果；
其中，缺陷定位模型及缺陷分割模型由上述方法实施例的神经网络训练方法训练得到。
在本发明的另一实施例中，还提供了一种神经网络训练装置，包括：
第一提取单元，用于基于包含不同缺陷类别的样本图像，提取各样本图像的目标区域分别构成目标图像，其中，目标区域包括缺陷区域；
标注单元，用于对各目标图像中的缺陷区域像素值进行标注，以区分不同的缺陷类型；
第二提取单元，用于提取各目标图像中的缺陷区域的坐标值；
第一训练单元，用于由各目标图像、各目标图像的缺陷类型及各目标图像中的缺陷区域的坐标值构成第一训练样本集，由第一训练样本集训练缺陷定位模型；
第二训练单元，用于由各目标图像及经过像素值标注后的目标图像构成第二训练样本集，由第二训练样本集训练缺陷分割模型。
其中，各单元的具体实施方式可以参考方法实施例的描述，本发明实施例将不再复述。
在本发明的另一实施例中，还提供了一种工件表面缺陷分类与检测装置，包括：
缺陷定位模块，用于将待处理图像输入缺陷定位模型，由缺陷定位模型得到待处理图像中各缺陷的位置；
缺陷分割模块，用于由各缺陷的位置裁剪待处理图像，将裁剪的各图像输入缺陷分割模型，由缺陷分割模型得到包含各缺陷的缺陷图像，其中，各缺陷图像分别与对应的输入图像尺寸一致；
结果输出模块，用于将各缺陷图像还原至待处理图像中的对应位置，进而获得待处理图像中各缺陷类型及缺陷检测结果；
其中，缺陷定位模型及缺陷分割模型由上述神经网络训练装置训练得到。
如图2所示是本发明实施例提供的一种缺陷预测流程图以及效果展示图，包括以下步骤：
(1)采集全新测试图像I_Test，简易图像处理后(白平衡，直方图均衡化)进入深度学习模型网络架构，首先缺陷定位模型输出图像中全部的缺陷位置，即对应预测框的起始点A坐标(x1,y1)，其中，x1对应点A在x方向的像素坐标，y1对应点A在y方向的像素坐标，以及终点坐标B坐标(x2,y2)，其中，x2对应点B在x方向的像素坐标，y2对应点B在y方向的像素坐标。
(2)设置图像裁剪区域为I_Test(x1-30:x2+30，y1-30:y2+30)，然后输入到深度学习分割网络，得到对应输入图像尺寸大小的包含缺陷的Label图，小矩形框对应设定第一类缺陷：裂纹，大矩形框对应设定第二类缺陷：脏污；
(3)将(2)中的缺陷Label图还原至原图位置，即矩阵映射，原图对应区域I_Test(x1-30:x2+30，y1-30:y2+30)替换为两类缺陷预测Label图；
(4)采用Zhang氏相机标定算法即可完成缺陷的量化计算，即本发明可以实现不同缺陷的自主分类与缺陷量化，为工业加工生产提供质量安全保障。
通过本发明的工件表面缺陷分类与检测，若一张500万像素(2500×200)图像存在3处不同类别的缺陷，对应不同缺陷分类的成功率可达到99.3％(998/1000)，缺陷分割精度>80.5％，在2080Ti显卡机器上运行时间可达150ms/1pic，为工业缺陷检测领域提供一种新颖快速的实时缺陷检测技术。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种神经网络训练方法，其特征在于，包括：
基于包含不同缺陷类别的样本图像，提取各所述样本图像的目标区域分别构成目标图像，其中，所述目标区域包括缺陷区域；
对各所述目标图像中的缺陷区域像素值进行标注，以区分不同的缺陷类型，并提取各所述目标图像中的缺陷区域的坐标值，由各所述目标图像、各所述目标图像的缺陷类型及各所述目标图像中的缺陷区域的坐标值构成第一训练样本集，由所述第一训练样本集训练缺陷定位模型；
由各所述目标图像及经过像素值标注后的目标图像构成第二训练样本集，由所述第二训练样本集训练缺陷分割模型；
所述缺陷定位模型由若干个卷积层和若干个全连接层构成，所述缺陷定位模型的输出张量由x，y，w，h，pro，class构成，其中，参数x为预测的缺陷定位框左上角的x方向像素坐标，y为预测的缺陷定位框左上角的y方向像素坐标，w为预测的缺陷定位框的长，h为预测的缺陷定位框的宽，class为预测缺陷对应的类别，pro为预测缺陷对应类别的概率。
2.根据权利要求1所述的方法，其特征在于，所述对各所述目标图像中的缺陷区域像素值进行标注，以区分不同的缺陷类型，包括：
提取各所述目标图像中的缺陷区域的轮廓，并将各轮廓内的区域像素值全部置为缺陷类别对应的像素值；
所述提取各所述目标图像中的缺陷区域的坐标值，包括：
提取各所述目标图像中的缺陷区域的外接矩形，并记录各外接矩形对应坐标值x1,y1,x2,y2，其中，x1为外接矩形左上角点x方向的像素坐标，y1为外接矩形左上角点y方向的像素坐标，x2为外接矩形右下角x方向的像素坐标，y2为外接矩形右下角y方向的像素坐标。
3.根据权利要求1或2所述的方法，其特征在于，所述缺陷分割模型采用端到端的卷积网络，并引入下采样恢复预测的图像大小尺寸，其中，所述缺陷分割模型的输出为对应输入图像的每一个像素的类别。
4.一种工件表面缺陷分类与检测方法，其特征在于，包括：
将待处理图像输入缺陷定位模型，由所述缺陷定位模型得到所述待处理图像中各缺陷的位置；
由各缺陷的位置裁剪所述待处理图像，将裁剪的各图像输入缺陷分割模型，由所述缺陷分割模型得到包含各缺陷的缺陷图像，其中，各所述缺陷图像分别与对应的输入图像尺寸一致；
将各所述缺陷图像还原至所述待处理图像中的对应位置，进而获得所述待处理图像中各缺陷类型及缺陷检测结果；
其中，所述缺陷定位模型及所述缺陷分割模型由权利要求1至3任意一项所述的神经网络训练方法训练得到。
5.一种神经网络训练装置，其特征在于，包括：
第一提取单元，用于基于包含不同缺陷类别的样本图像，提取各所述样本图像的目标区域分别构成目标图像，其中，所述目标区域包括缺陷区域；
标注单元，用于对各所述目标图像中的缺陷区域像素值进行标注，以区分不同的缺陷类型；
第二提取单元，用于提取各所述目标图像中的缺陷区域的坐标值；
第一训练单元，用于由各所述目标图像、各所述目标图像的缺陷类型及各所述目标图像中的缺陷区域的坐标值构成第一训练样本集，由所述第一训练样本集训练缺陷定位模型；
第二训练单元，用于由各所述目标图像及经过像素值标注后的目标图像构成第二训练样本集，由所述第二训练样本集训练缺陷分割模型；
所述缺陷定位模型由若干个卷积层和若干个全连接层构成，所述缺陷定位模型的输出张量由x，y，w，h，pro，class构成，其中，参数x为预测的缺陷定位框左上角的x方向像素坐标，y为预测的缺陷定位框左上角的y方向像素坐标，w为预测的缺陷定位框的长，h为预测的缺陷定位框的宽，class为预测缺陷对应的类别，pro为预测缺陷对应类别的概率。
6.根据权利要求5所述的装置，其特征在于，所述标注单元，用于提取各所述目标图像中的缺陷区域的轮廓，并将各轮廓内的区域像素值全部置为缺陷类别对应的像素值；
所述第二提取单元，用于提取各所述目标图像中的缺陷区域的外接矩形，并记录各外接矩形对应坐标值x1,y1,x2,y2，其中，x1为外接矩形左上角点x方向的像素坐标，y1为外接矩形左上角点y方向的像素坐标，x2为外接矩形右下角x方向的像素坐标，y2为外接矩形右下角y方向的像素坐标。
7.根据权利要求5或6所述的装置，其特征在于，所述缺陷分割模型采用端到端的卷积网络，并引入下采样恢复预测的图像大小尺寸，其中，所述缺陷分割模型的输出为对应输入图像的每一个像素的类别。
8.一种工件表面缺陷分类与检测装置，其特征在于，包括：
缺陷定位模块，用于将待处理图像输入缺陷定位模型，由所述缺陷定位模型得到所述待处理图像中各缺陷的位置；
缺陷分割模块，用于由各缺陷的位置裁剪所述待处理图像，将裁剪的各图像输入缺陷分割模型，由所述缺陷分割模型得到包含各缺陷的缺陷图像，其中，各所述缺陷图像分别与对应的输入图像尺寸一致；
结果输出模块，用于将各所述缺陷图像还原至所述待处理图像中的对应位置，进而获得所述待处理图像中各缺陷类型及缺陷检测结果；
其中，所述缺陷定位模型及所述缺陷分割模型由权利要求5至7任意一项所述的神经网络训练装置训练得到。
CN201911293863.1A 2019-12-13 2019-12-13 神经网络训练方法、工件表面缺陷分类与检测方法及装置 Active CN111080622B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911293863.1A CN111080622B (zh) 2019-12-13 2019-12-13 神经网络训练方法、工件表面缺陷分类与检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911293863.1A CN111080622B (zh) 2019-12-13 2019-12-13 神经网络训练方法、工件表面缺陷分类与检测方法及装置

Publications (2)

Publication Number Publication Date
CN111080622A CN111080622A (zh) 2020-04-28
CN111080622B true CN111080622B (zh) 2023-11-07

Family

ID=70315159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911293863.1A Active CN111080622B (zh) 2019-12-13 2019-12-13 神经网络训练方法、工件表面缺陷分类与检测方法及装置

Country Status (1)

Country Link
CN (1) CN111080622B (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7129669B2 (ja) * 2018-07-20 2022-09-02 株式会社エヌテック ラベル付き画像データ作成方法、検査方法、プログラム、ラベル付き画像データ作成装置及び検査装置
CN111507357B (zh) * 2020-06-17 2020-09-25 熵智科技(深圳)有限公司 一种缺陷检测语义分割模型建模方法、装置、介质及设备
CN111462120B (zh) * 2020-06-17 2020-09-29 熵智科技(深圳)有限公司 一种基于语义分割模型缺陷检测方法、装置、介质及设备
CN111709933B (zh) * 2020-06-17 2022-04-29 广州麦仑信息科技有限公司 一种令纸缺陷分割分类的检测方法
CN111951231A (zh) * 2020-07-24 2020-11-17 上海微亿智造科技有限公司 一种金属粉末注射成型外观缺陷的标注方法及系统
CN112085722B (zh) * 2020-09-07 2024-04-09 凌云光技术股份有限公司 一种训练样本图像获取方法及装置
CN112270687A (zh) * 2020-10-16 2021-01-26 鲸斛(上海)智能科技有限公司 布料瑕疵识别模型的训练方法和布料瑕疵的检测方法
CN112149693A (zh) * 2020-10-16 2020-12-29 上海智臻智能网络科技股份有限公司 轮廓识别模型的训练方法和目标对象的检测方法
CN112329896B (zh) * 2021-01-05 2021-05-14 武汉精测电子集团股份有限公司 模型训练方法及装置
CN112686892A (zh) * 2021-03-10 2021-04-20 北京妃灵科技有限公司 手表成色智能评估方法、装置、设备和存储介质
CN112950606B (zh) * 2021-03-15 2023-04-07 重庆邮电大学 一种基于小样本的手机屏幕缺陷分割方法
CN114998236A (zh) * 2022-05-25 2022-09-02 征图新视(江苏)科技股份有限公司 基于目标检测的缺陷提取算法
CN115661160B (zh) * 2022-12-29 2023-03-10 成都数之联科技股份有限公司 一种面板缺陷检测方法及系统及装置及介质
CN116399871B (zh) * 2023-04-19 2023-11-14 广州市阳普机电工程有限公司 一种基于机器视觉的汽车零部件装配检测系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636772A (zh) * 2018-10-25 2019-04-16 同济大学 基于深度学习的不规则形状金属加工表面的缺陷检测方法
CN110232675A (zh) * 2019-03-28 2019-09-13 昆明理工大学 一种工业环境下的纹理表面缺陷检测与分割装置及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10395362B2 (en) * 2017-04-07 2019-08-27 Kla-Tencor Corp. Contour based defect detection
WO2018208791A1 (en) * 2017-05-08 2018-11-15 Aquifi, Inc. Systems and methods for inspection and defect detection using 3-d scanning
US10607119B2 (en) * 2017-09-06 2020-03-31 Kla-Tencor Corp. Unified neural network for defect detection and classification

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109636772A (zh) * 2018-10-25 2019-04-16 同济大学 基于深度学习的不规则形状金属加工表面的缺陷检测方法
CN110232675A (zh) * 2019-03-28 2019-09-13 昆明理工大学 一种工业环境下的纹理表面缺陷检测与分割装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王昕钰 ; 王倩 ; 程敦诚 ; 吴福庆 ; .基于三级级联架构的接触网定位管开口销缺陷检测.仪器仪表学报.2019,(10),全文. *

Also Published As

Publication number Publication date
CN111080622A (zh) 2020-04-28

Similar Documents

Publication Publication Date Title
CN111080622B (zh) 神经网络训练方法、工件表面缺陷分类与检测方法及装置
CN106952250B (zh) 一种基于Faster R-CNN网络的金属板带表面缺陷检测方法及装置
CN109886298B (zh) 一种基于卷积神经网络的焊缝质量检测方法
CN111179225B (zh) 一种基于灰度梯度聚类的试纸表面纹理缺陷检测方法
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN106934800B (zh) 一种基于yolo9000网络的金属板带表面缺陷检测方法及装置
CN113298757A (zh) 一种基于u-net卷积神经网络的金属表面缺陷检测方法
CN108460764A (zh) 基于自动上下文和数据增强的超声图像智能分割方法
CN110443791B (zh) 一种基于深度学习网络的工件检测方法及其检测装置
CN115601355A (zh) 一种产品表面缺陷检测与分类方法、装置及存储介质
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
CN110490842A (zh) 一种基于深度学习的带钢表面缺陷检测方法
CN113222913B (zh) 一种电路板缺陷检测定位方法、装置和存储介质
CN113962951B (zh) 检测分割模型的训练方法及装置、目标检测方法及装置
CN113850749A (zh) 训练缺陷侦测器的方法
CN113393426A (zh) 一种轧钢板表面缺陷检测方法
CN111612747A (zh) 产品表面裂缝快速检测方法及检测系统
CN116228651A (zh) 一种布匹缺陷检测方法、系统、设备及介质
CN114549493A (zh) 一种基于深度学习的磁芯缺陷检测系统及方法
CN115035092A (zh) 基于图像的瓶体检测方法、装置、设备及存储介质
CN111415330A (zh) 基于深度学习的铜箔外观缺陷检测方法
CN116542975A (zh) 一种玻璃面板的缺陷分类方法、装置、设备和介质
CN112017154A (zh) 基于Mask R-CNN模型的一种射线缺陷检测方法
CN115205193A (zh) 一种基于微小缺陷yolo网络的钢板表面缺陷检测方法
CN114331961A (zh) 用于对象的缺陷检测的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231206

Address after: 518000, Building 5, Building C, Building C, Huaqiang Creative Park, Biyan Community, Guangming Street, Guangming District, Shenzhen, Guangdong Province, China 1301

Patentee after: SHENZHEN ROBOT VISION TECHNOLOGY Co.,Ltd.

Address before: 518031 703, 7th floor, Zhongdian Difu building, Zhenhua Road, Fuqiang community, Huaqiang North Street, Futian District, Shenzhen City, Guangdong Province

Patentee before: SHANGZHI TECHNOLOGY (SHENZHEN) Co.,Ltd.