CN113344888A - 一种基于联合模型的表面缺陷检测方法及装置 - Google Patents
一种基于联合模型的表面缺陷检测方法及装置 Download PDFInfo
- Publication number
- CN113344888A CN113344888A CN202110673939.4A CN202110673939A CN113344888A CN 113344888 A CN113344888 A CN 113344888A CN 202110673939 A CN202110673939 A CN 202110673939A CN 113344888 A CN113344888 A CN 113344888A
- Authority
- CN
- China
- Prior art keywords
- model
- data
- image
- training
- semantic segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 76
- 238000001514 detection method Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims abstract description 82
- 230000011218 segmentation Effects 0.000 claims abstract description 70
- 238000000034 method Methods 0.000 claims abstract description 51
- 238000013145 classification model Methods 0.000 claims abstract description 15
- 230000002708 enhancing effect Effects 0.000 claims abstract description 11
- 238000002372 labelling Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 238000009826 distribution Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 238000013256 Gubra-Amylin NASH model Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 3
- 238000013136 deep learning model Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 description 7
- 238000013135 deep learning Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种基于联合模型的表面缺陷检测方法及装置，其中方法包括：获取图像样本数据，并对数据进行标注，得到对应的标注数据；对所述图像样本数据及其标注数据进行增强，得到训练样本集；将语义分割模块和图像分类模块进行级联，所述语义分割模块的特征输出为图像分类模块的输入；将所述训练样本集输入到经过级联的语义分割模型和图像分类模型中进行训练，得到语义分割和图像分类联合模型。本发明的方法将语义分割与图像分类联合起来，克服了单个图像任务的不足，能够用少量的几十张样本完成缺陷模型的训练，这对于工业领域缺陷数据难以获取有实际的意义。同时，联合模型不仅能够判断是否存在缺陷，而且能够得到缺陷的像素级别精度位置。
Description
技术领域
本发明涉及工业视觉检测技术领域，尤其涉及一种基于联合模型的表面缺陷检测方法及装置。
背景技术
产品表面缺陷检测是工业生产中的重要环节和关键步骤，借助自动缺陷检测技术可以有效的提高生产质量和效率。但是由于设备及工艺等因素的影响，产品表面的缺陷类型呈现种类多、形态多变、背景复杂的特点，某些缺陷人眼都难以观察，给缺陷的自动化检测带来了困难。
随着AI技术的发展，基于深度学习的研究方法逐渐被应用在缺陷检测中。现阶段，大部分基于深度学习的缺陷检测方法都是基于有监督的表征学习方法。表征学习的本质是将缺陷检测问题看作计算机视觉中的分类任务，包括粗粒度的图像标签分类或区域分类，以及最精细的像素分类。直接利用分类网络做缺陷的分类学习是CNN最早应用于缺陷检测中的技术手段，但分类网络只能完成图像标签级别的分类，后又有一些基于滑动窗口，热力图和多任务学习等方式实现缺陷的粗定位。
在现有技术中，CN111445471A提出了一种基于深度学习和机器视觉的产品表面缺陷检测方法及装置，该方法中，采用图像预处理的方式判断是否存在缺陷，再采用训练好的Inception-v3网络对缺陷进行分类和识别，是传统及其视觉算法与神经网络分类技术相结合的方式，该网络仅能给出缺陷的类别信息，而不能精确定位缺陷的位置。
CN106875381A提出了一种基于深度学习的手机外壳缺陷检测方法，该方法中，网络结构为级联的深度学习网络、分类网络以及回归网络，可以得到缺陷的置信度和位置信息。该方法中，采用的回归网络仅能得到缺陷的大体位置信息(bounding box)而不能得到缺陷的像素级位置精度。
CN111415329A中提出了一种基于深度学习的工件表面缺陷检测方法，该方法中，通过深度卷积网络获得6个不同层的特征图，采用特征金字塔特征图进行多尺度特征融合预测，使用聚类算法得到产生4个anchor box预测目标边界框，并通过非极大值抑制算法去除冗余的预测边界框。该方法同样只能得到缺陷的边界框信息。
在上述方法中，均采用单个神经网络做缺陷的分类或者目标检测，这种方式构建的神经网络往往需要大量的数据作为支撑，在工业视觉领域，特别是一些难以获取到大量缺陷样本的工业视觉应用中，这些方法往往耗费巨大的人力，还可能无法使用。
综上所述，现有的缺陷检测方式存在以下几点问题：
(1)基于图像分类的缺陷检测网络仅仅能否区分缺陷的类别，无法进行缺陷的精确定位；
(2)单独的图像分类模型或者目标检测模型需要大量的缺陷数据，不切合工业生产环境的实际情况，实际生产环境中，缺陷样本是极度欠缺的，且如果保证不了数据的数量，那么模型的效果也会大打折扣。
(3)单独的语义分割模块仅能给出图像中每个像素的类别信息，而不能判断缺陷类别，因此后续仍然需要分类的辅助才能有效判断缺陷类别。
发明内容
本发明提供了一种基于联合模型的表面缺陷检测方法及装置，以解决上述问题。
本发明采用的技术方案是：提供一种基于联合模型的表面缺陷检测方法，包括：
获取图像样本数据，并对数据进行标注，得到对应的标注数据；
对所述图像样本数据及其标注数据进行增强，得到训练样本集；
将语义分割模块和图像分类模块进行级联，所述语义分割模块的特征输出为图像分类模块的输入；
将所述训练样本集输入到经过级联的语义分割模型和图像分类模型中进行训练，得到语义分割和图像分类联合模型。
作为基于联合模型的表面缺陷检测方法的一种优选方式，所述将所述训练样本集输入到经过级联的语义分割模型和图像分类模型中进行训练，得到语义分割和图像分类联合模型的方法包括：
分别训练所述语义分割模块和图像分类模块，然后拉通训练所述联合模型。
作为基于联合模型的表面缺陷检测方法的一种优选方式，所述分别训练所述语义分割模块和图像分类模块的方法包括：
设置语义分割模块中超参数，包括初始化方式、设定损失函数、设定优化器、及迭代更新方式；
将训练样本输入语义分割模块中，经训练得到语义分割模型；
将训练样本输入经训练得到语义分割模型中，得到输出特征，将训练样本及输出特征输入图像分类模块中，经训练得到图像分类模型。
作为基于联合模型的表面缺陷检测方法的一种优选方式，所述拉通训练所述联合模型的方法包括：
将语义分割模块、图像分类模块训练好的参数作为联合模型的初始化参数启动联合模型的训练；
联合模型中语义分割模块的损失加上图像分类模块的损失；
设置超参数，启动训练联合模型，得到拉通后的联合模型。
作为基于联合模型的表面缺陷检测方法的一种优选方式，采用人工或辅助工具进行标注的方法，给每张图像数据分别打上两个标签：像素级标注、图像级标注。
作为基于联合模型的表面缺陷检测方法的一种优选方式，图像采集设备采集生产线上的产品图像样本数据。
作为基于联合模型的表面缺陷检测方法的一种优选方式，对数据进行标注的方法包括：人工标注、利用辅助工具进行半自动标注、采用像素级标签标注、基于图像级标签标注中的一种或多种。
作为基于联合模型的表面缺陷检测方法的一种优选方式，所述对所述图像样本数据及其标注数据进行增强的方法包括：对图像样本数据及其标注数据进行缩放、旋转、镜像变化，对比度拉伸、归一化；
或者，利用深度学习模型、GAN模型学习已有标注数据的分布情况，然后随机生成与标注数据分布一致的图像数据。
作为基于联合模型的表面缺陷检测方法的一种优选方式，所述对所述图像样本数据及其标注数据进行增强，得到训练样本集的方法还包括：
增强的图像样本及其一一对应的像素级标注样本、图像级标注样本作为一个单元，加入训练样本集中。
本发明还公开一种基于联合模型的表面缺陷检测装置，包括：
数据标注单元：用于获取图像样本数据，并对数据进行标注，得到对应的标注数据；
数据增强单元：用于对标注的图像进行数据增强；
训练样本集构建单元：用于将增强的图像样本及其像素级标签，图像级标签加入训练样本集中；
联合模型构建单元：用于将语义分割模块和图像分类模块进行级联；
联合模型训练单元：用于将所述训练样本集输入到经过级联的语义分割模型和图像分类模型中进行训练，得到语义分割和图像分类联合模型。
本发明的有益效果是：本发明的方法将语义分割与图像分类联合起来，克服了单个图像任务的不足，能够用少量的几十张样本完成缺陷模型的训练，这对于工业领域缺陷数据难以获取有实际的意义。同时，联合模型不仅能够判断是否存在缺陷，而且能够得到缺陷的像素级别精度位置，有利用缺陷的精确定位、形态分析、大小分析等后续分析处理，甚至回溯产品产生质量问题的原因。联合模型的分段训练使得语义分割模块和分类模块能够独立训练，达到快速收敛的效果，拉通训练使得语义分割模块与图像分类模块进行充分的信息流通，使得模型鲁棒性更强，精度。
附图说明
图1为本发明公开的一种基于联合模型的表面缺陷检测方法的流程示意图。
图2为本发明公开的一种基于联合模型的表面缺陷检测装置的结构框图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步详细描述，但本发明的实施方式不限于此。
实施例1：
参见图1，本发明提供一种基于联合模型的表面缺陷检测方法，包括：
S1：获取图像样本数据，并对数据进行标注，得到对应的标注数据。
具体的，获取图像样本数据的方法，包括：采用工业相机，镜头，光源等图像采集设备采集生产线上的产品数据。
对数据进行标注的方法，包括：人工标注的方法、利用辅助工具进行半自动标注的方法、采用像素级标签标注的方法、基于图像级标签标注的方法中的一种或多种。
S2：对所述图像样本数据及其标注数据进行增强，得到训练样本集。
具体的，对所述图像样本数据及其标注数据进行增强的方法包括：采用有监督的数据增强方法。有监督的数据增强方法包括：利用规则对原有数据进行数据的扩增，如对图像进行缩放、旋转、镜像变化，对比度拉伸，归一化等。
对所述图像样本数据及其标注数据进行增强的方法还包括：采用无监督的数据增强方法。无监督的数据增强方法包括：利用深度学习模型、GAN模型学习已有标注数据的分布情况，然后随机生成与所述标注数据分布一致的图像数据。
对所述图像样本数据及其标注数据进行增强，得到训练样本集的方法还包括：增强的图像样本及其一一对应的像素级标注样本、图像级标注样本作为一个单元，加入训练样本集中。
S3：将语义分割模块和图像分类模块进行级联，所述语义分割模块的特征输出为图像分类模块的输入。
具体的，语义分割模块，能实现像素级别的分割效果，其由卷积神经网络、上采样层、反卷积层组成，通过卷积神经网络来提取图像特征，反卷积层将分割特征进行分辨率还原，从而对齐输出尺寸。
图像分类模块，主要由一系列的卷积层组成，实现图像的缺陷分类。
两个模块之间的连接方式为级联方式，将语义分割模型的特征输出传到图像分类的底层输入层，实现两个模块之间的信息流通。
具体实施例中，在将语义分割模块和图像分类模块进行级联之后，还包括：损失函数的设定，优化器的设定，以及迭代更新所述联合模型参数的方法的设定。采用BCE损失函数对联合模型参数进行优化，并加入正则化公式来提高模型的泛化能力。
S4：将所述训练样本集输入到经过级联的语义分割模型和图像分类模型中进行训练，得到语义分割和图像分类联合模型。
具体的，将所述训练样本集输入到经过级联的语义分割模型和图像分类模型中进行训练，得到语义分割和图像分类联合模型的方法包括：分段训练各个模块，拉通训练联合网络。
具体实施例中，分段训练各个模块，包括如下步骤：
S411：设置语义分割模块中的初始化方式为随机初始化，损失函数设定为BCEloss、优化器设定为Adam、以及其他超参数。
S412：将训练样本输入语义分割模块中，经训练得到语义分割模型。
S413：将训练样本输入经训练得到语义分割模型中，得到输出特征，将训练样本及其特征输入图像分类模块中，经训练得到图像分类模型。
具体实施例中，拉通训练联合网络，包括如下步骤：
S421：将语义分割模块、图像分类模块训练好的参数作为联合模型的初始化参数启动联合模型的训练。
S422：联合模型中语义分割模块的损失加上图像分类模块的损失。
S423：设置其他超参数，启动训练模型，得到联合模型。
根据本发明提供的方法，能够从较少的训练样本中得到较精确的效果，分段训练阶段可分别得到语义分割网络和图像分类网络，联合训练阶段可进一步微调联合模型，让图像分类的误差回传到语义分割模型中，进一步更新语义分割模型的参数，两个模块之间的信息实现充分的交互，从而提升模块之间的关联性，起到互相增强的作用。同时，该方法联合了语义分割模型和图像分类模型，能提供缺陷的精确位置以及缺陷的种类，为进一步的缺陷分析提供了更精确的信息。
实施例2
参见图2：一种基于联合模型的表面缺陷检测装置，包括：
数据标注单元100：用于获取图像样本数据，并对数据进行标注，得到对应的标注数据；
数据增强单元200：用于对标注的图像进行数据增强；
训练样本集构建单元300：用于将增强的图像样本及其像素级标签，图像级标签加入训练样本集中；
联合模型构建单元400：用于将语义分割模块和图像分类模块进行级联；
联合模型训练单元500：用于将所述训练样本集输入到经过级联的语义分割模型和图像分类模型中进行训练，得到语义分割和图像分类联合模型。
需要说明的是，本实施例中的各个单元是逻辑意义上的，在具体实施过程中，一个单元可拆分成多个单元，多个单元也可以合并成一个单元。
根据本发明实施例二提供的一种基于联合模型的表面缺陷检测装置，该装置能够让语义分割和图像分类两个模块之间的信息充分流通，图像分类得益于语义分割的结果，仅需少量的样本即可得到准确的分类效果，起到了像素级精确定位和图像级分类的相互增强的效果。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于联合模型的表面缺陷检测方法，其特征在于，包括：
获取图像样本数据，并对数据进行标注，得到对应的标注数据；
对所述图像样本数据及其标注数据进行增强，得到训练样本集；
将语义分割模块和图像分类模块进行级联，所述语义分割模块的特征输出为图像分类模块的输入；
将所述训练样本集输入到经过级联的语义分割模型和图像分类模型中进行训练，得到语义分割和图像分类联合模型。
2.根据权利要求1所述的基于联合模型的表面缺陷检测方法，其特征在于，所述将所述训练样本集输入到经过级联的语义分割模型和图像分类模型中进行训练，得到语义分割和图像分类联合模型的方法包括：
分别训练所述语义分割模块和图像分类模块，然后拉通训练所述联合模型。
3.根据权利要求2所述的基于联合模型的表面缺陷检测方法，其特征在于，所述分别训练所述语义分割模块和图像分类模块的方法包括：
设置语义分割模块中超参数，包括初始化方式、设定损失函数、设定优化器、及迭代更新方式；
将训练样本输入语义分割模块中，经训练得到语义分割模型；
将训练样本输入经训练得到语义分割模型中，得到输出特征，将训练样本及输出特征输入图像分类模块中，经训练得到图像分类模型。
4.根据权利要求3所述的基于联合模型的表面缺陷检测方法，其特征在于，所述拉通训练所述联合模型的方法包括：
将语义分割模块、图像分类模块训练好的参数作为联合模型的初始化参数启动联合模型的训练；
联合模型中语义分割模块的损失加上图像分类模块的损失；
设置超参数，启动训练联合模型，得到拉通后的联合模型。
5.根据权利要求1所述的基于联合模型的表面缺陷检测方法，其特征在于，采用人工或辅助工具进行标注的方法，给每张图像数据分别打上两个标签：像素级标注、图像级标注。
6.根据权利要求1所述的基于联合模型的表面缺陷检测方法，其特征在于，图像采集设备采集生产线上的产品图像样本数据。
7.根据权利要求1所述的基于联合模型的表面缺陷检测方法，其特征在于，对数据进行标注的方法包括：人工标注、利用辅助工具进行半自动标注、采用像素级标签标注、基于图像级标签标注中的一种或多种。
8.根据权利要求1所述的基于联合模型的表面缺陷检测方法，其特征在于，所述对所述图像样本数据及其标注数据进行增强的方法包括：对图像样本数据及其标注数据进行缩放、旋转、镜像变化，对比度拉伸、归一化；
或者，利用深度学习模型、GAN模型学习已有标注数据的分布情况，然后随机生成与标注数据分布一致的图像数据。
9.根据权利要求8所述的基于联合模型的表面缺陷检测方法，其特征在于，所述对所述图像样本数据及其标注数据进行增强，得到训练样本集的方法还包括：
增强的图像样本及其一一对应的像素级标注样本、图像级标注样本作为一个单元，加入训练样本集中。
10.一种基于联合模型的表面缺陷检测装置，其特征在于，包括：
数据标注单元：用于获取图像样本数据，并对数据进行标注，得到对应的标注数据；
数据增强单元：用于对标注的图像进行数据增强；
训练样本集构建单元：用于将增强的图像样本及其像素级标签，图像级标签加入训练样本集中；
联合模型构建单元：用于将语义分割模块和图像分类模块进行级联；
联合模型训练单元：用于将所述训练样本集输入到经过级联的语义分割模型和图像分类模型中进行训练，得到语义分割和图像分类联合模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110673939.4A CN113344888A (zh) | 2021-06-17 | 2021-06-17 | 一种基于联合模型的表面缺陷检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110673939.4A CN113344888A (zh) | 2021-06-17 | 2021-06-17 | 一种基于联合模型的表面缺陷检测方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113344888A true CN113344888A (zh) | 2021-09-03 |
Family
ID=77476102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110673939.4A Pending CN113344888A (zh) | 2021-06-17 | 2021-06-17 | 一种基于联合模型的表面缺陷检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113344888A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781430A (zh) * | 2021-09-09 | 2021-12-10 | 北京云屿科技有限公司 | 一种基于深度学习的手套表面缺陷检测方法及系统 |
| CN113962951A (zh) * | 2021-10-15 | 2022-01-21 | 杭州研极微电子有限公司 | 检测分割模型的训练方法及装置、目标检测方法及装置 |
| CN114018934A (zh) * | 2021-11-03 | 2022-02-08 | 四川启睿克科技有限公司 | 一种用于弧形金属表面缺陷检测的成像系统 |
| CN114092818A (zh) * | 2022-01-07 | 2022-02-25 | 中科视语(北京)科技有限公司 | 语义分割方法、装置、电子设备及存储介质 |
| CN114397306A (zh) * | 2022-03-25 | 2022-04-26 | 南方电网数字电网研究院有限公司 | 一种电网均压环超复杂类别缺陷多阶段模型联合检测方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110473173A (zh) * | 2019-07-24 | 2019-11-19 | 熵智科技(深圳)有限公司 | 一种基于深度学习语义分割的缺陷检测方法 |
| CN111311544A (zh) * | 2020-01-19 | 2020-06-19 | 无锡赛默斐视科技有限公司 | 一种基于深度学习的地板缺陷检测方法 |
| CN111402203A (zh) * | 2020-02-24 | 2020-07-10 | 杭州电子科技大学 | 一种基于卷积神经网络的织物表面缺陷检测方法 |
| CN111862092A (zh) * | 2020-08-05 | 2020-10-30 | 复旦大学 | 一种基于深度学习的快递外包装缺陷检测方法及装置 |
| CN111932501A (zh) * | 2020-07-13 | 2020-11-13 | 太仓中科信息技术研究院 | 一种基于语义分割的密封圈表面缺陷检测方法 |
| CN112561910A (zh) * | 2020-12-28 | 2021-03-26 | 中山大学 | 一种基于多尺度特征融合的工业表面缺陷检测方法 |
-
2021
- 2021-06-17 CN CN202110673939.4A patent/CN113344888A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110473173A (zh) * | 2019-07-24 | 2019-11-19 | 熵智科技(深圳)有限公司 | 一种基于深度学习语义分割的缺陷检测方法 |
| CN111311544A (zh) * | 2020-01-19 | 2020-06-19 | 无锡赛默斐视科技有限公司 | 一种基于深度学习的地板缺陷检测方法 |
| CN111402203A (zh) * | 2020-02-24 | 2020-07-10 | 杭州电子科技大学 | 一种基于卷积神经网络的织物表面缺陷检测方法 |
| CN111932501A (zh) * | 2020-07-13 | 2020-11-13 | 太仓中科信息技术研究院 | 一种基于语义分割的密封圈表面缺陷检测方法 |
| CN111862092A (zh) * | 2020-08-05 | 2020-10-30 | 复旦大学 | 一种基于深度学习的快递外包装缺陷检测方法及装置 |
| CN112561910A (zh) * | 2020-12-28 | 2021-03-26 | 中山大学 | 一种基于多尺度特征融合的工业表面缺陷检测方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113781430A (zh) * | 2021-09-09 | 2021-12-10 | 北京云屿科技有限公司 | 一种基于深度学习的手套表面缺陷检测方法及系统 |
| CN113781430B (zh) * | 2021-09-09 | 2023-08-25 | 北京云屿科技有限公司 | 一种基于深度学习的手套表面缺陷检测方法及系统 |
| CN113962951A (zh) * | 2021-10-15 | 2022-01-21 | 杭州研极微电子有限公司 | 检测分割模型的训练方法及装置、目标检测方法及装置 |
| CN113962951B (zh) * | 2021-10-15 | 2022-05-17 | 杭州研极微电子有限公司 | 检测分割模型的训练方法及装置、目标检测方法及装置 |
| CN114018934A (zh) * | 2021-11-03 | 2022-02-08 | 四川启睿克科技有限公司 | 一种用于弧形金属表面缺陷检测的成像系统 |
| CN114018934B (zh) * | 2021-11-03 | 2023-11-03 | 四川启睿克科技有限公司 | 一种用于弧形金属表面缺陷检测的成像系统 |
| CN114092818A (zh) * | 2022-01-07 | 2022-02-25 | 中科视语(北京)科技有限公司 | 语义分割方法、装置、电子设备及存储介质 |
| CN114092818B (zh) * | 2022-01-07 | 2022-05-03 | 中科视语(北京)科技有限公司 | 语义分割方法、装置、电子设备及存储介质 |
| CN114397306A (zh) * | 2022-03-25 | 2022-04-26 | 南方电网数字电网研究院有限公司 | 一种电网均压环超复杂类别缺陷多阶段模型联合检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113344888A (zh) | 一种基于联合模型的表面缺陷检测方法及装置 | |
| Bergmann et al. | The MVTec anomaly detection dataset: a comprehensive real-world dataset for unsupervised anomaly detection | |
| Xing et al. | A convolutional neural network-based method for workpiece surface defect detection | |
| Liu et al. | Defect detection of injection molding products on small datasets using transfer learning | |
| JP2024509411A (ja) | 欠陥検出方法、装置及びシステム | |
| CN111340796B (zh) | 一种缺陷检测方法、装置、电子设备及存储介质 | |
| CN110648310A (zh) | 基于注意力机制的弱监督铸件缺陷识别方法 | |
| CN112381788A (zh) | 一种基于双分支匹配网络的零部件表面缺陷增量检测方法 | |
| WO2024002187A1 (zh) | 缺陷检测方法、缺陷检测设备及存储介质 | |
| CN112991344A (zh) | 基于深度迁移学习的检测方法、存储介质和检测系统 | |
| CN117103790A (zh) | 瓦楞纸板生产线及其控制方法 | |
| Li et al. | Electronic product surface defect detection based on a MSSD network | |
| CN111768380A (zh) | 一种工业零配件表面缺陷检测方法 | |
| CN114663687A (zh) | 模型训练方法、目标识别方法、装置、设备及存储介质 | |
| CN114998216A (zh) | 透明件表面缺陷快速检测方法及装置 | |
| Revathy et al. | Fabric defect detection and classification via deep learning-based improved Mask RCNN | |
| CN117437647A (zh) | 基于深度学习和计算机视觉的甲骨文字检测方法 | |
| CN116912144A (zh) | 一种基于大律算法与通道注意力机制的数据增强方法 | |
| CN116309343A (zh) | 一种基于深度学习的缺陷检测方法、装置和存储介质 | |
| CN116385353A (zh) | 一种摄像头模组异常检测方法 | |
| Gong et al. | Research on surface defects detection method and system in manufacturing processes based on the fusion of multi-scale features and semantic segmentation for intelligent manufacturing | |
| Mehta et al. | An Analysis of Fabric Defect Detection Techniques for Textile Industry Quality Control | |
| Wang | RETRACTED ARTICLE: Application of deep learning to detect defects on the surface of steel balls in an IoT environment | |
| Ding et al. | Cognitive visual inspection service for LCD manufacturing industry | |
| KR20220101373A (ko) | 영상 기반 pcb 결함 검출 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210903 |