CN114663658B - 一种具备跨域迁移能力的小样本aoi表面缺陷检测方法 - Google Patents
一种具备跨域迁移能力的小样本aoi表面缺陷检测方法 Download PDFInfo
- Publication number
- CN114663658B CN114663658B CN202210253629.1A CN202210253629A CN114663658B CN 114663658 B CN114663658 B CN 114663658B CN 202210253629 A CN202210253629 A CN 202210253629A CN 114663658 B CN114663658 B CN 114663658B
- Authority
- CN
- China
- Prior art keywords
- network
- domain
- semantic segmentation
- training
- cross
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 145
- 238000001514 detection method Methods 0.000 title claims abstract description 59
- 238000013508 migration Methods 0.000 title claims abstract description 28
- 230000005012 migration Effects 0.000 title claims abstract description 28
- 230000011218 segmentation Effects 0.000 claims abstract description 90
- 238000012549 training Methods 0.000 claims abstract description 58
- 238000000034 method Methods 0.000 claims abstract description 26
- 238000003062 neural network model Methods 0.000 claims abstract description 16
- 238000005286 illumination Methods 0.000 claims abstract description 14
- 238000004519 manufacturing process Methods 0.000 claims abstract description 8
- 238000011176 pooling Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 10
- 230000002950 deficient Effects 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000007689 inspection Methods 0.000 abstract description 10
- 230000006870 function Effects 0.000 description 15
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000013135 deep learning Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013526 transfer learning Methods 0.000 description 2
- 102100023774 Cold-inducible RNA-binding protein Human genes 0.000 description 1
- 101100001669 Emericella variicolor andD gene Proteins 0.000 description 1
- 101000906744 Homo sapiens Cold-inducible RNA-binding protein Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000004580 weight loss Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种具备跨域迁移能力的小样本AOI表面缺陷检测方法，包括如下步骤：采集表面缺陷样本图像，制作相应数据集；建立缺陷检测神经网络模型；对语义分割网络进行训练，对网络内的权重参数进行更新，直到网络的损失函数收敛；使用建立好的目标域表面缺陷数据集进一步训练语义分割网络，实现语义分割网络的跨域迁移，得到训练好的跨域语义分割网络；训练决策网络；将采集得到的目标域表面缺陷图像输入训练好的缺陷检测神经网络模型，得到缺陷检测结果，本发明在具有较大域差异的场景下实现了高速，高精度的跨域表面缺陷检测，能够解决目前的AOI工业质检设备易受光照影响，缺陷样本少，无法跨域迁移等问题。
Description
技术领域
本发明属于计算机视觉技术领域，具体涉及一种具备跨域迁移能力的小样本AOI表面缺陷检测方法。
背景技术
自动光学检测(Automatic Optical Inspection,AOI)是工业产品表面质量检测的一种重要方法。基于深度学习的表面缺陷检测方法因其强大的特征提取能力与跨域适应能力被广泛应用于AOI工业质检中。然而，由于在实际工业生产中缺陷样本的占比往往较少，因此基于深度学习的表面缺陷检测方法也存在较大的局限性。
为了在缺陷样本占比较少时提高深度学习算法在表面缺陷检测中的性能，文献Tabernik,D.,S.,/>J.,and />D.:‘Segmentation-based deep-learning approach for surface-defect detection’,Journal of IntelligentManufacturing,2020,31,(3),pp.759-776在前期工作的基础上提出了一种基于分割的表面检测方法。该方法依次训练一个分割网络和一个决策网络，实现表面缺陷的分割以及识别。文献Bozic,J.,Tabernik,D.,and Skocaj,D.:‘End-to-end training of a two-stageneural network for defect detection’在此基础上进一步研究了将分割网络和决策网络联合训练的方法，设计了端到端的表面缺陷检测网络训练方法。针对有缺陷样本在数据集中占比较少的特点，他们还提出了一种依据负样本使用频率进行采样的方法。此外，文献Kim,S.,Kim,W.,Noh,Y.-K.,and Park,F.C.:‘Transfer learning for automatedoptical inspection’将迁移学习用于AOI中，他们通过微调在ImageNet数据集上预训练的神经网络，在DAGM表面缺陷检测数据集上获得了较好的检测性能，给解决缺陷样本少，较难训练网络的问题提供了一种新的思路。
针对边缘缺陷不易识别的问题，文献Tabernik,D.,S.,/>J.,andD.:‘Segmentation-based deep-learning approach for surface-defectdetection’,Journal of Intelligent Manufacturing,2020,31,(3),pp.759-776对图像像素进行加权，突出缺陷区域。文献Staar,B.,Lütjen,M.,and Freitag,M.:‘Anomalydetection with convolutional neural networks for industrial surfaceinspection’,Procedia CIRP,2019,79,pp.484-489使用度量学习学习无缺陷样本，进而使用异常检测的方法检测表面缺陷。针对缺陷标注可用性差异的问题，文献/>J.,Tabernik,D.,and/>D.:‘Mixed supervision for surface-defect detection:From weakly to fully supervised learning’,Computers in Industry,2021,129,pp.103459进一步提出了一种基于混合监督的表面缺陷检测方法。
虽然深度学习极大的促进了表面检测领域的发展，但使用深度学习的表面缺陷检测依然存在不足。首先，基于深度学习的表面缺陷检测方法性能易受光照影响。其次，实际生产过程中缺陷样本较少，较难达到训练高性能神经网络所需的数据量。更重要的是，目前的表面缺陷检测模型无法实现跨域迁移，针对不同场景，需要训练不同的模型，模型的可重复使用性较低。这些问题都限制了深度学习在表面缺陷检测领域的进一步应用，给未来工业质量检测带来了新的挑战。
发明内容
针对基于深度学习的表面缺陷检测方法性能易受光照影响，实际生产过程中缺陷样本较少，较难达到训练高性能神经网络所需的数据量以及表面缺陷检测模型无法实现跨域迁移的问题，本发明提供了一种具备跨域迁移能力的小样本AOI表面缺陷检测方法，其在具有较大域差异的场景下实现了高速，高精度的跨域表面缺陷检测，能够解决目前的AOI工业质检设备易受光照影响，缺陷样本少，无法跨域迁移等问题。
本发明提供一种具备跨域迁移能力的小样本AOI表面缺陷检测方法，包括如下步骤：
S1，采集表面缺陷样本图像，制作相应缺陷数据集：所述缺陷数据集包括源域表面缺陷数据集和目标域表面缺陷数据集，源域表面缺陷数据集和目标域表面缺陷数据集具有较大的域差异；
S2，建立缺陷检测神经网络模型：所述缺陷检测神经网络模型包括语义分割网络和决策网络，所述缺陷检测神经网络模型通过进一步包括链接语义分割网络和决策网络的二值化层而得到增强，所述语义分割网络用于对缺陷图像进行分割，所述二值化层位于语义分割网络和决策网络之间，用于对分割结果进行二值化处理，所述决策网络用于根据二值化处理后的结果判断样本是否具有缺陷；
S3，训练语义分割网络:使用建立好的源域表面缺陷数据集对语义分割网络进行训练，对网络内的权重参数进行更新，直到网络的损失函数收敛，得到训练好的语义分割网络；
S4，网络的跨域迁移:固定语义分割网络的部分参数并放开其它参数，使用建立好的目标域表面缺陷数据集进一步训练语义分割网络，实现网络的跨域迁移，得到训练好的跨域语义分割网络；
S5，训练决策网络:使用建立好的目标域表面缺陷数据集训练决策网络；
S6，结果输出:将采集得到的目标域表面缺陷图像输入训练好的模型，得到缺陷检测结果。
作为本发明的进一步技术方案，所述步骤S1中的源域表面缺陷数据集与目标域表面缺陷数据集均包括样本以及其对应的缺陷标签、样本标签，所述缺陷标签指代每个像素点的类别，缺陷目标与背景的像素点采用不同标签；所述样本标签指代每个样本的类别，缺陷样本和普通样本采用不同标签。
进一步地，所述步骤S1中的源域表面缺陷数据集与目标域表面缺陷数据集之间的域差异可以为缺陷形状差异、样本光照差异、样本表面质地差异中的一种或多种。
进一步地，所述步骤S2中语义分割网络包括多个卷积层与池化层，所述池化层为最大池化、均匀池化中的任意一种。
进一步地，所述步骤S2中二值化层根据设定的阈值对语义分割网络输出的分割结果进行二值化处理，将分割结果中超过阈值的像素设置为最高亮度，将分割结果中低于阈值的像素设置为最低亮度。
进一步地，所述步骤S2中决策网络包括多个卷积层、池化层与全连接层及一个sigmoid输出层，所述池化层可以为最大池化、均匀池化中的任意一种。
进一步地，所述步骤S3和S4训练语义分割网络中，采用对像素加权的均方误差损失函数作为训练的损失函数，具体为：
其中，N为一个训练批次的样本数，yi为掩膜标签图像，为模型对输入样本xi的输出图像，W为对应图像不同像素点的权重矩阵，其中的权重wk定义为：
wk＝1如果像素k是缺陷像素，wk＝r如果像素k是背景像素；
所述训练包括两个阶段，第一阶段，设置0<r<1第二阶段，设置r>1；
进一步地，所述步骤S5训练决策网络的具体步骤中，
损失函数采用二值交叉损失函数，具体为：
进一步地，所述步骤S6中缺陷检测结果用语义分割网络的输出分类准确率表示。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1.本发明在语义分割网络和决策网络中间插入了一个二值化层，该二值化层能降低环境噪声并高亮划痕，减轻语义分割网络的负担。此外，该二值化层还能降低语义分割网络对运行设备的内存消耗，降低资源利用率。
2.本发明仅选用缺陷样本训练语义分割网络，并对缺陷样本进行图像增强，提高了缺陷特征的信息密度和总量，减轻了光照差异对训练结果的影响，较好的缓解了小样本学习过程中神经网络容易错误收敛的问题，同时使神经网络能较快达到较好的性能，能够有效的解决工业质检中缺陷样本少，检测结果易受光照影响，难以训练高性能神经网络的问题。
3.本发明研究设计了一种二阶段权重损失函数，该函数使得语义分割模型在训练的前期关注划痕特征的提取，在训练的后期关注图像的背景降噪，起到了解决小样本学习过程中神经网络容易错误收敛的问题，能够加速模型的训练，提高模型的分割准确率。
4.本发明将现有表面缺陷检测模型的语义分割网络与决策网络分离，通过对语义分割网络进行跨域迁移，解决了现有表面缺陷检测模型无法跨域迁移的问题。
附图说明
图1是缺陷检测神经网络结构示意图；
图2是语义分割网络结构示意图；
图3是决策网络结构示意图；
图4是语义分割网络的训练流程图；
图5是决策网络的训练流程图；
图6为源域原始输入图像与标签；
图7为目标域1原始输入图像与标签；
图8为目标域2原始输入图像与标签；
图9为源域输出图像。
具体实施方式
下面结合附图对本发明的技术方案做进一步详细说明。
本发明提供一种具备跨域迁移能力的小样本AOI表面缺陷检测方法，包括如下步骤：
S1:采集表面缺陷样本图像，制作相应缺陷数据集，所述缺陷数据集包括源域表面缺陷数据集和目标域表面缺陷数据集，所述源域表面缺陷数据集和目标域表面缺陷数据集具有较大的域差异；
S2:建立缺陷检测神经网络模型，所述缺陷检测神经网络模型包括语义分割网络和决策网络，所述缺陷检测神经网络模型通过进一步包括链接所述语义分割网络和所述决策网络的二值化层而得到增强，所述语义分割网络用于对缺陷图像进行分割，所述二值化层位于语义分割网络和决策网络之间，用于对分割结果进行二值化处理，所述决策网络用于根据二值化处理后的结果判断样本是否具有缺陷；
本实例中缺陷检测神经网络模型的结构具体如图1所示，其中语义分割网络如图2所示，由以下四个部分组成：
(1)由2个32通道3*3大小卷积核的卷积层和一个最大池化层组成的输入处理层(conv1)，用于对输入的产品表面图像进行预处理。
(2)由7个64通道3*3大小卷积核的卷积层和一个最大池化层组成的特征抽象层(conv2)，用于深度提取产品表面图像中抽象特征。
(3)由1个1024通道9*9大小卷积核的卷积层构成的划痕检测层(conv3)，对高度抽象的图像特征进行筛选和组合得到划痕的关键信息。
(4)由1个单通道1*1大小卷积核的卷积层构成的输出层(conv4)，用于重构出在划痕处高亮的语义分割图像，给出划痕所在的精确位置。
二值化层根据设定的阈值，将超过阈值的像素设置为最高亮度，将低于阈值的像素设置为最低亮度，起到环境降噪和划痕高亮的效果，减轻语义分割网络的负担。另外由于输出的语义分割图像只有黑白两种灰度值，大大降低了语义分割图像对运行设备的内存消耗。
本实例中缺陷检测神经网络模型的决策网络如图3所示，由以下五个部分组成：
(1)由1个32通道3*3大小卷积核的卷积层和一个最大池化层组成的输入处理层(Conv1)，用于对输入语义分割图像进行预处理。
(2)由2个64通道3*3大小卷积核的卷积层和一个最大池化层组成的特征抽象层(Conv2)，用于深度提取语义分割图像中划痕的抽象特征。
(3)将特征抽象层的输出展平成一维向量，作为全连接层的输入层(fc1)。
(4)由32个神经元组成的隐藏层(fc2)，用于汇总划痕信息。
(5)由一个sigmoid单元构成的输出层，输出产品表面存在划痕的概率。
S3:使用建立好的源域表面缺陷数据集对语义分割网络进行训练，对网络内的权重参数进行更新，直到网络的损失函数收敛，得到训练好的语义分割网络；
参照图4，训练语义分割网络的具体步骤为：
S31:在建立好的源域表面缺陷数据集中仅选择带有缺陷的样本构成语义分割网络训练集，所述语义分割网络训练集包括样本以及其对应的缺陷标签，样本标签，所述缺陷标签指代每个像素点的类别，缺陷目标与背景的像素点采用不同标签，所述样本标签指代每个样本的类别，缺陷样本和普通样本采用不同标签；
S32:采用图像增强技术扩充建立好的语义分割网络训练集，所述图像增强技术为图像的几何变换、图像的光照变换或使用人工神经网络改变图像风格，生成新图像中的任意一种或几种；
S33:使用步骤S32中扩充好的语义分割网络训练集训练语义分割网络和二值化层，对语义分割网络的权重参数进行更新，直到网络的损失函数收敛，得到训练好的语义分割网络，所述的训练分为两个阶段，采用对像素加权的均方误差损失函数作为训练的损失函数，具体为：
1:
2:其中N为一个训练批次的样本数，yi为掩膜标签图像，为模型对输入样本xi的输出图像，W为对应图像不同像素点的权重矩阵，其中的权重wk定义为：
3:wk＝1如果像素k是缺陷像素，wk＝r如果像素k是背景像素
在所述训练的第一阶段，设置0<r<1，使得网络更关注划痕的特征，在所述训练的第二阶段，设置r>1，使得网络更关注背景的特征；
S4:固定语义分割网络的部分参数并放开其它参数，使用建立好的目标域表面缺陷数据集进一步训练语义分割网络，实现网络的跨域迁移，得到训练好的跨域语义分割网络；
本实例中步骤S4中使用目标域表面缺陷数据集训练具备跨域能力的语义分割网络的具体步骤与S3相同；
S5:使用建立好的目标域表面缺陷数据集训练决策网络；
参照图5，训练决策网络的具体步骤为：
S51:在建立好的目标域表面缺陷数据集中按等比例选择带有缺陷的样本和正常样本构成决策网络训练集，所述决策网络训练集包括样本以及其对应的缺陷标签，样本标签，所述缺陷标签指代每个像素点的类别，缺陷目标与背景的像素点采用不同标签，所述样本标签指代每个样本的类别，缺陷样本和普通样本采用不同标签；
S52:采用图像增强技术扩充建立好的决策网络训练集，所述图像增强技术为图像的几何变换、图像的光照变换或使用人工神经网络改变图像风格，生成新图像中的任意一种或几种；
S53:使用步骤B2中扩充好的决策网络训练集训练决策网络，对决策网络的权重参数进行更新，直到网络的损失函数收敛，得到训练好的语义分割网络，所述损失函数采用二值交叉损失函数，具体为：
1:
本实例中将图6所示的源域原始图像输入到经过步骤S3到S5训练好的缺陷检测神经网络模型中，输入图像经过语义分割网络及二值化层后如图8所示；将图7所示的目标域原始图像输入到经过步骤S3到S5训练好的缺陷检测神经网络模型中，输入图像经过语义分割网络及二值化层后如图9所示。
结合上述方法过程，本发明涉及的缺陷检测神经网络模型的核心思路是首先使用语义分割网络对缺陷特征进行分割，接着使用决策网络判断样本是否存在缺陷。其中，本发明在语义分割网络和决策网络中间插入了一个二值化层，改二值化层能够有效的改善语义分割网络的训练效率。对于在光照差异较大及缺陷样本数量较少的情况下语义分割网络较难训练的问题，本发明采用了多种方法实现在光照差异较大及缺陷样本数量较少的情况下训练出高性能的语义分割网络，具体包括仅使用缺陷样本参与训练、采用图像增强的方式弥补光照差异、采用对像素加权的均方误差损失函数作为训练的损失函数。对于缺陷检测神经网络模型难以实现跨域迁移的问题，本发明采用目标域缺陷数据集进一步训练语义分割网络的方式实现语义分割网络的迁移，接着使用目标域缺陷数据集训练决策网络，实现在目标域上的高性能缺陷检测。总的来说，本发明在具有较大域差异的场景下实现了高速，高精度的表面缺陷检测，能够解决目前的AOI工业质检设备易受光照影响，缺陷样本少，无法跨域迁移等问题。
需要说明的是，以上内容仅仅说明了本发明的技术思想，不能以此限定本发明的保护范围，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰均落入本发明权利要求书的保护范围之内。
Claims (8)
1.一种具备跨域迁移能力的小样本AOI表面缺陷检测方法，其特征在于，包括如下步骤：
S1，采集表面缺陷样本图像，制作相应缺陷数据集：所述缺陷数据集包括源域表面缺陷数据集和目标域表面缺陷数据集，源域表面缺陷数据集和目标域表面缺陷数据集具有较大的域差异；
S2，建立缺陷检测神经网络模型：所述缺陷检测神经网络模型包括语义分割网络和决策网络，所述缺陷检测神经网络模型通过进一步包括链接语义分割网络和决策网络的二值化层而得到增强，所述语义分割网络用于对缺陷图像进行分割，所述二值化层位于语义分割网络和决策网络之间，用于对分割结果进行二值化处理，所述决策网络用于根据二值化处理后的结果判断样本是否具有缺陷；
S3，训练语义分割网络:使用建立好的源域表面缺陷数据集对语义分割网络进行训练，对网络内的权重参数进行更新，直到网络的损失函数收敛，得到训练好的语义分割网络；
S4，网络的跨域迁移:固定语义分割网络的部分参数并放开其它参数，使用建立好的目标域表面缺陷数据集进一步训练语义分割网络，实现网络的跨域迁移，得到训练好的跨域语义分割网络；训练语义分割网络中，采用对像素加权的均方误差损失函数作为训练的损失函数，具体为：
其中，N为一个训练批次的样本数，yi为掩膜标签图像，为模型对输入样本xi的输出图像，W为对应图像不同像素点的权重矩阵，其中的权重wk定义为：
wk＝1如果像素k是缺陷像素，wk＝r如果像素k是背景像素；
所述训练包括两个阶段，第一阶段，设置0<r<1；第二阶段，设置r>1；
S5，训练决策网络:使用建立好的目标域表面缺陷数据集训练决策网络；
S6，结果输出:将采集得到的目标域表面缺陷图像输入训练好的模型，得到缺陷检测结果。
2.根据权利要求1所述的一种具备跨域迁移能力的小样本AOI表面缺陷检测方法，其特征在于：步骤S1中的源域表面缺陷数据集与目标域表面缺陷数据集均包括样本以及其对应的缺陷标签、样本标签，所述缺陷标签指代每个像素点的类别，缺陷目标与背景的像素点采用不同标签；所述样本标签指代每个样本的类别，缺陷样本和普通样本采用不同标签。
3.根据权利要求1或2所述的一种具备跨域迁移能力的小样本AOI表面缺陷检测方法，其特征在于：步骤S1中的源域表面缺陷数据集与目标域表面缺陷数据集之间的域差异为缺陷形状差异、样本光照差异、样本表面质地差异中的一种或多种。
4.根据权利要求3所述的一种具备跨域迁移能力的小样本AOI表面缺陷检测方法，其特征在于：步骤S2中语义分割网络包括多个卷积层与池化层，所述池化层为最大池化、均匀池化中的任意一种。
5.根据权利要求4所述的一种具备跨域迁移能力的小样本AOI表面缺陷检测方法，其特征在于：步骤S2中二值化层根据设定的阈值对语义分割网络输出的分割结果进行二值化处理，将分割结果中超过阈值的像素设置为最高亮度，将分割结果中低于阈值的像素设置为最低亮度。
6.根据权利要求4所述的一种具备跨域迁移能力的小样本AOI表面缺陷检测方法，其特征在于：步骤S2中决策网络包括多个卷积层、池化层与全连接层及一个sigmoid输出层，所述池化层为最大池化、均匀池化中的任意一种。
7.根据权利要求6所述的一种具备跨域迁移能力的小样本AOI表面缺陷检测方法，其特征在于，步骤S5训练决策网络的具体步骤中，
其中损失函数采用二值交叉损失函数，具体为：
8.根据权利要求7所述的一种具备跨域迁移能力的小样本AOI表面缺陷检测方法，其特征在于，步骤S6中缺陷检测结果用语义分割网络的输出分类准确率表示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210253629.1A CN114663658B (zh) | 2022-03-15 | 2022-03-15 | 一种具备跨域迁移能力的小样本aoi表面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210253629.1A CN114663658B (zh) | 2022-03-15 | 2022-03-15 | 一种具备跨域迁移能力的小样本aoi表面缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114663658A CN114663658A (zh) | 2022-06-24 |
| CN114663658B true CN114663658B (zh) | 2024-06-04 |
Family
ID=82030034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210253629.1A Active CN114663658B (zh) | 2022-03-15 | 2022-03-15 | 一种具备跨域迁移能力的小样本aoi表面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114663658B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024113340A1 (zh) * | 2022-12-02 | 2024-06-06 | 上海成电福智科技有限公司 | 一种基于无监督迁移学习的零部件缺陷检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127429A (zh) * | 2019-12-24 | 2020-05-08 | 魏志康 | 基于自训练深度神经网络的水利系统管螺纹缺陷检测方法 |
| CN112950593A (zh) * | 2021-03-08 | 2021-06-11 | 南京航空航天大学 | 一种铁轨表面缺陷语义分割方法 |
| CN113344857A (zh) * | 2021-05-13 | 2021-09-03 | 深圳市华汉伟业科技有限公司 | 缺陷检测网络的训练方法、缺陷检测方法和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB201704373D0 (en) * | 2017-03-20 | 2017-05-03 | Rolls-Royce Ltd | Surface defect detection |
-
2022
- 2022-03-15 CN CN202210253629.1A patent/CN114663658B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111127429A (zh) * | 2019-12-24 | 2020-05-08 | 魏志康 | 基于自训练深度神经网络的水利系统管螺纹缺陷检测方法 |
| CN112950593A (zh) * | 2021-03-08 | 2021-06-11 | 南京航空航天大学 | 一种铁轨表面缺陷语义分割方法 |
| CN113344857A (zh) * | 2021-05-13 | 2021-09-03 | 深圳市华汉伟业科技有限公司 | 缺陷检测网络的训练方法、缺陷检测方法和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114663658A (zh) | 2022-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109255344B (zh) | 一种基于机器视觉的数显式仪表定位与读数识别方法 | |
| CN112561910B (zh) | 一种基于多尺度特征融合的工业表面缺陷检测方法 | |
| CN109684922B (zh) | 一种基于卷积神经网络的多模型对成品菜的识别方法 | |
| CN115082683A (zh) | 一种基于图像处理的注塑缺陷检测方法 | |
| WO2018052587A1 (en) | Method and system for cell image segmentation using multi-stage convolutional neural networks | |
| CN110070552B (zh) | 一种基于语义分割的岩石图像孔隙类型识别方法 | |
| CN107392919B (zh) | 基于自适应遗传算法的灰度阈值获取方法、图像分割方法 | |
| CN111652317B (zh) | 基于贝叶斯深度学习的超参数图像分割方法 | |
| CN111986125A (zh) | 一种用于多目标任务实例分割的方法 | |
| CN113888536B (zh) | 一种基于计算机视觉的印刷品重影检测方法及系统 | |
| CN116012291A (zh) | 工业零件图像缺陷检测方法及系统、电子设备和存储介质 | |
| Zhao et al. | Research on detection method for the leakage of underwater pipeline by YOLOv3 | |
| CN113256624A (zh) | 连铸圆坯缺陷检测方法、装置、电子设备及可读存储介质 | |
| CN110211127A (zh) | 基于双相关性网络的图像分割方法 | |
| CN111931572B (zh) | 一种遥感影像的目标检测方法 | |
| CN114663658B (zh) | 一种具备跨域迁移能力的小样本aoi表面缺陷检测方法 | |
| CN117152746A (zh) | 一种基于yolov5网络的宫颈细胞分类参数获取方法 | |
| CN115033721A (zh) | 基于大数据的图像检索方法 | |
| CN117522864B (zh) | 基于机器视觉的欧松板表面瑕疵检测方法 | |
| CN117067112B (zh) | 一种水切割机及其控制方法 | |
| CN117911437A (zh) | 一种改进YOLOv5x的荞麦籽粒粘连分割方法 | |
| CN116486273B (zh) | 一种小样本遥感图像水体信息提取方法 | |
| CN110349119B (zh) | 基于边缘检测神经网络的路面病害检测方法和装置 | |
| CN115100509B (zh) | 基于多分支块级注意力增强网络的图像识别方法及系统 | |
| CN116740572A (zh) | 一种基于改进yolox的海上船舰目标检测方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |