CN115631186B - 一种基于双分支神经网络的工业元件表面缺陷检测方法 - Google Patents
一种基于双分支神经网络的工业元件表面缺陷检测方法 Download PDFInfo
- Publication number
- CN115631186B CN115631186B CN202211393023.4A CN202211393023A CN115631186B CN 115631186 B CN115631186 B CN 115631186B CN 202211393023 A CN202211393023 A CN 202211393023A CN 115631186 B CN115631186 B CN 115631186B
- Authority
- CN
- China
- Prior art keywords
- defect
- branch
- image
- neural network
- double
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 156
- 238000001514 detection method Methods 0.000 title claims abstract description 39
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 34
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 26
- 230000011218 segmentation Effects 0.000 claims description 48
- 238000000034 method Methods 0.000 claims description 40
- 230000009466 transformation Effects 0.000 claims description 26
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 22
- 230000004927 fusion Effects 0.000 claims description 18
- 230000002950 deficient Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 6
- 241000282326 Felis catus Species 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000002779 inactivation Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000006978 adaptation Effects 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims 1
- 230000003321 amplification Effects 0.000 abstract description 2
- 238000003199 nucleic acid amplification method Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000003416 augmentation Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013434 data augmentation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 206010042618 Surgical procedure repeated Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004205 output neuron Anatomy 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
一种基于双分支神经网络的工业元件表面缺陷检测方法，涉及缺陷检测技术领域。本发明是为了解决工业元件表面缺陷检测任务所面临的图像分辨率高、缺陷面积小、缺陷样本数量少、现有算法适应能力弱的问题。本发明包括：获取待预测的工业元件图像，将待预测的工业元件图像输入到表面缺陷检测网络中获得缺陷检测结果；表面缺陷检测网络，通过以下方式获得：构建工业元件表面缺陷分类数据集；对缺陷分类数据集增广，增广结果作为训练集；构建双分支深度卷积神经网络，利用训练集训练双分支深度卷积神经网络获得表面缺陷检测网络。本发明用于检测工业元件的表面缺陷。
Description
技术领域
本发明涉及缺陷检测技术领域，特别涉及一种基于双分支神经网络的工业元件表面缺陷检测方法。
背景技术
在工业制造领域中，产品表面是否有缺陷是衡量产品是否满足工业质量要求的重要依据，因此工业元件表面缺陷检测成为工业元件生产流程的重要环节之一，对提高工业元件的良品率，改良生产工艺具有重要意义。
当前的表面缺陷自动检测方法主要依靠专家根据领域知识设计特征，无法直接从数据中学习提取特征进行缺陷检测，因此目前的表面缺陷检测算法还存在开发周期长、适应性差的缺点。同时，工业元件图像还存在由于分辨率高、缺陷面积小的特点带来的样本类别不均衡的问题，因此在应用现有的表面缺陷检测方法进行工业元件缺陷检测时还存在缺陷分割精度低、速度慢的问题，进而导致缺陷检测准确率低、效率低。
发明内容
本发明目的是为了解决现有的工业元件缺陷检测方法还存在缺陷分割精度低、速度慢的进而导致的缺陷检测准确率低、效率低的问题，而提出一种基于双分支神经网络的工业元件表面缺陷检测方法。
一种基于双分支神经网络的工业元件表面缺陷检测方法具体过程为：获取待预测的工业元件图像，将待预测的工业元件图像输入到表面缺陷检测网络中获得缺陷检测结果；
所述表面缺陷检测网络，通过以下方式获得：
步骤一、构建工业元件表面缺陷分类数据集；
步骤二、对步骤一构建的缺陷分类数据集进行增广，将增广后的缺陷分类数据集即为训练集；
步骤三、构建双分支深度卷积神经网络，并利用训练集训练双分支深度卷积神经网络，当训练迭代n次损失收敛后，获得训练好的双分支深度卷积神经网络即表面缺陷检测网络；
所述双分支深度卷积神经网络包括：主干网络、分类分支网络、分割分支网络；
所述主干网络用于提取图像特征，包括：两个卷积模块、一个最大池化层、一个特征融合模块；
所述卷积模块由三个卷积核尺寸为3x3的卷积层、BatchNorm层和Relu激活层依次堆叠而成；
所述特征融合模块包括三个特征融合分支和一个卷积核尺寸为1x1的卷积层；
所述特征融合模块中的每个特征融合分支包括：卷积核尺寸分为别1x1，3x3，5x5的卷积模块；
其中，卷积核尺寸分别为1x1，3x3，5x5的卷积模块即为卷积模块中的卷积层的卷积核尺寸分别为1x1，3x3，5x5；
所述分类分支网络用于将图像特征分为缺陷特征和正常特征，包括：一个全局平均池化层、两个全连接层；
所述分割分支网络用于根据缺陷特征将缺陷从图像中分割出来，包括：一个卷积核尺寸为3x3的卷积模块和一个卷积核尺寸为1x1的卷积层。
进一步地，所述步骤一中的构建工业元件表面缺陷分类数据集，包括以下步骤：
步骤一一、构建缺陷分割数据集：
获得有缺陷的工业元件图像，并对图像中的缺陷区域进行标注，获得缺陷图像及标签，所有的缺陷图像及标签构成缺陷分割数据集；
步骤一二、基于步骤一一获得的缺陷分割数据集构建缺陷分类数据集：
以w为窗口尺寸、s为步长在缺陷分割数据集中的缺陷图像及标签上同步滑动，将窗口区域内不包含缺陷像素的区域标记为正常图像，将窗口区域内包含缺陷像素的区域标记为缺陷区域图像，所有正常图像和缺陷区域图像构成缺陷分类数据集。
进一步地，所述步骤二中的对步骤一构建的缺陷分类数据集进行增广,包括以下步骤：
将分类数据集中的图像进行图像仿射变换、图像亮度变换、图像对比度变换、图像饱和度变换、图像色度变换、局部仿射变换；
所述图像仿射变换包括：旋转、平移、缩放。
进一步地，所述局部仿射变换具体为：
对缺陷分类数据集中的缺陷区域图像中缺陷外接矩形区域进行仿射变换，然后将仿射变换的区域放回缺陷区域图像原图中，获得局部仿射变换后的图像；
其中，将仿射变换的区域放回缺陷区域图像原图中拼接处产生的空白像素通过双线性插值算法进行像素值的填充。
进一步地，所述步骤三中的主干网络用于提取图像特征，如下式：
Fi×i(·)＝Repeat(Relu(BN(Convi×i(·))),3) (1)
Ffuse(·)＝Conv1×1(Cat([F1×1(·),F3×3(·),F5×5(·)],dim＝1)) (2)
Backbone(x)＝Ffuse(F3×3(MaxPool(F3×3(x)))) (3)
其中，Fi×i(·)代表卷积核尺寸为i×i的卷积模块，Convi×i(·)是i×i卷积，BN(·)是批归一化层，Relu(·)是ReLu激活层，Repeat(·,3)代表过程重复3次，Ffuse(·)是特征融合模块，Cat(·,dim＝1)代表在第一个维度进行特征拼接，MaxPool(·)是最大池化层，Backbone(x)是特征提取网络；其中i取1、3、5。
进一步地，所述步骤三中的分类分支网络前向传播过程，如下式：
Cls(x’)＝FC(Dropout(ReLU(FC(AdapativeAvgPool(x’))))) (4)
其中，Cls(x’)代表分类分支，FC(·)是全连接层，Droupout(·)是随机失活，AdapativeAvgPool(·)是全局平均池化，x’是主干网络提取的特征图。
进一步地，所述步骤三中的分割分支网络的前向传播过程，如下式：
Seg(x”)＝Conv1×1(F1×1(x”)) (5)
其中，Seg(x”)代表分割分支，F1×1(·)代表卷积核尺寸为1×1的卷积模块，Conv1×1(·)是1×1卷积。
进一步地，所述利用训练集训练双分支深度卷积神经网络，获得训练好的双分支深度卷积神经网络即表面缺陷检测网络；采用以下损失函数进行训练：
Loss＝Losscls+λLossseg (6)
其中，Loss是双分支深度卷积神经网络的损失函数，Losscls是分类损失，Lossseg是分割损失，λ是调和系数，N是训练集中样本个数，C是缺陷类别数，与/>是图像的标签与预测值，/>与/>是像素的标签与预测值，wc是类别权重。
进一步地，
其中，fc是当前样本缺陷类别像素的频率，median()为取中值。
进一步地，训练双分支深度卷积神经网络时采用随机梯度下降算法优化网络权重。
本发明的有益效果为：
本发明通过双分支端对端的网络结构设计提高了工业元件表面缺陷分割网络的检测速度，通过引入频率加权交叉熵损失函数解决了缺陷区域面积小带来的样本类别不均衡问题，提高了缺陷分割的精度，通过引入提出的局部仿射变换的图像增广方法，扩增了数据集的容量，缓解了工业元件表面缺陷检测所面临的小样本问题。本发明方法有效地提高工业元件表面缺陷分割的速度与精度，进而提高了缺陷检测准确率和效率。
附图说明
图1是数据扩增方法流程图；
图2是本发明的双分支模型的训练流程图；
图3是本发明的双分支模型的推理流程图；
图4是本发明的模型的推理效果图。
具体实施方式
具体实施方式一：本实施方式一种基于双分支神经网络的工业元件表面缺陷检测方法具体过程为：获取待预测的工业元件图像，将待预测的工业元件图像输入到表面缺陷检测网络中获得缺陷检测结果；
所述表面缺陷检测网络，通过以下方式获得：
步骤一、构建工业元件表面缺陷分类数据集，具体为：
步骤一一、构建工业元件表面缺陷分割数据集：
收集有缺陷的工业元件，并用500万像素的彩色CMOS相机拍摄其表面缺陷图像，用语义分割任务的标注工具对缺陷区域进行像素级标注，得到的缺陷图像及其标签构成了工业元件表面缺陷分割数据集；
步骤一二、基于步骤一一获得的缺陷分割数据集构建工业元件表面缺陷分类数据集：
在表面缺陷分割数据集的基础上，以w为窗口尺寸，s为步长，在工业元件缺陷图像及其标签上同步滑动窗口，当窗口区域标签不含缺陷像素时，将窗口图像标记为正常图像，当窗口区域标签包含缺陷像素时，将窗口图像记为缺陷区域图像，由此构建工业元件的表面缺陷分类数据集；
其中，设置w为(256，306)，s为(128，153)。
步骤二、对步骤一构建的缺陷分类数据集进行增广，并将增广后的缺陷分类数据集划分为训练集和测试集：
步骤二一、除了常规的图像仿射变换(旋转、平移、缩放)、图像亮度、对比度、饱和度、色度变换等数据增广方法外，本发明还提出了局部仿射增广方法；
所述局部仿射增广方法具体为：仅对缺陷的外接矩形图像区域进行小尺度的仿射变换，然后将变换后的区域图像放回原图，拼接处的空白像素通过双线性插值算法进行像素值的填充。
步骤二二、将增广后的缺陷分类数据集划分为训练集和测试集；
其中，划分数据集的比例根据经验确定；
步骤三、构建双分支深度卷积神经网络，并利用训练集训练双分支深度卷积神经网络，当训练迭代n次损失收敛后，获得训练好的双分支深度卷积神经网络，具体为：
步骤三一、构建双分支深度卷积神经网络：
所述双分支深度卷积神经网络包括：主干网络、分类分支网络、分割分支网络；
所述主干网络用于提取图像特征，包括：两个卷积模块、一个最大池化层、一个特征融合模块；
所述卷积模块由三个卷积核大小为3x3的卷积层、BatchNorm层和Relu激活层依次堆叠而成；
所述特征融合模块包含三个特征融合分支和一个卷积核尺寸为1x1的卷积层；
特征融合模块三个特征融合分支中的每个分支都包含一个卷积核尺寸分别为1x1，3x3，5x5的卷积模块，最后将这三个分支提取的特征在通道维度上拼接起来，通过一个1x1卷积进行融合；
所述主干网络，如下式：
Fi×i(·)＝Repeat(Relu(BN(Convi×i(·))),3) (1)
Ffuse(·)＝Conv1×1(Cat([F1×1(·),F3×3(·),F5×5(·)],dim＝1)) (2)
Backbone(x)＝Ffuse(F3×3(MaxPool(F3×3(x)))) (3)
其中，Fi×i(·)代表卷积核尺寸为i×i的卷积模块，Convi×i(·)是i×i卷积，BN(·)是批归一化层，Relu(·)是ReLu激活层，Repeat(·,3)代表过程重复3次。Ffuse(·)是特征融合模块，Cat(·,dim＝1)代表在第一个维度进行特征拼接。MaxPool(·)是最大池化层。整个特征提取网络用Backbone(x)表示，其前向传播过程如式(3)所示。
所述分类分支网络用于将图像特征分为缺陷特征和正常特征，包括：一个全局平均池化层和两个全连接层，最后一个全连接层的输出神经元的个数为分类的类别数2；
所述分割分支用于根据缺陷特征将缺陷从图像中分割出来获得缺陷掩码，包括：一个卷积核尺寸为3x3的卷积模块和一个1x1卷积层，其最后一层卷积的输出通道数为缺陷的类别数+1(背景类)。
所述分类分支的前向传播过程，如下式：
Cls(x’)＝FC(Dropout(ReLU(FC(AdapativeAvgPool(x’))))) (4)
所述分割分支的前向传播过程，如下式：
Seg(x”)＝Conv1×1(F1×1(x”)) (5)
其中，Cls(x”)代表分类分支，FC(·)是全连接层，Droupout(·)是随机失活，AdapativeAvgPool(·)是全局平均池化，Seg(x”)代表分割分支。
步骤三二、利用训练集训练双分支深度卷积神经网络，采用以下损失函数：
双分支模型的损失函数由两部分构成，分别是分类损失和分割损失，如式(6)-(8)所示。
Loss＝Losscls+λLossseg (6)
其中，Loss是双分支深度卷积神经网络的损失函数，Losscls是分类损失，Lossseg是分割损失，λ是调和系数，N是训练集中样本个数，C是缺陷类别数，是第n个样本缺陷类别c的标签，/>是第n个样本缺陷类别c的预测值。/>对于分类任务来说是图像的标签与预测值，对于分割任务来说是像素的标签与预测值。wc是类别权重，定义如式(9)所示，为所有类别像素频率的中值比上当前类别像素的频率，fc是当前样本缺陷类别像素的频率；
首先我们将优化器的动量设置为0.9，权重衰减系数设置为0.0001，初始学习率设置为0.001，并在40k次迭代后衰减到0.0005。我们使用随机梯度下降算法优化模型权重。我们将调和系数λ设为3.0，训练时同时喂给网络正常和缺陷样本图像提取特征，分类损失的计算包含正常和缺陷两部分，但是分割损失的计算只包含缺陷样本，因此主干网络提取的特征在传入分割分支之前需要先根据分类标签将正常样本的特征去掉后再传入分割分支。
当迭代40k次后损失收敛，停止训练，得到训练好的双分支表面缺陷检测模型。
步骤四、利用测试集测试训练好的双分支深度卷积神经网络：
在用训练好的模型进行推理时，首先将拍摄的工业元件表面图像平分成64个图像块，然后将这些图像块打包成一个批次输入双分支网络，主干网络提取的特征先送入分类分支进行预测，对图像块是否含有缺陷进行分类，根据分类结果筛选出包含缺陷的图像块对应的特征送入分割分支进行预测，得到对应图像块的缺陷掩码。综合考虑分类分支与分割分支的预测结果就可得到原始工业元件表面图像的缺陷分割预测结果。
实施例：
采用如图1所示的数据增广方法扩充工业元件表面缺陷分割数据集，其中本发明提出的局部小尺度仿射变换和双线性插值方法用于改变图像中缺陷的形状，有利于提高数据集中缺陷形态的多样性，从而提高模型的泛化性能。采用图2所示的训练流程训练双分支网络模型，其中分类分支与分割分支同时进行训练，注意分割损失的计算只针对含有缺陷的图像块样本。训练好的模型采用图3所示的流程进行推理，训练中我们采用真值标签对缺陷样本的特征进行筛选，推理时没有真值标签，我们采用分类分支的预测结果筛选出异常样本对应的特征送入分割分支进行缺陷的分割，最后综合考虑分类分支和分割分支的结果就可得到原图的缺陷分割预测结果。图4从左到右依次为工业元件原图、分类定位示意图和分割结果图。表1所示为本发明方法在工业元件表面缺陷分割测试集上的评估指标，通过与U-Net整图分割的对比实验，可以发现本发明提出的双分支网络模型通过先分类再分割的渐进式缺陷分割方法可以快速而准确地对工业元件的表面缺陷进行分割预测。
表1双分支模型在缺陷分割测试集上的评估指标
根据以上试验进一步验证了本发明方法适用于工业元件的表面缺陷分割。
虽然在本发明中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其它所述实施例中。
Claims (8)
1.一种基于双分支神经网络的工业元件表面缺陷检测方法，其特征在于所述方法的具体过程为：获取待预测的工业元件图像，将待预测的工业元件图像输入到表面缺陷检测网络中获得缺陷检测结果；
所述表面缺陷检测网络，通过以下方式获得：
步骤一、构建工业元件表面缺陷分类数据集；
步骤二、对步骤一构建的缺陷分类数据集进行增广，增广后的缺陷分类数据集即为训练集；
对步骤一构建的缺陷分类数据集进行增广,包括以下步骤：
将分类数据集中的图像进行图像仿射变换、图像亮度变换、图像对比度变换、图像饱和度变换、图像色度变换、局部仿射变换；
所述图像仿射变换包括：旋转、平移、缩放；
所述局部仿射变换具体为：
对缺陷分类数据集中的缺陷区域图像中缺陷外接矩形区域进行仿射变换，然后将仿射变换后的外接矩形区域放回缺陷区域图像中，获得局部仿射变换后的图像；
其中，将仿射变换后的外接矩形区域放回缺陷区域图像中，拼接处产生的空白像素通过双线性插值算法进行像素值的填充；
步骤三、构建双分支深度卷积神经网络，并利用训练集训练双分支深度卷积神经网络，当训练迭代40k次损失收敛后，获得训练好的双分支深度卷积神经网络即表面缺陷检测网络；
所述双分支深度卷积神经网络包括：主干网络、分类分支网络、分割分支网络；
所述主干网络用于提取图像特征，包括：两个卷积模块、一个最大池化层、一个特征融合模块；
所述卷积模块由三个卷积核尺寸为3x3的卷积层、BatchNorm层和Relu激活层依次堆叠而成；
所述特征融合模块包括三个特征融合分支和一个卷积核尺寸为1x1的卷积层；
所述特征融合模块中的每个特征融合分支包括：卷积核尺寸分为别1x1，3x3，5x5的卷积模块；
其中，卷积核尺寸分别为1x1，3x3，5x5的含义为卷积模块中的卷积层的卷积核尺寸分别为1x1，3x3，5x5；
所述分类分支网络用于将图像特征分为缺陷特征和正常特征，包括：一个全局平均池化层、两个全连接层；
所述分割分支网络用于根据缺陷特征将缺陷从图像中分割出来，包括：一个卷积核尺寸为3x3的卷积模块和一个卷积核尺寸为1x1的卷积层；
其中，卷积核尺寸为1x1的卷积层输出通道数为缺陷类别数+1。
2.根据权利要求1所述的一种基于双分支神经网络的工业元件表面缺陷检测方法，其特征在于：所述步骤一中的构建工业元件表面缺陷分类数据集，包括以下步骤：
步骤一一、构建缺陷分割数据集：
获得有缺陷的工业元件图像，并对图像中的缺陷区域进行标注，获得缺陷图像及标签，所有的缺陷图像及标签构成缺陷分割数据集；
步骤一二、基于步骤一一获得的缺陷分割数据集构建缺陷分类数据集：
以w为窗口尺寸、s为步长在缺陷分割数据集中的缺陷图像及标签上同步滑动，将窗口区域内不包含缺陷像素的区域标记为正常图像，将窗口区域内包含缺陷像素的区域标记为缺陷区域图像，所有正常图像和缺陷区域图像构成缺陷分类数据集。
3.根据权利要求2所述的一种基于双分支神经网络的工业元件表面缺陷检测方法，其特征在于：所述步骤三中的主干网络用于提取图像特征，如下式：
Fi×i(·)＝Repeat(Relu(BN(Convi×i(·)))，3) (1)
Ffuse(·)＝Conv1×1(Cat([F1×1(·)，F3×3(·)，F5×5(·)]，dim＝1)) (2)
Backbone(x)＝Ffuse(F3×3(MaxPool(F3×3(x)))) (3)
其中，Fi×i(·)代表卷积核尺寸为i×i的卷积模块，Convi×i(·)是i×i卷积，BN(·)是批归一化层，Relu(·)是ReLu激活层，Repeat(·，3)代表过程重复3次，Ffuse(·)是特征融合模块，Cat(·，dim＝1)代表在第一个维度进行特征拼接，MaxPool(·)是最大池化层，Backbone(x)是特征提取网络；其中i取1、3、5。
4.根据权利要求3所述的一种基于双分支神经网络的工业元件表面缺陷检测方法，其特征在于：所述步骤三中的分类分支网络前向传播过程，如下式：
Cls(x’)＝FC(Dropout(ReLU(FC(AdapativeAvgPool(x’))))) (4)
其中，Cls(x’)代表分类分支，FC(·)是全连接层，Droupout(·)是随机失活，AdapativeAvgPool(·)是全局平均池化，x′是主干网络提取的特征图。
5.根据权利要求4所述的一种基于双分支神经网络的工业元件表面缺陷检测方法，其特征在于：所述步骤三中的分割分支网络的前向传播过程，如下式：
Seg(x”)＝Conv1×1(F1×1(x”)) (5)
其中，Seg(x”)代表分割分支，F1×1(·)代表卷积核尺寸为1×1的卷积模块，Conv1×1(·)是1×1卷积。
6.根据权利要求5所述的一种基于双分支神经网络的工业元件表面缺陷检测方法，其特征在于：所述利用训练集训练双分支深度卷积神经网络，获得训练好的双分支深度卷积神经网络即表面缺陷检测网络；采用以下损失函数进行训练：
Loss＝Losscls+λLossseg (6)
其中，Loss是双分支深度卷积神经网络的损失函数，Losscls是分类损失，Lossseg是分割损失，λ是调和系数，N是训练集中样本个数，C是缺陷类别数，与/>是图像的标签与预测值，/>与/>是像素的标签与预测值，wc是类别权重。
7.根据权利要求6所述的一种基于双分支神经网络的工业元件表面缺陷检测方法，其特征在于：
其中，fc是当前样本缺陷类别像素的频率，median()为取中值。
8.根据权利要求7所述的一种基于双分支神经网络的工业元件表面缺陷检测方法，其特征在于：训练双分支深度卷积神经网络时采用随机梯度下降算法优化网络权重。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211393023.4A CN115631186B (zh) | 2022-11-08 | 2022-11-08 | 一种基于双分支神经网络的工业元件表面缺陷检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211393023.4A CN115631186B (zh) | 2022-11-08 | 2022-11-08 | 一种基于双分支神经网络的工业元件表面缺陷检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115631186A CN115631186A (zh) | 2023-01-20 |
| CN115631186B true CN115631186B (zh) | 2023-10-03 |
Family
ID=84909479
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211393023.4A Active CN115631186B (zh) | 2022-11-08 | 2022-11-08 | 一种基于双分支神经网络的工业元件表面缺陷检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115631186B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116721071A (zh) * | 2023-06-05 | 2023-09-08 | 南京邮电大学 | 一种基于弱监督的工业产品表面缺陷检测方法及装置 |
| CN116664846B (zh) * | 2023-07-31 | 2023-10-13 | 华东交通大学 | 基于语义分割实现3d打印桥面施工质量监测方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112561910A (zh) * | 2020-12-28 | 2021-03-26 | 中山大学 | 一种基于多尺度特征融合的工业表面缺陷检测方法 |
| CN113643268A (zh) * | 2021-08-23 | 2021-11-12 | 四川大学 | 基于深度学习的工业制品缺陷质检方法、装置及存储介质 |
| WO2022120665A1 (zh) * | 2020-12-09 | 2022-06-16 | 电子科技大学 | 一种基于深度学习的电容缺陷智能检测方法 |
| WO2022127919A1 (zh) * | 2020-12-17 | 2022-06-23 | 杭州海康威视数字技术股份有限公司 | 表面缺陷检测方法、装置、系统、存储介质及程序产品 |
| CN115222780A (zh) * | 2022-07-28 | 2022-10-21 | 西安电子科技大学 | 基于语义掩膜的跨模态大形变图像配准方法 |
| CN115294038A (zh) * | 2022-07-25 | 2022-11-04 | 河北工业大学 | 一种基于联合优化与混合注意力特征融合的缺陷检测方法 |
-
2022
- 2022-11-08 CN CN202211393023.4A patent/CN115631186B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022120665A1 (zh) * | 2020-12-09 | 2022-06-16 | 电子科技大学 | 一种基于深度学习的电容缺陷智能检测方法 |
| WO2022127919A1 (zh) * | 2020-12-17 | 2022-06-23 | 杭州海康威视数字技术股份有限公司 | 表面缺陷检测方法、装置、系统、存储介质及程序产品 |
| CN112561910A (zh) * | 2020-12-28 | 2021-03-26 | 中山大学 | 一种基于多尺度特征融合的工业表面缺陷检测方法 |
| CN113643268A (zh) * | 2021-08-23 | 2021-11-12 | 四川大学 | 基于深度学习的工业制品缺陷质检方法、装置及存储介质 |
| CN115294038A (zh) * | 2022-07-25 | 2022-11-04 | 河北工业大学 | 一种基于联合优化与混合注意力特征融合的缺陷检测方法 |
| CN115222780A (zh) * | 2022-07-28 | 2022-10-21 | 西安电子科技大学 | 基于语义掩膜的跨模态大形变图像配准方法 |
Non-Patent Citations (4)
| Title |
|---|
| Segmentation-Based Deep-Learning Approach for Surface-Defect Detection;Domen Tabernik et al.;《arXiv:1903.08536v3》;第1-17页 * |
| Surface Defect Detection in Sanitary Ceramics Based on Lightweight Object Detection Network;JINGFAN HANG et al.,;《IEEE Open Journal of the Industrial Electronics Society》;第3卷;第473-483页 * |
| 基于图像块分配的鲁棒模板匹配方法;张智浩 等;《2020中国自动化大会(CAC2020)论文集》;第1-6页 * |
| 基于深度学习的烧伤创面图像自动分割与分类技术研究;刘昊;《万方》;第1-76页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115631186A (zh) | 2023-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115631186B (zh) | 一种基于双分支神经网络的工业元件表面缺陷检测方法 | |
| CN111507990B (zh) | 一种基于深度学习的隧道表面缺陷分割方法 | |
| CN109285139A (zh) | 一种基于深度学习的x射线成像焊缝检测方法 | |
| CN110533086B (zh) | 图像数据半自动标注方法 | |
| CN113643268B (zh) | 基于深度学习的工业制品缺陷质检方法、装置及存储介质 | |
| CN111428556B (zh) | 一种基于胶囊神经网络的交通标志识别方法 | |
| CN112488025B (zh) | 基于多模态特征融合的双时相遥感影像语义变化检测方法 | |
| CN112381763A (zh) | 一种表面缺陷检测方法 | |
| CN112529005B (zh) | 基于语义特征一致性监督金字塔网络的目标检测方法 | |
| CN111476307B (zh) | 一种基于深度领域适应的锂电池表面缺陷检测方法 | |
| CN112613428B (zh) | 基于平衡损失的Resnet-3D卷积牛视频目标检测方法 | |
| CN113034483A (zh) | 基于深度迁移学习的烟支缺陷检测方法 | |
| CN111985325A (zh) | 特高压环境评价中的航拍小目标快速识别方法 | |
| CN115861281A (zh) | 一种基于多尺度特征的免锚框表面缺陷检测方法 | |
| CN112819748A (zh) | 一种带钢表面缺陷识别模型的训练方法及装置 | |
| CN116012291A (zh) | 工业零件图像缺陷检测方法及系统、电子设备和存储介质 | |
| CN115410059A (zh) | 基于对比损失的遥感图像部分监督变化检测方法及设备 | |
| CN113077438B (zh) | 针对多细胞核彩色图像的细胞核区域提取方法及成像方法 | |
| CN113962980A (zh) | 基于改进yolov5x的玻璃容器瑕疵检测方法及系统 | |
| CN114549489A (zh) | 一种面向雕花口红质检的实例分割缺陷检测方法 | |
| CN116958073A (zh) | 基于注意力特征金字塔机制的小样本钢材缺陷检测方法 | |
| CN114596244A (zh) | 基于视觉处理和多特征融合的红外图像识别方法及系统 | |
| CN116721291A (zh) | 基于改进YOLOv7模型的金属表面缺陷检测方法 | |
| CN113724233B (zh) | 基于融合数据生成和迁移学习技术的变电设备外观图像缺陷检测方法 | |
| CN113269786B (zh) | 基于深度学习和引导滤波的装配体图像分割方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |