CN115082386A - 基于正常样本辅助特征提取的注塑件瑕疵检测方法、装置及介质 - Google Patents
基于正常样本辅助特征提取的注塑件瑕疵检测方法、装置及介质 Download PDFInfo
- Publication number
- CN115082386A CN115082386A CN202210632336.4A CN202210632336A CN115082386A CN 115082386 A CN115082386 A CN 115082386A CN 202210632336 A CN202210632336 A CN 202210632336A CN 115082386 A CN115082386 A CN 115082386A
- Authority
- CN
- China
- Prior art keywords
- flaw
- network
- feature extraction
- feature
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 184
- 238000001746 injection moulding Methods 0.000 title claims abstract description 68
- 238000001514 detection method Methods 0.000 title claims abstract description 36
- 230000007547 defect Effects 0.000 claims abstract description 104
- 230000002950 deficient Effects 0.000 claims abstract description 88
- 238000012549 training Methods 0.000 claims abstract description 64
- 230000004927 fusion Effects 0.000 claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000010586 diagram Methods 0.000 claims description 16
- 238000007781 pre-processing Methods 0.000 claims description 15
- 238000011176 pooling Methods 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 4
- 241000764238 Isis Species 0.000 claims description 3
- 238000003860 storage Methods 0.000 abstract description 18
- 238000002360 preparation method Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 27
- 238000013135 deep learning Methods 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 238000011161 development Methods 0.000 description 5
- 238000002347 injection Methods 0.000 description 4
- 239000007924 injection Substances 0.000 description 4
- 239000000243 solution Substances 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- UFHFLCQGNIYNRP-UHFFFAOYSA-N Hydrogen Chemical compound [H][H] UFHFLCQGNIYNRP-UHFFFAOYSA-N 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000003642 hunger Nutrition 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000012778 molding material Substances 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000037351 starvation Effects 0.000 description 1
- 238000004381 surface treatment Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Quality & Reliability (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明公开了一种基于正常样本辅助特征提取的注塑件瑕疵检测方法、装置、计算机设备和存储介质，该方法包括：获取训练数据集，构建网络模型；利用网络模型对训练数据集中有瑕疵图像和无瑕疵图像进行特征提取，得到瑕疵样本特征和正常样本特征；进而对两者进行特征融合，得到不同尺度的融合特征图；然后对融合特征图进行处理，生成瑕疵候选框；最后对瑕疵候选框进行瑕疵特征识别，得到预测结果；根据预测结果和训练数据集中人工标注的瑕疵信息，训练网络模型；将待测的注塑件图像输入训练好的网络模型，完成瑕疵的检测与分类。本发明能够提取注塑件图像中精确的瑕疵区域特征，获得准确的瑕疵类型识别与目标位置，为注塑机制备工艺提供指导性意见。
Description
技术领域
本发明涉及深度学习应用技术领域，具体涉及一种基于正常样本辅助特征提取的注塑件瑕疵检测方法、装置、计算机设备和存储介质。
背景技术
随着现代工业制造能力的不断进步，以注塑成型为主要生产方式的塑料注塑件被广泛的使用。注塑件的外观品质往往受到注塑材料、注塑成型机以及成型环境等多种因素的影响，从而产生各种各样的瑕疵，如缺料、缩水和气泡等。这些不良缺陷都可能会使注塑产品在使用过程中出现问题，从而给生产带来极大的浪费，既影响了生产效率，也增加了产品的成本。因此，必须对注塑件进行外观缺陷检测。
现阶段市场中的注塑件的瑕疵检测都是依靠人工进行操作，工作强度大，且检测稳定性难以保证。因此，迫切需要在注塑件生产过程中提高对注塑件的瑕疵检测能力，进而可以对制作工艺进行预警与改进，提升注塑件的产品品质。
近年来，人工智能领域已经被提到国家重点建设的范围。这预示着人工智能与制作工业的结合是我国朝着智能化方向发展的必然趋势，对推动行业朝智能化、自动化方面发展具有重要意义。人工智能领域中最主要的是针对不同的行业任务，设计相应的深度学习网络模型。随着计算机算力的提高，网络训练的难度大大减低，网络预测精度也在不断提高。对于注塑件的多种瑕疵类型检测识别问题，其关键是如何提取瑕疵区域的特征，以满足瑕疵的位置检测与类型识别的需要。目前亟待针对这一问题，设计相应合理的深度学习网络框架，利用高性能的计算机处理能力对网络进行训练，实现不同类型瑕疵的检测与分类。
发明内容
为了解决上述现有技术的不足，本发明提供了一种基于正常样本辅助特征提取的注塑件瑕疵检测方法、装置、计算机设备及存储介质，用深度学习网络框架设计网络模型，进而对不同类别的瑕疵特征进行提取，实现对不同类型瑕疵的检测与分类。
本发明的第一个目的在于提供一种基于正常样本辅助特征提取的注塑件瑕疵检测方法。
本发明的第二个目的在于提供一种基于正常样本辅助特征提取的注塑件瑕疵检测装置。
本发明的第三个目的在于提供一种计算机设备。
本发明的第四个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
一种基于正常样本辅助特征提取的注塑件瑕疵检测方法，所述方法包括：
获取训练数据集，所述训练数据集包括正常样本数据集和瑕疵样本数据集；
构建网络模型，所述网络模型包括瑕疵样本特征提取子网络、正常样本特征提取子网络、特征金字塔子网络、区域生成子网络和瑕疵分类子网络；其中，利用所述瑕疵样本特征提取子网络对所述瑕疵样本数据集中的有瑕疵图像进行特征提取，得到瑕疵样本特征；利用所述正常样本特征提取子网络对所述正常样本数据集中的无瑕疵图像进行特征提取，得到正常样本特征；利用所述特征金字塔子网络对所述瑕疵样本特征与所述正常样本特征进行特征融合，得到多张不同尺度的融合特征图；利用所述区域生成子网络对所述融合特征图进行处理，生成瑕疵目标候选框集合；利用所述瑕疵分类子网络对所述瑕疵目标候选框集合中的瑕疵特征进行识别，得到所述网络模型的预测结果；
根据所述预测结果和所述瑕疵样本数据集中的人工标注的瑕疵信息，优化所述网络模型的损失函数，得到训练好的网络模型；
将待测的注塑件图像输入所述训练好的网络模型，完成瑕疵的检测与分类。
进一步的，所述瑕疵样本特征包括四个不同尺寸的特征图，分别为所述瑕疵样本特征提取子网络中第二个特征提取层到第五个特征提取层输出的特征图；
所述正常样本特征包括所述正常样本特征提取子网络中第四个特征提取层与第五个特征提取层输出的特征图f4′、f5′；
所述利用所述特征金字塔子网络对所述瑕疵样本特征与所述正常样本特征进行特征融合，得到多张不同尺度的融合特征图，包括：
将所述瑕疵样本特征提取子网络中第四、五个特征提取层输出的特征图f4、f5，分别与所述特征图f4′、f5′按元素相减，得到差异特征图f4″、f5″；
将所述瑕疵特征提取子网络中第二、三特征提取层输出的特征图f2、f3与所述差异特征f4″、f5″输入所述特征金字塔子网络，所述特征金字塔子网络对f2、f3、f4″、f5″进行特征融合，输出多张不同尺度的特征图，作为融合特征图；其中，所述特征金字塔子网络包括多个上采样操作层。
进一步的，所述区域生成子网络包括预处理层、先验框二分类层以及先验框位置调整层；
所述利用所述区域生成子网络对所述融合特征图进行处理，生成瑕疵目标候选框集合，包括：
将所述融合特征图依次输入所述预处理层，所述预处理层根据所述融合特征图的尺寸相应地生成不同尺寸的先验框，用于粗略检测瑕疵目标的位置；其中，所述融合特征图包括多张特征图；
将所述先验框输入所述先验框二分类层，生成先验框的置信度；
将所述先验框输入所述先验框位置调整层，生成先验框的偏移量；
根据所述置信度，挑选出置信度较高的先验框；根据所述偏移量对置信度较高的先验框进行位置偏差调整，输出瑕疵目标候选框集合。
进一步的，所述瑕疵分类子网络包括瑕疵特征处理模块、瑕疵分类模块和候选框调整模块；
所述利用所述瑕疵分类子网络对所述瑕疵目标候选框集合中的瑕疵特征进行识别，得到所述网络模型的预测结果，包括：
将所述瑕疵目标候选框集合中任一瑕疵目标候选框对应到所述特征金字塔子网络输出的融合特征图上，将对应的融合特征图和所述瑕疵目标候选框经过ROI Pooling操作后，得到瑕疵特征图；将所述瑕疵特征图输入所述瑕疵特征处理模块；
将所述瑕疵特征处理模块的输出特征输入所述瑕疵分类模块，用于对所述瑕疵目标候选框进行分类，得到瑕疵的类别；
将所述瑕疵特征处理模块的输出特征输入所述候选框调整模块，生成瑕疵目标候选框的偏移量，用于对所述瑕疵目标候选框的位置进行调整，得到优化后的瑕疵位置。
进一步的，所述根据所述预测结果和所述瑕疵样本数据集中的人工标注的瑕疵信息，优化所述网络模型的损失函数，得到训练好的网络模型，包括：
利用所述正常样本训练集与瑕疵样本训练集对所述正常样本特征提取子网络进行训练，得到训练好的正常样本特征提取子网络；其中，损失函数为交叉熵损失函数，所述正常样本特征提取子网络包括分类层；
将所述训练好的正常样本特征提取子网络导入至所述网络模型中，利用所述正常样本训练集与瑕疵样本训练集对所述网络模型进行训练，根据所述预测结果和所述瑕疵信息，通过优化所述区域生成子网络的损失函数和所述瑕疵分类子网络的损失函数，从而实现网络模型的收敛，得到训练好的网络模型。
进一步的，所述预测结果包括瑕疵的类别和位置；
所述区域生成子网络的损失函数为：
其中，pi为先验框i的置信度，
为先验框i的标签，其值为1或0，是通过计算先验框i与所述瑕疵信息中的瑕疵位置的交并比得出；若
为1，则ti为先验框i的偏移量，
为先验框i与所述瑕疵信息中的瑕疵位置的偏移量；Nrpn_cls为先验框中被标记为1和0的先验框的总数，Nrpn_reg为先验框中被标记为1的先验框的总数，λ为权重参量；分类损失Lrpn_cls使用交叉熵损失函数，回归损失Lrpn_reg使用Smooth L1 Loss，即：
所述瑕疵分类子网络的损失函数为：
其中，pk为网络预测的瑕疵目标候选框k的类别，
为该瑕疵目标候选框对应的瑕疵类别标签，tk为网络预测的瑕疵目标候选框k的偏移量，
为该瑕疵目标候选框与所述瑕疵信息中的瑕疵位置的真实偏移量；N为瑕疵目标候选框总数；分类损失Lide_cls使用交叉熵损失函数，回归损失Lide_reg使用Smooth L1 Loss。
进一步的，所述瑕疵样本特征提取子网络包括5个特征提取层，采用Resnet101网络结构，每个特征提取层的结构不同并依次连接；
所述利用所述瑕疵样本特征提取子网络对所述瑕疵样本数据集中的有瑕疵图像进行特征提取，得到瑕疵样本特征，包括：
将所述瑕疵样本数据集中的有瑕疵图像输入第一个特征提取层，将第一个特征提取层输出的特征图依次经过后面的四个特征提取层；
将第二个特征提取层到第五个特征提取层输出的包含瑕疵特征与背景特征的不同尺寸的特征图作为瑕疵样本特征。
进一步的，所述正常样本特征提取子网络包括5个特征提取层，采用Resnet101网络结构，每个特征提取层的结构不同并依次连接；
所述利用所述正常样本特征提取子网络对所述正常样本数据集中的无瑕疵图像进行特征提取，得到正常样本特征，包括：
将所述正常样本数据集中的无瑕疵图像输入第一个特征提取层，将第一个特征提取层输出的特征图依次经过后面的四个特征提取层；
将第四个特征提取层与第五个特征提取层输出的包含背景信息的不同尺寸的特征图作为正常样本特征。
进一步的，所述将待测的注塑件图像输入所述训练好的网络模型，完成瑕疵的检测与分类，包括：
将待测的注塑件图像输入所述训练好的网络模型中的正常样本特征提取子网络，根据输出结果判断是否存在瑕疵；
若存在，则将待测的注塑件图像输入所述训练好的网络模型中的瑕疵特征提取子网络，并在正常样本特征提取子网络输入预存的无瑕疵样本图像；
根据所述训练好的网络模型输出的预测结果，完成瑕疵图像中瑕疵的检测与分类。
进一步的，所述获取训练数据集，包括：
在同一光照、同一背景下拍摄具有明显瑕疵特征的注塑件图像俯视图以及无瑕疵特征的注塑件图像俯视图；
对每一张具有明显瑕疵特征的注塑件图像俯视图，人工标注瑕疵信息，将所述具有明显瑕疵特征的注塑件图像俯视图作为有瑕疵图像，所有有瑕疵图像构成瑕疵样本数据集；其中，所述瑕疵信息包括瑕疵位置与类别；
将所述无瑕疵特征的注塑件图像俯视图作为无瑕疵图像，所有无瑕疵图像构成正常样本数据集；
所述瑕疵样本数据集和所述正常样本数据集构成训练数据集。
本发明的第二个目的可以通过采取如下技术方案达到：
一种基于正常样本辅助特征提取的注塑件瑕疵检测装置，所述装置包括：
数据集获取模块，用于获取训练数据集，所述训练数据集包括正常样本数据集和瑕疵样本数据集；
模型构建模块，用于构建网络模型，所述网络模型包括瑕疵样本特征提取子网络、正常样本特征提取子网络、特征金字塔子网络、区域生成子网络和瑕疵分类子网络；其中，利用所述瑕疵样本特征提取子网络对所述瑕疵样本数据集中的有瑕疵图像进行特征提取，得到瑕疵样本特征；利用所述正常样本特征提取子网络对所述正常样本数据集中的无瑕疵图像进行特征提取，得到正常样本特征；利用所述特征金字塔子网络对所述瑕疵样本特征与所述正常样本特征进行特征融合，得到多张不同尺度的融合特征图；利用所述区域生成子网络对所述融合特征图进行处理，生成瑕疵目标候选框集合；利用所述瑕疵分类子网络对所述瑕疵目标候选框集合中的瑕疵特征进行识别，得到所述网络模型的预测结果；
模型训练模块，用于根据所述预测结果和所述瑕疵样本数据集中的人工标注的瑕疵信息，优化所述网络模型的损失函数，得到训练好的网络模型；
检测模块，用于将待测的注塑件图像输入所述训练好的网络模型，完成瑕疵的检测与分类。
本发明的第三个目的可以通过采取如下技术方案达到：
一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的注塑件瑕疵检测方法。
本发明的第四个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的注塑件瑕疵检测方法。
本发明相对于现有技术具有如下的有益效果：
本发明提供的方法，通过采用两个独立的Resnet特征提取网络分别提取有瑕疵图像中的瑕疵样本特征以及无瑕疵图像中的正常样本特征；采用特征金字塔网络将瑕疵样本特征与正常样本特征作差得到的差异特征与原瑕疵特征进行特征融合；采用区域生成子网络生成瑕疵目标候选框；采用瑕疵分类子网路对瑕疵目标候选框进行类型分类与位置调整等技术手段，实现了注塑件瑕疵区域特征的有效提取与识别，进而获得注塑件瑕疵定位与瑕疵分类，为注塑件的生产制备技术提供指导性意见。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的基于正常样本辅助特征提取的注塑件瑕疵检测方法的流程图。
图2为本发明实施例1的网络模型的结构示意图。
图3为本发明实施例1的网络模型对数据集中的注塑件图像进行处理的流程图。
图4为本发明实施例1的瑕疵样本特征提取子网络的结构示意图。
图5为本发明实施例1的正常样本特征提取子网络的结构示意图。
图6为本发明实施例1的特征金字塔子网络的结构示意图。
图7为本发明实施例1的区域生成子网络的结构示意图。
图8为本发明实施例1的瑕疵分类子网络的结构示意图。
图9为本发明实施例2的基于正常样本辅助特征提取的注塑件瑕疵检测装置的结构框图。
图10为本发明实施例3的计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。应当理解，描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
实施例1：
本实施例基于Pytorch框架和Pycharm的开发环境实现。Pytorch框架是基于python语言的开发架构，能够方便快捷地搭建合理的深度学习网络，同时具有很好的跨平台交互能力，能够提供深度学习架构中的众多封装函数和各类图像处理函数的接口；包括OpenCV相关的图像处理函数，同时能够使用GPU对模型进行训练和验证，提高了计算的效率。
在Windows平台或者Linux平台下的Pycharm开发环境(IDE)，是目前深度学习网络设计与开发的首选之一。Pycharm为客户提供了新的模板、设计工具以及测试和调试工具，同时能够为客户提供直接调用远程服务器的接口。
如图1所示，本实施例提供了一种基于正常样本辅助特征提取的注塑件瑕疵检测方法，包括以下步骤：
S101、获取训练数据集，训练数据集包括正常样本数据集和瑕疵样本数据集。
进一步的，步骤S101具体包括：
(1)获取正常样本数据集。
本实施例使用工业摄像头拍摄统一光照、统一背景条件下的1000张无瑕疵注塑件俯视图像，作为正常样本数据集。无瑕疵注塑件俯视图像简称为无瑕疵图像。
(2)获取瑕疵样本数据集。
本实施例使用工业摄像头拍摄与上述统一光照、统一背景条件下的2000张具有不同瑕疵类型的注塑件俯视图像，作为瑕疵样本数据集，人工标注瑕疵位置与类别。具有不同瑕疵类型的注塑件俯视图像简称为有瑕疵图像。
S102、将训练数据集中的注塑件图像输入网络模型，得到预测结果。
如图2所示，构建的网络模型包括5个子网络，分别为瑕疵样本特征提取子网络、正常样本特征提取子网络、特征金字塔子网络、区域生成子网络和瑕疵分类子网络。
进一步的，如图3所示，步骤S102具体包括：
(1)利用瑕疵样本特征提取子网络对瑕疵样本数据集中的有瑕疵图像进行特征提取，得到瑕疵样本特征。
如图4所示，瑕疵样本特征提取子网络模型包括5个模块，分别为特征提取层1，特征提取层2、特征提取层3、特征提取层4和特征提取层5，采用Resnet101网络结构，其中残差结构包括3个卷积核，卷积核大小依次为1、3、1，步长均默认为1。
特征提取层1包括1个卷积层和1个最大池化层，卷积核大小为7，步长为2，最后生成64通道的图像特征，最大池化层大小为3，步长为2；
特征提取层2包括级联的3个残差结构，残差结构中卷积核生成的通道数依次为64、64、256，步长均为1，其中，第一个残差模块的捷径分支需要通过大小为1，步长为1，通道数为256的卷积核，保证捷径分支与主分支的通道数相同；
特征提取层3包括级联的4个残差结构，残差结构中卷积核生成的通道数依次为128、128、512，其中，第一个残差模块的3×3卷积核的步长为2，其余卷积核的步长均为1，第一个残差模块的捷径分支需要通过大小为1，步长为1，通道数为512的卷积核，保证捷径分支与主分支的通道数相同；
特征提取层4包括级联的23个残差结构，残差结构中卷积核生成的通道数依次为256、256、1024，其中，第一个残差模块的3×3卷积核的步长为2，其余卷积核的步长均为1，第一个残差模块的捷径分支需要通过大小为1，步长为1，通道数为1024的卷积核，保证捷径分支与主分支的通道数相同；
特征提取层5包括级联的3个残差结构，残差结构中卷积核生成的通道数依次为512、512、2048，其中，第一个残差模块的3×3卷积核的步长为2，其余卷积核的步长均为1，第一个残差模块的捷径分支需要通过大小为1，步长为1，通道数为2048的卷积核，保证捷径分支与主分支的通道数相同；
特征提取层2到特征提取层5所生成的特征图大小分别为：
其中，h、w表示输入图像的高度和宽度。
在训练过程中，将瑕疵样本数据集中的图像输入此网络，将从特征提取层2到特征提取层5生成4个特征图进行输出。
(2)利用正常样本特征提取子网络对正常样本数据集中的无瑕疵图像进行特征提取，得到正常样本特征。
如图5所示，正常样本特征提取子网络包括6个模块，分别为特征提取层1、特征提取层2、特征提取层3、特征提取层4、特征提取层5和分类层，前五层采用Resnet101网络结构，其基本结构与图3相似，可参考步骤(1)中瑕疵样本特征提取子网络的网络模型，分类层为长度为2的全连接层。
特征提取层4、特征提取层5所生成的特征图大小分别为：
其中，h、w表示输入图像的高度和宽度。
在训练过程中，将正常样本数据集中的图像输入此网络，将从特征提取层4和特征提取层5生成2个特征图进行输出。
(3)利用特征金字塔子网络对瑕疵样本特征与正常样本特征进行特征融合，得到多张不同尺度的融合特征图。
如图6所示，特征金字塔子网络包括4个大小为3、步长为1、输出通道数为256的卷积核，4个大小为1、步长为1、输出通道数为256的卷积核，3个上采样操作层、使得输入特征图的宽度和高度分别放大两倍以便进行特征融合，以及3个特征元素相加运算单元。
将步骤(1)中特征提取层4和5生成的特征图f4、f5分别与步骤(2)中特征提取层4和5生成的特征图f4′、f5′进行按元素相减操作，得到2个深层纯瑕疵特征图f4″、f5″。将步骤(1)中的由特征提取层2和3生成的浅层瑕疵特征f2、f3，与上述深层纯瑕疵特征图f4″、f5′输入至特征金字塔子网络进行特征融合，输出四个融合特征图p2、p3、p4、p5，具体的合成机制为：
其中，
表示特征图的按元素相减操作，FP表示特征金字塔子网络。
(4)将融合特征图依次输入区域生成子网络，生成瑕疵目标候选框集合。
如图7所示，所述区域生成子网络包括预处理层、先验框二分类层以及先验框位置调整层。其中，预处理层包含一个预处理卷积核CP，预处理卷积核CP大小为3、步长为1、输出通道数为512，用于对输入的特征图进行预处理，同时，预处理层根据输入的特征图的规模相应地生成适合当前特征图的不同尺寸的先验框，用于粗略检测瑕疵目标的位置；先验框二分类层包含一个二分类卷积核CC，二分类卷积核CC大小为1、步长为1、输出通道数为a×2，用于对预处理层生成先验框标注置信度；先验框位置调整层包含一个回归卷积核CR，分类卷积核CR大小为1，步长为1，输出通道数为a×4，用于对先验框的位置进行调整；其中，a为不同尺寸的先验框种类数。具体合成机制为：
l2，l3，l4，l5＝CP(p2，p3，p4，p5)
c2，c3，c4，c5＝CC(l2，l3，l4，l5)
r2，r3，r4，r5＝CR(l2，l3，l4，l5)
其中l2，l3，l4，l5分别表示特征图p2，p3，p4，p5依次通过预处理卷积核CP后的输出特征，c2，c3，c4，c5为l2，l3，l4，l5依次通过二分类卷积核CC后的输出特征，r2，r3，r4，r5为l2，l3，l4，l5依次通过回归卷积核CR后的输出特征。
网络根据c2，c3，c4，c5分别给出对应于特征图p2，p3，p4，p5的各个先验框包含瑕疵特征的置信度，挑选出置信度较高的先验框；根据r2，r3，r4，r5对上述挑选出的高置信度先验框进行位置偏差调整，输出可能的瑕疵目标候选框集合{ROI1，ROI2，...}。
(5)利用瑕疵分类子网络对瑕疵目标候选框集合中的瑕疵目标候选框中的瑕疵特征进行识别，得到网络模型的预测结果，预测结果包括瑕疵的类别及位置。
如图8所示，瑕疵分类子网络包括瑕疵特征处理模块、瑕疵分类模块与候选框调整模块。将区域生成子网络提出的候选框ROIi分别对应到金字塔特征提取子网络得到的特征图p2，p3，p4，p5上，提取出对应于候选框经过ROI Pooling操作后的瑕疵特征图
瑕疵特征处理模块包含两个全连接层：全连接层1和2，用于预处理瑕疵特征
瑕疵分类模块包含一个全连接层3，用于将候选框ROIi中的瑕疵进行分类；瑕疵候选框调整模块包含一个全连接层4，用于对候选框ROIi的位置进行进一步调整。具体合成机制为：
Ocls＝FCcls(Opre)
Oreg＝FCreg(Opre)
其中，ROIi表示区域生成子网络提出的第i个候选框，pj表示ROIi对应的由金字塔特征提取子网络生成的第j个特征图，Fsep()表示根据ROIi分离出pj中瑕疵特征图并进行ROI Pooling的操作，
表示经ROI Pooling操作后得到的与ROIi相对应的瑕疵特征图i；flat()为将高维张量拉伸为向量的操作，FC1、FC2表示瑕疵特征处理模块的两个全连接层；FCcls表示瑕疵分类模块的全连接层；FCreg表示候选框调整模块的全连接层；Ocls、Oreg分别表示瑕疵分类结果、候选框回归结果。
全连接层1和2用于处理瑕疵特征，长度均为1024；全连接层3的长度为x，x为瑕疵的类别数+1；全连接层4的长度为4，用于进一步调整候选框的位置。
S103、根据预测结果和瑕疵样本数据集中人工标注的瑕疵信息，优化网络模型的损失函数，实现网络模型的收敛，得到训练好的网络模型。
进一步的，步骤S103具体包括：
(1)利用正常样本训练集与瑕疵样本训练集对正常样本特征提取子网络进行训练，得到训练好的正常样本特征提取子网络。
使用正常样本训练集与瑕疵样本训练集对正常样本特征提取子网络进行二分类训练，提高正常样本特征提取子网络提取正常样本特征的能力。
训练正常样本特征提取子网络，将正常样本特征提取子网络作为二分类网络，选择损失函数为交叉熵损失函数，通过输入训练数据集、优化损失函数以提高正常样本特征提取子网络对于正常无瑕疵样本的辨别能力；
正常样本特征提取子网络的训练是在高性能的GPU上进行的，具体的训练参数设计如下：可以使用Adam优化器，其参数设置为0.9/0.999；学习率的设置为0.0001；训练的epoch设置为400；训练的batch设置依据数据的训练样本而定。
(2)将训练好的正常样本特征提取子网络导入网络模型，利用训练数据集对网络模型进行训练，得到训练好的网络模型。
使用训练好的正常样本特征提取子网络，训练总体的网络模型，具体的训练参数设计如下：
使用Adam优化器，其参数设置为0.9/0.999；网络模型训练所需的epoch设置为100，学习率初始值设置为0.0001。为了使到模型在训练过程中尽可能达到最优值，避免达到次优值，利用余弦退火策略将学习率随着epoch增加而不断减小；batch设置依据训练数据集以及GPU内存大小而定，当训练数据集样本大并且GPU内存大时，batch可以设置比较大，反之亦然。
设置区域生成子网络的损失函数，如下所示：
其中，pi为第i个先验框的置信度，
为先验框i的标签，其值为1或0，是通过计算先验框i与所述瑕疵信息中的瑕疵位置的交并比得出；若
为1，则ti为先验框i的偏移量，
为先验框i与所述瑕疵信息中的瑕疵位置的偏移量；Nrpn_cls为先验框中被标记为1和0的先验框的总数，Nrpn_reg为先验框中被标记为1的先验框的总数，λ为权重参量；分类损失Lrpn_cls使用交叉熵损失函数，回归损失Lrpn_reg使用Smooth L1 Loss，即：
设置瑕疵分类子网络的损失函数，如下所示：
其中，pk为网络预测的瑕疵目标候选框k的类别，
为该瑕疵目标候选框对应的瑕疵类别标签，tk为网络预测的瑕疵目标候选框k的偏移量，
为该瑕疵目标候选框与所述瑕疵信息中的瑕疵位置的真实偏移量；N为瑕疵目标候选框总数；分类损失Lide_cls使用交叉熵损失函数，回归损失Lide_reg使用Smooth L1 Loss。
通过优化上述损失函数，从而实现网络模型的收敛。
S104、将待测的注塑件图像输入训练好的网络模型，完成瑕疵的检测与分类。
将采集到的注塑件图像输入训练好的网络模型中的正常样本特征提取子网络，根据分类结果判断是否存在瑕疵，若存在，则将瑕疵图像输入训练好的网络模型中的瑕疵特征提取子网络，并在正常样本特征提取子网络输入一张预存的正常无瑕疵样本图像；根据网络模型的预测结果实现瑕疵图像中瑕疵的检测与分类。
本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2：
如图9所示，本实施例提供了一种基于正常样本辅助特征提取的注塑件瑕疵检测装置，该装置包括数据集获取模块901、模型构建模块902、模型训练模块903和检测模块904，其中：
数据集获取模块901，用于获取训练数据集，所述训练数据集包括正常样本数据集和瑕疵样本数据集；
模型构建模块902，用于构建网络模型，所述网络模型包括瑕疵样本特征提取子网络、正常样本特征提取子网络、特征金字塔子网络、区域生成子网络和瑕疵分类子网络；其中，利用所述瑕疵样本特征提取子网络对所述瑕疵样本数据集中的有瑕疵图像进行特征提取，得到瑕疵样本特征；利用所述正常样本特征提取子网络对所述正常样本数据集中的无瑕疵图像进行特征提取，得到正常样本特征；利用所述特征金字塔子网络对所述瑕疵样本特征与所述正常样本特征进行特征融合，得到多张不同尺度的融合特征图；利用所述区域生成子网络对所述融合特征图进行处理，生成瑕疵目标候选框集合；利用所述瑕疵分类子网络对所述瑕疵目标候选框集合中的瑕疵特征进行识别，得到所述网络模型的预测结果；
模型训练模块903，用于根据所述预测结果和所述瑕疵样本数据集中的人工标注的瑕疵信息，优化所述网络模型的损失函数，得到训练好的网络模型；
检测模块904，用于将待测的注塑件图像输入所述训练好的网络模型，完成瑕疵的检测与分类。
本实施例中各个模块的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的装置仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
实施例3：
本实施例提供了一种计算机设备，该计算机设备可以为计算机，如图10所示，其通过系统总线1001连接的处理器1002、存储器、输入装置1003、显示器1004和网络接口1005，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质1006和内存储器1007，该非易失性存储介质1006存储有操作系统、计算机程序和数据库，该内存储器1007为非易失性存储介质中的操作系统和计算机程序的运行提供环境，处理器1002执行存储器存储的计算机程序时，实现上述实施例1的注塑件瑕疵检测方法，如下：
获取训练数据集，所述训练数据集包括正常样本数据集和瑕疵样本数据集；
构建网络模型，所述网络模型包括瑕疵样本特征提取子网络、正常样本特征提取子网络、特征金字塔子网络、区域生成子网络和瑕疵分类子网络；其中，利用所述瑕疵样本特征提取子网络对所述瑕疵样本数据集中的有瑕疵图像进行特征提取，得到瑕疵样本特征；利用所述正常样本特征提取子网络对所述正常样本数据集中的无瑕疵图像进行特征提取，得到正常样本特征；利用所述特征金字塔子网络对所述瑕疵样本特征与所述正常样本特征进行特征融合，得到多张不同尺度的融合特征图；利用所述区域生成子网络对所述融合特征图进行处理，生成瑕疵目标候选框集合；利用所述瑕疵分类子网络对所述瑕疵目标候选框集合中的瑕疵特征进行识别，得到所述网络模型的预测结果；
根据所述预测结果和所述瑕疵样本数据集中的人工标注的瑕疵信息，优化所述网络模型的损失函数，得到训练好的网络模型；
将待测的注塑件图像输入所述训练好的网络模型，完成瑕疵的检测与分类。
实施例4：
本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的注塑件瑕疵检测方法，如下：
获取训练数据集，所述训练数据集包括正常样本数据集和瑕疵样本数据集；
构建网络模型，所述网络模型包括瑕疵样本特征提取子网络、正常样本特征提取子网络、特征金字塔子网络、区域生成子网络和瑕疵分类子网络；其中，利用所述瑕疵样本特征提取子网络对所述瑕疵样本数据集中的有瑕疵图像进行特征提取，得到瑕疵样本特征；利用所述正常样本特征提取子网络对所述正常样本数据集中的无瑕疵图像进行特征提取，得到正常样本特征；利用所述特征金字塔子网络对所述瑕疵样本特征与所述正常样本特征进行特征融合，得到多张不同尺度的融合特征图；利用所述区域生成子网络对所述融合特征图进行处理，生成瑕疵目标候选框集合；利用所述瑕疵分类子网络对所述瑕疵目标候选框集合中的瑕疵特征进行识别，得到所述网络模型的预测结果；
根据所述预测结果和所述瑕疵样本数据集中的人工标注的瑕疵信息，优化所述网络模型的损失函数，得到训练好的网络模型；
将待测的注塑件图像输入所述训练好的网络模型，完成瑕疵的检测与分类。
需要说明的是，本实施例的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
综上所述，本发明公开了一种基于正常样本辅助特征提取的注塑件瑕疵检测方法、装置、计算机设备及存储介质，通过获取训练数据集，训练数据集包括正常样本数据集和瑕疵样本数据集；利用网络模型中的瑕疵样本特征提取子网络对瑕疵样本数据集中有瑕疵图像进行特征提取，得到瑕疵样本特征；利用网络模型中的正常样本特征提取子网络对正常样本数据集中无瑕疵图像进行特征提取，得到正常样本特征；利用网络模型中的特征金字塔子网络对瑕疵样本特征与正常样本特征进行特征融合，得到多张不同尺度的融合特征图；利用网络模型中的区域生成子网络对融合特征图进行检测，得到瑕疵候选框；利用网络模型中的瑕疵分类网络对瑕疵候选框中的瑕疵特征进行识别，得到瑕疵的类别及位置；根据瑕疵的类别及位置与瑕疵样本数据集中人工标注的瑕疵信息，优化网络模型的损失函数，得到训练好的网络模型；将待测的图像输入训练好的网络模型，完成瑕疵的检测与分类。本发明通过构建网络模型，能够提取注塑件图像中精确的瑕疵区域特征，获得准确的瑕疵类别与目标位置，能够为注塑机制备工艺提供指导性意见。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。
Claims (10)
1.一种基于正常样本辅助特征提取的注塑件瑕疵检测方法，其特征在于，所述方法包括：
获取训练数据集，所述训练数据集包括正常样本数据集和瑕疵样本数据集；
构建网络模型，所述网络模型包括瑕疵样本特征提取子网络、正常样本特征提取子网络、特征金字塔子网络、区域生成子网络和瑕疵分类子网络；其中，利用所述瑕疵样本特征提取子网络对所述瑕疵样本数据集中的有瑕疵图像进行特征提取，得到瑕疵样本特征；利用所述正常样本特征提取子网络对所述正常样本数据集中的无瑕疵图像进行特征提取，得到正常样本特征；利用所述特征金字塔子网络对所述瑕疵样本特征与所述正常样本特征进行特征融合，得到多张不同尺度的融合特征图；利用所述区域生成子网络对所述融合特征图进行处理，生成瑕疵目标候选框集合；利用所述瑕疵分类子网络对所述瑕疵目标候选框集合中的瑕疵特征进行识别，得到所述网络模型的预测结果；
根据所述预测结果和所述瑕疵样本数据集中的人工标注的瑕疵信息，优化所述网络模型的损失函数，得到训练好的网络模型；
将待测的注塑件图像输入所述训练好的网络模型，完成瑕疵的检测与分类。
2.根据权利要求1所述的注塑件瑕疵检测方法，其特征在于，所述瑕疵样本特征包括四个不同尺寸的特征图，分别为所述瑕疵样本特征提取子网络中第二个特征提取层到第五个特征提取层输出的特征图；
所述正常样本特征包括所述正常样本特征提取子网络中第四个特征提取层与第五个特征提取层输出的特征图f4′、f5′；
所述利用所述特征金字塔子网络对所述瑕疵样本特征与所述正常样本特征进行特征融合，得到多张不同尺度的融合特征图，包括：
将所述瑕疵样本特征提取子网络中第四、五个特征提取层输出的特征图f4、f5，分别与所述特征图f4′、f5′按元素相减，得到差异特征图f4″、f5″；
将所述瑕疵特征提取子网络中第二、三特征提取层输出的特征图f2、f3与所述差异特征f4″、f5″输入所述特征金字塔子网络，所述特征金字塔子网络对f2、f3、f4″、f5″进行特征融合，输出多张不同尺度的特征图，作为融合特征图；其中，所述特征金字塔子网络包括多个上采样操作层。
3.根据权利要求1所述的注塑件瑕疵检测方法，其特征在于，所述区域生成子网络包括预处理层、先验框二分类层以及先验框位置调整层；
所述利用所述区域生成子网络对所述融合特征图进行处理，生成瑕疵目标候选框集合，包括：
将所述融合特征图依次输入所述预处理层，所述预处理层根据所述融合特征图的尺寸相应地生成不同尺寸的先验框，用于粗略检测瑕疵目标的位置；其中，所述融合特征图包括多张特征图；
将所述先验框输入所述先验框二分类层，生成先验框的置信度；
将所述先验框输入所述先验框位置调整层，生成先验框的偏移量；
根据所述置信度，挑选出置信度较高的先验框；根据所述偏移量对置信度较高的先验框进行位置偏差调整，输出瑕疵目标候选框集合。
4.根据权利要求3所述的注塑件瑕疵检测方法，其特征在于，所述瑕疵分类子网络包括瑕疵特征处理模块、瑕疵分类模块和候选框调整模块；
所述利用所述瑕疵分类子网络对所述瑕疵目标候选框集合中的瑕疵特征进行识别，得到所述网络模型的预测结果，包括：
将所述瑕疵目标候选框集合中任一瑕疵目标候选框对应到所述特征金字塔子网络输出的融合特征图上，将对应的融合特征图和所述瑕疵目标候选框经过ROI Pooling操作后，得到瑕疵特征图；将所述瑕疵特征图输入所述瑕疵特征处理模块；
将所述瑕疵特征处理模块的输出特征输入所述瑕疵分类模块，用于对所述瑕疵目标候选框进行分类，得到瑕疵的类别；
将所述瑕疵特征处理模块的输出特征输入所述候选框调整模块，生成瑕疵目标候选框的偏移量，用于对所述瑕疵目标候选框的位置进行调整，得到优化后的瑕疵位置。
5.根据权利要求4所述的注塑件瑕疵检测方法，其特征在于，所述根据所述预测结果和所述瑕疵样本数据集中的人工标注的瑕疵信息，优化所述网络模型的损失函数，得到训练好的网络模型，包括：
利用所述正常样本训练集与瑕疵样本训练集对所述正常样本特征提取子网络进行训练，得到训练好的正常样本特征提取子网络；其中，损失函数为交叉熵损失函数，所述正常样本特征提取子网络包括分类层；
将所述训练好的正常样本特征提取子网络导入至所述网络模型中，利用所述正常样本训练集与瑕疵样本训练集对所述网络模型进行训练，根据所述预测结果和所述瑕疵信息，通过优化所述区域生成子网络的损失函数和所述瑕疵分类子网络的损失函数，从而实现网络模型的收敛，得到训练好的网络模型。
6.根据权利要求5所述的注塑件瑕疵检测方法，其特征在于，所述预测结果包括瑕疵的类别和位置；
所述区域生成子网络的损失函数为：
其中，pi为先验框i的置信度，
为先验框i的标签，其值为1或0，是通过计算先验框i与所述瑕疵信息中的瑕疵位置的交并比得出；若
为1，则ti为先验框i的偏移量，
为先验框i与所述瑕疵信息中的瑕疵位置的偏移量；Nrpn_cls为先验框中被标记为1和0的先验框的总数，Nrpn_reg为先验框中被标记为1的先验框的总数，λ为权重参量；分类损失Lrpn_cls使用交叉熵损失函数，回归损失Lrpn_reg使用Smooth L1 Loss，即：
所述瑕疵分类子网络的损失函数为：
其中，pk为网络预测的瑕疵目标候选框k的类别，
为该瑕疵目标候选框对应的瑕疵类别标签，tk为网络预测的瑕疵目标候选框k的偏移量，
为该瑕疵目标候选框与所述瑕疵信息中的瑕疵位置的真实偏移量；N为瑕疵目标候选框总数；分类损失Lide_cls使用交叉熵损失函数，回归损失Lide_reg使用Smooth L1 Loss。
7.根据权利要求1所述的注塑件瑕疵检测方法，其特征在于，所述瑕疵样本特征提取子网络包括5个特征提取层，采用Resnet101网络结构，每个特征提取层的结构不同并依次连接；
所述利用所述瑕疵样本特征提取子网络对所述瑕疵样本数据集中的有瑕疵图像进行特征提取，得到瑕疵样本特征，包括：
将所述瑕疵样本数据集中的有瑕疵图像输入第一个特征提取层，将第一个特征提取层输出的特征图依次经过后面的四个特征提取层；
将第二个特征提取层到第五个特征提取层输出的包含瑕疵特征与背景特征的不同尺寸的特征图作为瑕疵样本特征。
8.根据权利要求1所述的注塑件瑕疵检测方法，其特征在于，所述正常样本特征提取子网络包括5个特征提取层，采用Resnet101网络结构，每个特征提取层的结构不同并依次连接；
所述利用所述正常样本特征提取子网络对所述正常样本数据集中的无瑕疵图像进行特征提取，得到正常样本特征，包括：
将所述正常样本数据集中的无瑕疵图像输入第一个特征提取层，将第一个特征提取层输出的特征图依次经过后面的四个特征提取层；
将第四个特征提取层与第五个特征提取层输出的包含背景信息的不同尺寸的特征图作为正常样本特征。
9.根据权利要求1所述的注塑件瑕疵检测方法，其特征在于，所述将待测的注塑件图像输入所述训练好的网络模型，完成瑕疵的检测与分类，包括：
将待测的注塑件图像输入所述训练好的网络模型中的正常样本特征提取子网络，根据输出结果判断是否存在瑕疵；
若存在，则将待测的注塑件图像输入所述训练好的网络模型中的瑕疵特征提取子网络，并在正常样本特征提取子网络输入预存的无瑕疵样本图像；
根据所述训练好的网络模型输出的预测结果，完成瑕疵图像中瑕疵的检测与分类。
10.根据权利要求1～9任一项所述的注塑件瑕疵检测方法，其特征在于，所述获取训练数据集，包括：
在同一光照、同一背景下拍摄具有明显瑕疵特征的注塑件图像俯视图以及无瑕疵特征的注塑件图像俯视图；
对每一张具有明显瑕疵特征的注塑件图像俯视图，人工标注瑕疵信息，将所述具有明显瑕疵特征的注塑件图像俯视图作为有瑕疵图像，所有有瑕疵图像构成瑕疵样本数据集；其中，所述瑕疵信息包括瑕疵位置与类别；
将所述无瑕疵特征的注塑件图像俯视图作为无瑕疵图像，所有无瑕疵图像构成正常样本数据集；
所述瑕疵样本数据集和所述正常样本数据集构成训练数据集。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210632336.4A CN115082386B (zh) | 2022-06-07 | 2022-06-07 | 基于正常样本辅助特征提取的注塑件瑕疵检测方法、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210632336.4A CN115082386B (zh) | 2022-06-07 | 2022-06-07 | 基于正常样本辅助特征提取的注塑件瑕疵检测方法、装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115082386A true CN115082386A (zh) | 2022-09-20 |
| CN115082386B CN115082386B (zh) | 2024-04-26 |
Family
ID=83249780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210632336.4A Active CN115082386B (zh) | 2022-06-07 | 2022-06-07 | 基于正常样本辅助特征提取的注塑件瑕疵检测方法、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115082386B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117290766A (zh) * | 2023-08-04 | 2023-12-26 | 国网新疆电力有限公司乌鲁木齐供电公司 | 基于特征选择器的室外环境中高压开关设备智能检测方法 |
| CN117474893A (zh) * | 2023-11-14 | 2024-01-30 | 国网新疆电力有限公司乌鲁木齐供电公司 | 一种基于语义特征模板匹配的验电环智能检测方法 |
| CN117290766B (zh) * | 2023-08-04 | 2024-10-22 | 国网新疆电力有限公司乌鲁木齐供电公司 | 基于特征选择器的室外环境中高压开关设备智能检测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
| CN111260614A (zh) * | 2020-01-13 | 2020-06-09 | 华南理工大学 | 一种基于极限学习机的卷积神经网络布匹瑕疵检测方法 |
| CN111915593A (zh) * | 2020-08-04 | 2020-11-10 | 中国科学院微电子研究所 | 模型建立方法、装置、电子设备及存储介质 |
| CN112614101A (zh) * | 2020-12-17 | 2021-04-06 | 广东道氏技术股份有限公司 | 基于多层特征提取的抛光砖瑕疵检测方法及相关设备 |
| CN113012153A (zh) * | 2021-04-30 | 2021-06-22 | 武汉纺织大学 | 一种铝型材瑕疵检测方法 |
-
2022
- 2022-06-07 CN CN202210632336.4A patent/CN115082386B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
| CN111260614A (zh) * | 2020-01-13 | 2020-06-09 | 华南理工大学 | 一种基于极限学习机的卷积神经网络布匹瑕疵检测方法 |
| CN111915593A (zh) * | 2020-08-04 | 2020-11-10 | 中国科学院微电子研究所 | 模型建立方法、装置、电子设备及存储介质 |
| CN112614101A (zh) * | 2020-12-17 | 2021-04-06 | 广东道氏技术股份有限公司 | 基于多层特征提取的抛光砖瑕疵检测方法及相关设备 |
| CN113012153A (zh) * | 2021-04-30 | 2021-06-22 | 武汉纺织大学 | 一种铝型材瑕疵检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 余孝源 等: "基于深度编码-解码器的图像模糊核估计", 《控制理论与应用》, vol. 37, no. 4, 30 April 2020 (2020-04-30), pages 731 - 738 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117290766A (zh) * | 2023-08-04 | 2023-12-26 | 国网新疆电力有限公司乌鲁木齐供电公司 | 基于特征选择器的室外环境中高压开关设备智能检测方法 |
| CN117290766B (zh) * | 2023-08-04 | 2024-10-22 | 国网新疆电力有限公司乌鲁木齐供电公司 | 基于特征选择器的室外环境中高压开关设备智能检测方法 |
| CN117474893A (zh) * | 2023-11-14 | 2024-01-30 | 国网新疆电力有限公司乌鲁木齐供电公司 | 一种基于语义特征模板匹配的验电环智能检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115082386B (zh) | 2024-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111598861B (zh) | 基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法 | |
| CN110059741B (zh) | 基于语义胶囊融合网络的图像识别方法 | |
| CN105447473B (zh) | 一种基于PCANet-CNN的任意姿态人脸表情识别方法 | |
| CN111259940B (zh) | 一种基于空间注意力地图的目标检测方法 | |
| US20210133989A1 (en) | BBP Assisted Defect Detection Flow for SEM Images | |
| CN111680706A (zh) | 一种基于编码和解码结构的双通道输出轮廓检测方法 | |
| CN113822880A (zh) | 一种基于深度学习的裂缝识别方法 | |
| CN115439694A (zh) | 一种基于深度学习的高精度点云补全方法及装置 | |
| CN109978870A (zh) | 用于输出信息的方法和装置 | |
| CN111626279A (zh) | 一种负样本标注训练方法及高度自动化的票据识别方法 | |
| CN114155244A (zh) | 缺陷检测方法、装置、设备及存储介质 | |
| CN112016462A (zh) | 一种基于深度学习模型的回收瓶分类方法 | |
| CN111598854A (zh) | 基于丰富鲁棒卷积特征模型的复杂纹理小缺陷的分割方法 | |
| CN115082386A (zh) | 基于正常样本辅助特征提取的注塑件瑕疵检测方法、装置及介质 | |
| CN114926498A (zh) | 一种基于时空约束与可学习特征匹配的快速目标跟踪方法 | |
| CN117893497A (zh) | 基于改进Yolov7-tiny网络的木板材表面缺陷检测方法 | |
| CN117636045A (zh) | 基于图像处理的木材缺陷检测系统 | |
| Kulshrestha et al. | Deep learning models for object recognition and quality surveillance | |
| CN116542962A (zh) | 一种基于改进Yolov5m模型光伏电池缺陷检测方法 | |
| CN115082416A (zh) | 镜片瑕疵检测方法、装置、设备及存储介质 | |
| CN115376195A (zh) | 训练多尺度网络模型的方法及人脸关键点检测方法 | |
| CN107992482A (zh) | 数学主观题解答步骤的规约方法及系统 | |
| Huang et al. | Quality control on manufacturing computer keyboards using multilevel deep neural networks | |
| CN117953589B (zh) | 一种交互动作检测方法、系统、设备及介质 | |
| CN112732570B (zh) | 一种基于上下文环境的依恋情结代码味道检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |