CN116485735A - 缺陷检测方法、装置、电子设备及计算机可读存储介质 - Google Patents

缺陷检测方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN116485735A
CN116485735A CN202310385041.6A CN202310385041A CN116485735A CN 116485735 A CN116485735 A CN 116485735A CN 202310385041 A CN202310385041 A CN 202310385041A CN 116485735 A CN116485735 A CN 116485735A
Authority
CN
China
Prior art keywords
feature
image
defect
fusion
defect detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310385041.6A
Other languages
English (en)
Inventor
陈海波
王光平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenlan Artificial Intelligence Application Research Institute Shandong Co ltd
Original Assignee
Shenlan Artificial Intelligence Application Research Institute Shandong Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenlan Artificial Intelligence Application Research Institute Shandong Co ltd filed Critical Shenlan Artificial Intelligence Application Research Institute Shandong Co ltd
Priority to CN202310385041.6A priority Critical patent/CN116485735A/zh
Publication of CN116485735A publication Critical patent/CN116485735A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供缺陷检测方法、装置、电子设备及计算机可读存储介质，所述方法包括：获取目标工件的待测图像；将所述待测图像输入至缺陷检测模型，以输出对应的缺陷预测信息，所述缺陷预测信息包括缺陷的预测分类信息和预测位置信息；其中，所述缺陷检测模型包括特征提取网络、特征融合网络和分类预测网络；所述特征提取网络用于对所述待测图像进行特征提取，得到所述待测图像对应的中间特征图；所述特征融合网络用于对所述中间特征图进行特征融合，得到融合特征图；所述分类预测网络用于对所述融合特征图进行缺陷预测，得到对应的缺陷预测信息。利用缺陷检测模型实现自动检测，无需人工进行缺陷检测，检测效率较高。

Description

缺陷检测方法、装置、电子设备及计算机可读存储介质
技术领域
本申请涉及计算机视觉检测技术领域，尤其涉及缺陷检测方法、装置、电子设备及计算机可读存储介质。
背景技术
工件质量把控是工业生产中关键性的环节，直接关系到整体系统级产品的质量，实现工件的质量检测的自动化和智能化刻不容缓。然而，现今的大部分工件制造商仍旧采用人工的方法去检测和控制产品的质量，这是一个耗时耗工的环节，企业需要投入大量的人力来保证产品质量。人工检测方法显然存在着许多不足的地方，如耗费较多的时间和费用，工人的不断重复检测容易使人疲劳和厌倦，导致检测结果主观性，检测效率较低。
因此，亟需提供缺陷检测方法、装置、电子设备及计算机可读存储介质，以改进现有技术。
发明内容
本申请的目的在于提供缺陷检测方法、装置、电子设备及计算机可读存储介质，无需人工进行缺陷检测，检测效率较高，提高了缺陷检测模型的检测精度和鲁棒性。
本申请的目的采用以下技术方案实现：
第一方面，本申请提供了一种缺陷检测方法，所述方法包括：
获取目标工件的待测图像；
将所述待测图像输入至缺陷检测模型，以输出对应的缺陷预测信息，所述缺陷预测信息包括缺陷的预测分类信息和预测位置信息；
其中，所述缺陷检测模型包括特征提取网络、特征融合网络和分类预测网络；
所述特征提取网络用于对所述待测图像进行特征提取，得到所述待测图像对应的中间特征图；
所述特征融合网络用于对所述中间特征图进行特征融合，得到融合特征图；
所述分类预测网络用于对所述融合特征图进行缺陷预测，得到对应的缺陷预测信息。
该技术方案的有益效果在于：利用缺陷检测模型对目标工件进行缺陷检测，检测过程为：首先，将待测图像输入至特征提取网络以进行特征提取，得到待测图像对应的多个中间特征图，再利用特征融合网络对这多个中间特征图进行特征融合，得到对应的融合特征图，最后利用分类预测网络对融合特征图进行缺陷预测，得到对应的缺陷预测信息。
本申请的缺陷检测方法利用缺陷检测模型实现自动检测，无需人工进行缺陷检测，检测效率较高，并且，相比于利用机器学习算法进行缺陷检测的方式(只包括特征提取和分类预测的过程)，缺陷检测模型除了具有特征提取网络和分类预测网络，还包括特征融合网络，特征融合网络可以对特征提取网络输出的多个中间特征图进行特征融合，以便分类预测网络对融合得到的融合特征图进行缺陷预测，提高了缺陷检测模型的检测精度和鲁棒性。
在一些可选的实施例中，所述特征提取网络包括层叠设置的N个特征提取模块，第1特征提取模块的输入信息是所述待测图像，前一特征提取模块的输出结果是下一个特征提取模块的输入信息，N是大于1的整数；
每个特征提取模块均包括第一卷积层、第二卷积层、第三卷积层、池化层、归一化层和激活层；
对所述待测图像进行特征提取，得到所述待测图像对应的中间特征图的过程包括：
针对每个特征提取模块，分别利用对应的第一卷积层、第二卷积层、第三卷积层、池化层、归一化层和激活层对输入信息进行第一次卷积处理、第二次卷积处理、第三次卷积处理、池化处理、归一化处理和激活处理，以输出对应的初始特征图，并将所述初始特征图作为所述特征提取模块的输出结果；
将N个特征提取模块输出的N个初始特征图作为所述待测图像对应的中间特征图。
该技术方案的有益效果在于：特征提取网络包括N个特征提取模块(第1特征提取模块至第N特征提取模块)，每个特征提取模块包括第一卷积层、第二卷积层、第三卷积层、池化层、归一化层和激活层，特征提取网络特征提取的过程为：首先，待测图像作为第1特征提取模块的输入信息，依次经过第1特征提取模块的第一卷积层、第二卷积层、第三卷积层、池化层、归一化层和激活层的信息处理，输出得到第1特征提取模块对应的第1初始特征图，然后，将第1初始特征图作为第2特征提取模块的输入信息，经过同样的信息处理(卷积、池化、归一化和激活)，输出得到第2初始特征图，以此类推，将前一特征提取模块的输出结果作为下一个特征提取模块的输入信息，以使相应的特征图信息在每个特征提取模块之间连续地被传递下去，进一步提高了缺陷检测模型的检测精度和鲁棒性。
在一些可选的实施例中，N是大于2的整数；
每个特征融合模块包括上采样层和融合层；
对所述中间特征图进行特征融合，得到融合特征图的过程包括：
针对第1特征融合模块，利用对应的上采样层对第N特征提取模块输出的第N初始特征图进行上采样，得到第1上采样特征图，利用对应的融合层将所述第1上采样特征图与第N-1特征提取模块输出的第N-1初始特征图进行特征融合，以输出对应的叠加特征图，并将第1特征融合模块的叠加特征图作为第1特征融合模块的输出结果；
针对第k特征融合模块，利用对应的上采样层对第k-1特征融合模块的输出结果进行上采样，得到第k上采样特征图，利用对应的融合层将所述第k上采样特征图与第N-k特征提取模块输出的第N-k初始特征图进行特征融合，以输出对应的叠加特征图，并将第k特征融合模块的叠加特征图作为第k特征融合模块的输出结果，k是大于1不大于N-2的整数；
将第N-2特征融合模块输出的叠加特征图作为所述融合特征图。
该技术方案的有益效果在于：特征融合网络包括N-2个特征融合模块(第1特征融合模块至第N-2特征融合模块)，每个特征融合模块包括上采样层和融合层，特征融合网络特征融合的过程为：首先，将第N特征提取模块输出的第N初始特征图和第N-1特征提取模块输出的第N-1初始特征图作为第1特征融合模块的输入信息，利用第1特征融合模块的上采样层对第N初始特征图进行上采样，得到第1上采样特征图，再利用第1特征融合模块的融合层对第1上采样特征图与第N-1初始特征图进行特征融合，输出第1特征融合模块的叠加特征图(即第1特征融合模块的输出结果)；然后，将第1特征融合模块的叠加特征图与第N-k特征提取模块输出的第N-k初始特征图作为第2特征融合模块的输入信息，利用第2特征融合模块的上采样层对第1特征融合模块的叠加特征图进行上采样，得到第k上采样特征图，再利用第2特征融合模块的融合层对第k上采样特征图与第N-k初始特征图进行特征融合，输出第2特征融合模块的叠加特征图，以此类推，每个特征融合模块(第k特征融合模块)的输入信息包括上一个特征融合模块(第k-1特征融合模块)的输出结果以及对应的(第N-k)初始特征图，以使相应的特征图信息在每个特征融合模块之间连续地被传递下去，进一步提高了缺陷检测模型的检测精度和鲁棒性。
在一些可选的实施例中，所述缺陷检测模型的训练过程包括：
获取训练集，所述训练集包括多个训练数据，每个训练数据包括一个样本工件图像以及所述样本工件图像对应的缺陷标注信息，所述缺陷标注信息包括缺陷的标注分类信息和标注位置信息；
针对每个训练数据，分别将每个样本工件图像输入所述缺陷检测模型，以得到对应的缺陷预测信息；
利用预设的损失函数、每个样本工件图像对应的缺陷预测信息以及每个样本工件图像对应的缺陷标注信息，计算每个样本工件图像对应的损失；
基于每个样本工件图像对应的损失，更新所述缺陷检测模型的参数。
该技术方案的有益效果在于：可以利用训练集对缺陷检测模型进行训练，训练集包括多个训练数据，每个训练数据包括一个样本工件图像及其对应的缺陷标注信息，缺陷检测模型的训练过程为：将样本工件图像输入缺陷检测模型，得到样本工件图像对应的缺陷预测信息，利用预设的损失函数对样本工件图像的缺陷预测信息和缺陷标注信息进行分析计算，得到每个样本工件图像对应的损失，根据该损失更新缺陷检测模型的参数，由此训练得到的缺陷检测模型，可以基于目标工件的待测图像获取该目标工件对应的缺陷预测信息，且计算结果准确性高、可靠性高。
在一些可选的实施例中，在获取所述训练集之后，所述缺陷检测模型的训练过程还包括：
针对每个训练数据，分别对每个样本工件图像进行数据增强操作，以得到新的样本工件图像，将所述新的样本工件图像及其对应的缺陷标注信息作为新的训练数据放入所述训练集；
其中，所述数据增强操作包括以下至少一种：旋转、缩放、翻转、平移和镜像。
该技术方案的有益效果在于：模型的性能除了和网络结构本身有关，还与训练集的数据量有关，训练数据越多，模型的性能越优，训练数据量往往决定模型性能的上限。
通过进行数据增强操作，可以基于已有的训练数据来生成更多的训练数据,使扩增的训练数据尽可能接近真实分布的数据,从而提高缺陷检测模型的检测精度。此外，数据增强能够使缺陷检测模型学习到更多鲁棒性的特征，从而有效提高缺陷检测模型的泛化能力。
在一些可选的实施例中，所述方法还包括：
获取所述目标工件的应用行业；
基于所述应用行业，获取所述目标工件对应的修复条件；
当所述目标工件不满足所述修复条件时，对所述目标工件进行报废处理或者回收再利用处理；
当所述目标工件满足所述修复条件时，基于所述目标工件的缺陷预测信息，获取所述目标工件的修复策略，以使修复设备根据所述修复策略对所述目标工件进行修复处理。
该技术方案的有益效果在于：不同应用行业对同一工件的性能要求不同，对于一个缺陷类别为划伤的垫片，该垫片可能满足家居行业对应的修复条件，但是无法满足航空航天行业对应的修复条件，可以根据目标工件的应用行业确定对应的修复条件，当目标工件不满足修复条件时，进行报废处理或者回收再利用处理，当目标工件满足修复条件时，根据缺陷预测信息确定的修复策略，以使修复设备根据修复策略对目标工件进行修复处理。
根据目标工件的应用行业，针对性地设置目标工件对应的修复条件，可以筛除不满足修复条件的工件，避免浪费人力物力对不满足修复条件(缺陷程度高，即使修复也达不到要求)的工件进行修复，降低修复成本。
在一些可选的实施例中，所述目标工件是以下任意一种：活塞杆、垫片、轴承和油封，所述预测分类信息用于指示以下至少一种缺陷类别：原材料缺陷、划伤、磕碰和抛光不良，所述预测位置信息用于指示缺陷的边界框。
该技术方案的有益效果在于：目标工件可以是活塞杆、垫片、轴承、油封等，预测分类信息用于指示缺陷类别，例如原材料缺陷、划伤、磕碰、抛光不良等，预测位置信息用于指示缺陷的边界框，也就是说，通过预测分类信息可以得知目标工件的缺陷类别，通过预测位置信息中边界框的位置和大小，可以得知缺陷的位置和区域大小。
第二方面，本申请提供了一种缺陷检测装置，所述装置包括：
图像获取模块，用于获取目标工件的待测图像；
缺陷预测模块，用于将所述待测图像输入至缺陷检测模型，以输出对应的缺陷预测信息，所述缺陷预测信息包括缺陷的预测分类信息和预测位置信息；
其中，所述缺陷检测模型包括特征提取网络、特征融合网络和分类预测网络；
所述特征提取网络用于对所述待测图像进行特征提取，得到所述待测图像对应的中间特征图；
所述特征融合网络用于对所述中间特征图进行特征融合，得到融合特征图；
所述分类预测网络用于对所述融合特征图进行缺陷预测，得到对应的缺陷预测信息。
在一些可选的实施例中，所述特征提取网络包括层叠设置的N个特征提取模块，第1特征提取模块的输入信息是所述待测图像，前一特征提取模块的输出结果是下一个特征提取模块的输入信息，N是大于1的整数；
每个特征提取模块均包括第一卷积层、第二卷积层、第三卷积层、池化层、归一化层和激活层；
对所述待测图像进行特征提取，得到所述待测图像对应的中间特征图的过程包括：
针对每个特征提取模块，分别利用对应的第一卷积层、第二卷积层、第三卷积层、池化层、归一化层和激活层对输入信息进行第一次卷积处理、第二次卷积处理、第三次卷积处理、池化处理、归一化处理和激活处理，以输出对应的初始特征图，并将所述初始特征图作为所述特征提取模块的输出结果；
将N个特征提取模块输出的N个初始特征图作为所述待测图像对应的中间特征图。
在一些可选的实施例中，N是大于2的整数；
每个特征融合模块包括上采样层和融合层；
对所述中间特征图进行特征融合，得到融合特征图的过程包括：
针对第1特征融合模块，利用对应的上采样层对第N特征提取模块输出的第N初始特征图进行上采样，得到第1上采样特征图，利用对应的融合层将所述第1上采样特征图与第N-1特征提取模块输出的第N-1初始特征图进行特征融合，以输出对应的叠加特征图，并将第1特征融合模块的叠加特征图作为第1特征融合模块的输出结果；
针对第k特征融合模块，利用对应的上采样层对第k-1特征融合模块的输出结果进行上采样，得到第k上采样特征图，利用对应的融合层将所述第k上采样特征图与第N-k特征提取模块输出的第N-k初始特征图进行特征融合，以输出对应的叠加特征图，并将第k特征融合模块的叠加特征图作为第k特征融合模块的输出结果，k是大于1不大于N-2的整数；
将第N-2特征融合模块输出的叠加特征图作为所述融合特征图。
在一些可选的实施例中，所述缺陷检测模型的训练过程包括：
获取训练集，所述训练集包括多个训练数据，每个训练数据包括一个样本工件图像以及所述样本工件图像对应的缺陷标注信息，所述缺陷标注信息包括缺陷的标注分类信息和标注位置信息；
针对每个训练数据，分别将每个样本工件图像输入所述缺陷检测模型，以得到对应的缺陷预测信息；
利用预设的损失函数、每个样本工件图像对应的缺陷预测信息以及每个样本工件图像对应的缺陷标注信息，计算每个样本工件图像对应的损失；
基于每个样本工件图像对应的损失，更新所述缺陷检测模型的参数。
在一些可选的实施例中，在获取所述训练集之后，所述缺陷检测模型的训练过程还包括：
针对每个训练数据，分别对每个样本工件图像进行数据增强操作，以得到新的样本工件图像，将所述新的样本工件图像及其对应的缺陷标注信息作为新的训练数据放入所述训练集；
其中，所述数据增强操作包括以下至少一种：旋转、缩放、翻转、平移和镜像。
在一些可选的实施例中，所述装置还包括：
行业获取模块，用于获取所述目标工件的应用行业；
修复条件模块，用于基于所述应用行业，获取所述目标工件对应的修复条件；
报废回收模块，用于当所述目标工件不满足所述修复条件时，对所述目标工件进行报废处理或者回收再利用处理；
修复处理模块，用于当所述目标工件满足所述修复条件时，基于所述目标工件的缺陷预测信息，获取所述目标工件的修复策略，以使修复设备根据所述修复策略对所述目标工件进行修复处理。
在一些可选的实施例中，所述目标工件是以下任意一种：活塞杆、垫片、轴承和油封，所述预测分类信息用于指示以下至少一种缺陷类别：原材料缺陷、划伤、磕碰和抛光不良，所述预测位置信息用于指示缺陷的边界框。
第三方面，本申请提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项缺陷检测方法的步骤。
第四方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项缺陷检测方法的步骤。
附图说明
下面结合附图和实施例对本申请进一步说明。
图1是本申请实施例提供的一种缺陷检测方法的流程示意图。
图2是本申请实施例提供的一种特征提取模块的结构框图。
图3是本申请实施例提供的一种特征提取网络的结构框图。
图4是本申请实施例提供的一种特征提取网络和特征融合网络的结构框图。
图5是本申请实施例提供的一种缺陷检测装置的结构框图。
图6是本申请实施例提供的一种电子设备的结构框图。
图7是本申请实施例提供的一种程序产品的结构示意图。
具体实施方式
下面，结合附图以及具体实施方式，对本申请做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。
参见图1，图1是本申请实施例提供的一种缺陷检测方法的流程示意图。
所述方法包括：
步骤S101：获取目标工件的待测图像；
步骤S102：将所述待测图像输入至缺陷检测模型，以输出对应的缺陷预测信息，所述缺陷预测信息包括缺陷的预测分类信息和预测位置信息；
其中，所述缺陷检测模型包括特征提取网络、特征融合网络和分类预测网络；
所述特征提取网络用于对所述待测图像进行特征提取，得到所述待测图像对应的中间特征图；
所述特征融合网络用于对所述中间特征图进行特征融合，得到融合特征图；
所述分类预测网络用于对所述融合特征图进行缺陷预测，得到对应的缺陷预测信息。
由此，利用缺陷检测模型对目标工件进行缺陷检测，检测过程为：首先，将待测图像输入至特征提取网络以进行特征提取，得到待测图像对应的多个中间特征图，再利用特征融合网络对这多个中间特征图进行特征融合，得到对应的融合特征图，最后利用分类预测网络对融合特征图进行缺陷预测，得到对应的缺陷预测信息。
本申请实施例的缺陷检测方法利用缺陷检测模型实现自动检测，无需人工进行缺陷检测，检测效率较高，并且，相比于利用机器学习算法进行缺陷检测的方式(只包括特征提取和分类预测的过程)，缺陷检测模型除了具有特征提取网络和分类预测网络，还包括特征融合网络，特征融合网络可以对特征提取网络输出的多个中间特征图进行特征融合，以便分类预测网络对融合得到的融合特征图进行缺陷预测，提高了缺陷检测模型的检测精度和鲁棒性。
在一些可选的实施例中，所述目标工件是以下任意一种：活塞杆、垫片、轴承和油封，所述预测分类信息用于指示以下至少一种缺陷类别：原材料缺陷、划伤、磕碰和抛光不良，所述预测位置信息用于指示缺陷的边界框。
由此，目标工件可以是活塞杆、垫片、轴承、油封等，预测分类信息用于指示缺陷类别，例如原材料缺陷(原材料本身的缺陷)、划伤、磕碰、抛光不良等，预测位置信息用于指示缺陷的边界框，也就是说，通过预测分类信息可以得知目标工件的缺陷类别，通过预测位置信息中边界框的位置和大小，可以得知缺陷的位置和区域大小。
在一些可选的实施例中，所述特征提取网络包括层叠设置的N个特征提取模块，第1特征提取模块的输入信息是所述待测图像，前一特征提取模块的输出结果是下一个特征提取模块的输入信息，N是大于1的整数；
每个特征提取模块均包括第一卷积层、第二卷积层、第三卷积层、池化层、归一化层和激活层；
对所述待测图像进行特征提取，得到所述待测图像对应的中间特征图的过程包括：
针对每个特征提取模块，分别利用对应的第一卷积层、第二卷积层、第三卷积层、池化层、归一化层和激活层对输入信息进行第一次卷积处理、第二次卷积处理、第三次卷积处理、池化处理、归一化处理和激活处理，以输出对应的初始特征图，并将所述初始特征图作为所述特征提取模块的输出结果；
将N个特征提取模块输出的N个初始特征图作为所述待测图像对应的中间特征图。
由此，特征提取网络包括N个特征提取模块(第1特征提取模块至第N特征提取模块)，每个特征提取模块包括第一卷积层、第二卷积层、第三卷积层、池化层、归一化层和激活层，特征提取网络特征提取的过程为：首先，待测图像作为第1特征提取模块的输入信息，依次经过第1特征提取模块的第一卷积层、第二卷积层、第三卷积层、池化层、归一化层和激活层的信息处理，输出得到第1特征提取模块对应的第1初始特征图，然后，将第1初始特征图作为第2特征提取模块的输入信息，经过同样的信息处理(卷积、池化、归一化和激活)，输出得到第2初始特征图，以此类推，将前一特征提取模块的输出结果作为下一个特征提取模块的输入信息，以使相应的特征图信息在每个特征提取模块之间连续地被传递下去，进一步提高了缺陷检测模型的检测精度和鲁棒性。
特征提取网络又称缺陷检测模型的骨干(Backbone)网络。
参见图2，图2是本申请实施例提供的一种特征提取模块的结构框图。
每个特征提取模块包括第一卷积层、第二卷积层、第三卷积层、池化层、归一化层和激活层。
本申请实施例对第一卷积层、第二卷积层和第三卷积层的卷积核大小不作限定，第一卷积层的卷积核大小例如是3*3，第二卷积层的卷积核大小例如是3*3，第三卷积层的卷积核大小例如是1*1。
卷积层(又称卷积神经网络，CNN)的作用是提取待测图片中的图像特征，这些图像特征是由图像中的每个像素通过组合或者独立的方式所体现，比如图片的纹理特征和颜色特征。
归一化层(Batch Normalization，BN)的作用是对卷积层的输出结果进行列数标准化操作，将其放缩到合适的范围，去除量纲的干扰，防止数值过小的特征被淹没；此外，可以解决反向传播时的梯度消失的问题，避免模型过拟合。
池化层的作用是对卷积层中提取的特征进行挑选，常见的池化操作有最大池化和平均池化，池化层是由矩阵窗口滑动来进行计算的，类似于卷积层，只不过不是做互相关运算，而是求矩阵窗口对应的矩阵中的最大值或者平均值。
池化层的特点为：1、挑选不受位置干扰的图像信息；2、对特征进行降维，提高后续特征的感受野，也就是让池化后的一个像素对应前面图片中的一个区域；3、因为池化层是不进行反向传播的，而且池化层减少了特征图的变量个数，所以池化层可以减少计算量。
在一具体应用中，池化层对应的池化操作为最大池化操作，特征图每经过一次池化层，特征图的大小缩小为原来的1/2(特征图的宽、高分别缩小为原来的1/2)。
参见图3，图3是本申请实施例提供的一种特征提取网络的结构框图。
N＝5，特征提取网络包括5个特征提取模块(第1特征提取模块至第5特征提取模块)，待测图像经过第1特征提取模块处理后，输出的第1初始特征图的大小为待测图像的大小的1/2，第1初始特征图经过第2特征提取模块处理后，输出的第2初始特征图的大小为待测图像的大小的1/4，第2初始特征图经过第3特征提取模块处理后，输出的第3初始特征图的大小为待测图像的大小的1/8，第3初始特征图经过第4特征提取模块处理后，输出的第4初始特征图的大小为待测图像的大小的1/16，第4初始特征图经过第5特征提取模块处理后，输出的第5初始特征图的大小为待测图像的大小的1/32，将第1初始特征图至第5初始特征图这5个特征图作为待测图像对应的中间特征图。
在一些实施方式中，激活层可以使用Relu函数，一方面，相比于sigmoid函数或者tanh函数，Relu函数的导数更加好求，反向传播就是不断的更新参数的过程，因为其导数不复杂，所以模型训练的形式简单，训练效率较高；一方面，Relu函数本身为非线性函数，把所有的负值都变为0，而正值不变，这种操作被称为单侧抑制，应用到神经网络中可以是网格拟合非线性映射的形式；一方面，当数值过大或者过小，sigmoid函数，tanh函数的导数接近于0，而Relu函数作为非饱和激活函数不存在这种现象；另一方面，由于小于0部分的计算结果为0，大于0部分的计算结果才有值，所以可以减少过拟合。
在一些可选的实施例中，N是大于2的整数；
每个特征融合模块包括上采样层和融合层；
对所述中间特征图进行特征融合，得到融合特征图的过程包括：
针对第1特征融合模块，利用对应的上采样层对第N特征提取模块输出的第N初始特征图进行上采样，得到第1上采样特征图，利用对应的融合层将所述第1上采样特征图与第N-1特征提取模块输出的第N-1初始特征图进行特征融合，以输出对应的叠加特征图，并将第1特征融合模块的叠加特征图作为第1特征融合模块的输出结果；
针对第k特征融合模块，利用对应的上采样层对第k-1特征融合模块的输出结果进行上采样，得到第k上采样特征图，利用对应的融合层将所述第k上采样特征图与第N-k特征提取模块输出的第N-k初始特征图进行特征融合，以输出对应的叠加特征图，并将第k特征融合模块的叠加特征图作为第k特征融合模块的输出结果，k是大于1不大于N-2的整数；
将第N-2特征融合模块输出的叠加特征图作为所述融合特征图。
由此，特征融合网络包括N-2个特征融合模块(第1特征融合模块至第N-2特征融合模块)，每个特征融合模块包括上采样层和融合层，特征融合网络特征融合的过程为：首先，将第N特征提取模块输出的第N初始特征图和第N-1特征提取模块输出的第N-1初始特征图作为第1特征融合模块的输入信息，利用第1特征融合模块的上采样层对第N初始特征图进行上采样，得到第1上采样特征图，再利用第1特征融合模块的融合层对第1上采样特征图与第N-1初始特征图进行特征融合，输出第1特征融合模块的叠加特征图(即第1特征融合模块的输出结果)；然后，将第1特征融合模块的叠加特征图与第N-k特征提取模块输出的第N-k初始特征图作为第2特征融合模块的输入信息，利用第2特征融合模块的上采样层对第1特征融合模块的叠加特征图进行上采样，得到第k上采样特征图，再利用第2特征融合模块的融合层对第k上采样特征图与第N-k初始特征图进行特征融合，输出第2特征融合模块的叠加特征图，以此类推，每个特征融合模块(第k特征融合模块)的输入信息包括上一个特征融合模块(第k-1特征融合模块)的输出结果以及对应的(第N-k)初始特征图，以使相应的特征图信息在每个特征融合模块之间连续地被传递下去，进一步提高了缺陷检测模型的检测精度和鲁棒性。
特征融合网络又称缺陷检测模型的颈部(Neck)网络。
由于输入图像通过特征提取网络提取特征后，输出的特征图的尺寸往往会变小，通常需要将图像恢复到原来的尺寸以便进行进一步的计算，这个使图像由小分辨率映射到大分辨率的操作，叫做上采样，上采样的实现方式包括：
1、插值，插值方式包括双线性插值、最近邻插值、三线性插值等；
2、转置卷积又称反卷积(Transpose Conv)，通过对输入的特征图间隔填充0，再进行标准的卷积计算，可以使得输出的特征图的尺寸比输入的特征图更大。
特征融合是指：把从图像中提取的特征,合并成一个比输入特征更具有判别能力的特征(采用现有的多个特征集生成新的融合特征)。一方面，可以从融合中涉及的多个原始特征集中获得最具差异性的信息；另一方面，能够消除因不同特征集之间的相关性而产生的冗余信息。
在一具体应用中，特征图每经过一次上采样层，特征图的大小放大为原来的2倍(特征图的宽、高分别放大为原来的2倍)。
参见图4，图4是本申请实施例提供的一种特征提取网络和特征融合网络的结构框图。
N＝5，特征融合网络包括3个特征融合模块(第1特征融合模块至第3特征融合模块)。
第1特征融合模块的数据处理过程为：对第5初始特征图(大小为待测图像的大小的1/32)进行上采样(upsample)，得到第1上采样特征图(大小为待测图像的大小的1/16)，对第1上采样特征图与第4初始特征图进行特征融合，得到对应的第1叠加特征图(记为FeatureMap1)。
第2特征融合模块的数据处理过程为：对第1叠加特征图进行上采样，得到第2上采样特征图(大小为待测图像的大小的1/8)，对第2上采样特征图与第3初始特征图进行特征融合，得到对应的第2叠加特征图(记为FeatureMap2)。
第3特征融合模块的数据处理过程为：对第2叠加特征图进行上采样，得到第3上采样特征图(大小为待测图像的大小的1/4)，对第3上采样特征图与第2初始特征图进行特征融合，得到对应的第3叠加特征图(记为FeatureMap3)。
将第3特征融合模块输出的第3叠加特征图作为待测图像对应的融合特征图。
在一些实施方式中，分类预测网络又称缺陷检测模型的头部(Head)网络。
分类检测网络可以包括一个池化层、两个全连接层和一个激活层，分类检测网络的激活层可以采用sigmoid函数，公式为
sigmoid函数可以用来预测缺陷的类别。
sigmoid函数也叫Logistic函数，用于隐层神经元输出，取值范围为(0，1)，它可以将一个实数映射到(0，1)的区间，可以用来做二分类。在特征相差比较复杂或是相差不是特别大时效果比较好。
在一些可选的实施例中，所述缺陷检测模型的训练过程包括：
获取训练集，所述训练集包括多个训练数据，每个训练数据包括一个样本工件图像以及所述样本工件图像对应的缺陷标注信息，所述缺陷标注信息包括缺陷的标注分类信息和标注位置信息；
针对每个训练数据，分别将每个样本工件图像输入所述缺陷检测模型，以得到对应的缺陷预测信息；
利用预设的损失函数、每个样本工件图像对应的缺陷预测信息以及每个样本工件图像对应的缺陷标注信息，计算每个样本工件图像对应的损失；
基于每个样本工件图像对应的损失，更新所述缺陷检测模型的参数。
由此，可以利用训练集对缺陷检测模型进行训练，训练集包括多个训练数据，每个训练数据包括一个样本工件图像及其对应的缺陷标注信息，缺陷检测模型的训练过程为：将样本工件图像输入缺陷检测模型，得到样本工件图像对应的缺陷预测信息，利用预设的损失函数对样本工件图像的缺陷预测信息和缺陷标注信息进行分析计算，得到每个样本工件图像对应的损失，根据该损失更新缺陷检测模型的参数，由此训练得到的缺陷检测模型，可以基于目标工件的待测图像获取该目标工件对应的缺陷预测信息，且计算结果准确性高、可靠性高。
在一些实施方式中，预设的损失函数可以是CIOU_Loss函数。
一个优秀的回归定位损失应该考虑到以下三个参数：重叠面积、中心点距离和长宽比。回归定位损失主要包括DIoU Loss函数和CIoU Loss函数，DIoU Loss函数已经考虑到了前两个参数(重叠面积和中心点距离)，CIoU Loss函数的功能就是将长宽比这一参数也引入损失函数中。
在一具体应用中，缺陷预测信息用于指示预测框(缺陷预测信息中的边界框)，缺陷标注信息用于指示标注框(缺陷标注信息中的边界框)。
利用CIOU_Loss函数可以计算预测框和标注框的重合程度，将重合程度作为样本工件图像对应的(缺陷定位)损失。
在一些可选的实施例中，在获取所述训练集之后，所述缺陷检测模型的训练过程还包括：
针对每个训练数据，分别对每个样本工件图像进行数据增强操作，以得到新的样本工件图像，将所述新的样本工件图像及其对应的缺陷标注信息作为新的训练数据放入所述训练集；
其中，所述数据增强操作包括以下至少一种：旋转、缩放、翻转、平移和镜像。
由此，模型的性能除了和网络结构本身有关，还与训练集的数据量有关，训练数据越多，模型的性能越优，训练数据量往往决定模型性能的上限。
通过进行数据增强操作，可以基于已有的训练数据来生成更多的训练数据,使扩增的训练数据尽可能接近真实分布的数据,从而提高缺陷检测模型的检测精度。此外，数据增强能够使缺陷检测模型学习到更多鲁棒性的特征，从而有效提高缺陷检测模型的泛化能力。
在一具体应用中，缩放可以是自适应缩放，自适应缩放是根据图像的长宽比对图像进行缩放，短边补零，能够保持图像长宽比不变，缺陷部分不会因为缩放发生形变。
在一些可选的实施例中，所述方法还包括：
获取所述目标工件的应用行业；
基于所述应用行业，获取所述目标工件对应的修复条件；
当所述目标工件不满足所述修复条件时，对所述目标工件进行报废处理或者回收再利用处理；
当所述目标工件满足所述修复条件时，基于所述目标工件的缺陷预测信息，获取所述目标工件的修复策略，以使修复设备根据所述修复策略对所述目标工件进行修复处理。
由此，不同应用行业对同一工件的性能要求不同，对于一个缺陷类别为划伤的垫片，该垫片可能满足家居行业对应的修复条件，但是无法满足航空航天行业对应的修复条件，可以根据目标工件的应用行业确定对应的修复条件，当目标工件不满足修复条件时，进行报废处理或者回收再利用处理，当目标工件满足修复条件时，根据缺陷预测信息确定的修复策略，以使修复设备根据修复策略对目标工件进行修复处理。
根据目标工件的应用行业，针对性地设置目标工件对应的修复条件，可以筛除不满足修复条件的工件，避免浪费人力物力对不满足修复条件(缺陷程度高，即使修复也达不到要求)的工件进行修复，降低修复成本。
在一些实施方式中，应用行业与修复条件的对应关系可以通过预设的对照表或者预设的深度学习模型进行建立。
通过设计，建立适量的神经元计算节点和多层运算层次结构，选择合适的输入层和输出层，就可以得到预设的深度学习模型，通过该预设的深度学习模型的学习和调优，建立起从输入到输出的函数关系，虽然不能100％找到输入与输出的函数关系，但是可以尽可能地逼近现实的关联关系。
在一具体应用中，当应用行业为家居时，修复条件可以是工件的缺陷深度不大于0.5mm；当应用行业为汽车时，修复条件可以是工件的缺陷深度不大于0.2mm。
在一些实施方式中，缺陷预测信息包括缺陷的预测分类信息，预测分类信息与修复策略的对应关系可以通过预设的对照表或者预设的深度学习模型进行建立。
在一具体应用中，目标工件为活塞杆，预测分类信息指示抛光不良时，修复策略可以是抛光；预测分类信息指示划伤时，修复策略可以是喷涂。
在一些实施方式中，应用行业可以包括制药、纺织、汽车、机械加工、航空航天、餐饮、家居等，修复条件可以包括以下至少一种：工件的缺陷深度不大于预设深度阈值；工件的缺陷长度不大于预设长度阈值。缺陷深度可以是划痕深度或者磕碰伤深度，缺陷长度可以是划痕长度或者磕碰伤长度。
本申请实施例对预设深度阈值和预设长度阈值不作限定，预设深度阈值例如是0.1mm、0.2mm或者0.5mm，预设长度阈值例如是0.1mm、0.2mm或者0.5mm。
修复策略可以包括以下至少一种：焊接、喷涂、抛光和绞孔。
修复设备可以包括以下至少一种：焊接设备、喷涂机、抛光机和电钻。
在一些实施方式中，目标工件是活塞杆。
随着人工智能技术的发展成熟，在工业质检中的应用越来越广泛，行业涵盖制药、纺织、机械制造等各行各业。(汽车支撑气弹簧用)活塞杆主要应用在汽车制造工业中，对工件的质量要求非常严格，活塞杆的缺陷类别主要是原材料缺陷、划伤、磕碰、抛光不良等。如何有效的将缺陷的产品检测出来，是保证活塞杆产品质量的关键。
目前对于活塞杆表面缺陷的检测方法，主要是人工目视的方法和基于机器学习的检测方法，机器学习的检测方法使用数字图像处理技术，由于工件表面缺陷的图像千差万别，机器学习的检测方法达不到理想的效果。
本申请实施例还提供了一种缺陷检测算法，该缺陷检测算法的搭建过程如下：
步骤a、收集现场设备的瑕疵活塞杆图像数据，构建训练数据集。
步骤b、设计缺陷检测算法的输入端，对训练数据集图像做数据增强。
数据增强的方式主要包括对图像数据的旋转和自适应缩放，达到扩充数据集、增强数据集的目的。自适应缩放指的是根据图像的长宽比对图像缩放，短边补零，能够保持图像比例不变，图像的缺陷部分不会因为缩放发生形变。
步骤c、设计缺陷检测算法的骨干(Backbone)网络(又称特征提取网络)，用于对步骤b中输出的图像进行特征提取，得到对应的特征图。
骨干网络由一系列的网络模块(又称特征提取模块)组成。网络模块由卷积层(卷积神经网络CNN)、池化层(pooling)、归一化层(BN)和激活层(激活函数Relu)组成，卷积使用的卷积核包括1*1和3*3大小的卷积核。
特征图每经过一次pooling，缩小1/2。将5个网络模块(Block_1至Block_5)堆叠一起组成一个5层网络，每个网络模块称为Block，构成缺陷检测算法的骨干网络，每层网络模块输出的特征图大小是上一层网络模块输出的特征图大小的1/2，最下层网络模块输出的特征图大小为原图的1/32。
步骤d、设计缺陷检测算法的颈部(Neck)网络(又称特征融合网络)，用于对步骤c输出的特征图做特征融合，增强缺陷检测算法提取图像特征的能力。
颈部网络的图像处理过程如下：
将步骤c中最后一层网络模块Block_5输出的特征图(大小为原图大小的1/32)，经过上采样(upsample)，得到大小为原图的1/16的特征图，并与第4层网络模块Block_4输出的特征图融合，得到对应的叠加特征图，记为FeatureMa p1。
FeatureMap1继续上采样，并与步骤c的第3层网络模块Block_3输出的特征图融合，输出对应的叠加特征图，记为FeatureMap2。
FeatureMap2继续上采样，并与步骤c的第2层网络模块Block_2输出的特征图融合，输出对应的叠加特征图，记为FeatureMap3。
步骤e、设计缺陷检测算法的头部(Head)网络(又称分类预测网络)，对步骤d输出的叠加特征图(FeatureMap3)预测，输出缺陷的检测框和类别信息；
使用CIOU_Loss作为检测框的损失函数，用来计算预测框和标注框的重合程度。
使用sigmoid函数预测类别信息，公式为：
步骤f、训练设计好的缺陷检测算法，输出缺陷检测模型。
虽然市面上同等类型的算法，比如Faster-RCNN、yolo等也能实现该功能，但是检测精度达不到要求，本申请实施例针对活塞杆表面缺陷检测，根据活塞杆的特性，设计的专用缺陷检测算法具有很高的检测准确度。
通过采用深度学习技术，利用卷积神经网络提取图像的特征，训练深度模型，并预测缺陷，提高了缺陷检测模型的检测精度和鲁棒性。无需人工目视检测，检测速度快，能够大大降低活塞杆检测工序的时间，节省人力、降低成本的优点。
参见图5，图5是本申请实施例提供的一种缺陷检测装置的结构框图。
所述缺陷检测装置的具体实现方式与上述缺陷检测方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
所述装置包括：
图像获取模块101，用于获取目标工件的待测图像；
缺陷预测模块102，用于将所述待测图像输入至缺陷检测模型，以输出对应的缺陷预测信息，所述缺陷预测信息包括缺陷的预测分类信息和预测位置信息；
其中，所述缺陷检测模型包括特征提取网络、特征融合网络和分类预测网络；
所述特征提取网络用于对所述待测图像进行特征提取，得到所述待测图像对应的中间特征图；
所述特征融合网络用于对所述中间特征图进行特征融合，得到融合特征图；
所述分类预测网络用于对所述融合特征图进行缺陷预测，得到对应的缺陷预测信息。
在一些可选的实施例中，所述特征提取网络包括层叠设置的N个特征提取模块，第1特征提取模块的输入信息是所述待测图像，前一特征提取模块的输出结果是下一个特征提取模块的输入信息，N是大于1的整数；
每个特征提取模块均包括第一卷积层、第二卷积层、第三卷积层、池化层、归一化层和激活层；
对所述待测图像进行特征提取，得到所述待测图像对应的中间特征图的过程包括：
针对每个特征提取模块，分别利用对应的第一卷积层、第二卷积层、第三卷积层、池化层、归一化层和激活层对输入信息进行第一次卷积处理、第二次卷积处理、第三次卷积处理、池化处理、归一化处理和激活处理，以输出对应的初始特征图，并将所述初始特征图作为所述特征提取模块的输出结果；
将N个特征提取模块输出的N个初始特征图作为所述待测图像对应的中间特征图。
在一些可选的实施例中，N是大于2的整数；
每个特征融合模块包括上采样层和融合层；
对所述中间特征图进行特征融合，得到融合特征图的过程包括：
针对第1特征融合模块，利用对应的上采样层对第N特征提取模块输出的第N初始特征图进行上采样，得到第1上采样特征图，利用对应的融合层将所述第1上采样特征图与第N-1特征提取模块输出的第N-1初始特征图进行特征融合，以输出对应的叠加特征图，并将第1特征融合模块的叠加特征图作为第1特征融合模块的输出结果；
针对第k特征融合模块，利用对应的上采样层对第k-1特征融合模块的输出结果进行上采样，得到第k上采样特征图，利用对应的融合层将所述第k上采样特征图与第N-k特征提取模块输出的第N-k初始特征图进行特征融合，以输出对应的叠加特征图，并将第k特征融合模块的叠加特征图作为第k特征融合模块的输出结果，k是大于1不大于N-2的整数；
将第N-2特征融合模块输出的叠加特征图作为所述融合特征图。
在一些可选的实施例中，所述缺陷检测模型的训练过程包括：
获取训练集，所述训练集包括多个训练数据，每个训练数据包括一个样本工件图像以及所述样本工件图像对应的缺陷标注信息，所述缺陷标注信息包括缺陷的标注分类信息和标注位置信息；
针对每个训练数据，分别将每个样本工件图像输入所述缺陷检测模型，以得到对应的缺陷预测信息；
利用预设的损失函数、每个样本工件图像对应的缺陷预测信息以及每个样本工件图像对应的缺陷标注信息，计算每个样本工件图像对应的损失；
基于每个样本工件图像对应的损失，更新所述缺陷检测模型的参数。
在一些可选的实施例中，在获取所述训练集之后，所述缺陷检测模型的训练过程还包括：
针对每个训练数据，分别对每个样本工件图像进行数据增强操作，以得到新的样本工件图像，将所述新的样本工件图像及其对应的缺陷标注信息作为新的训练数据放入所述训练集；
其中，所述数据增强操作包括以下至少一种：旋转、缩放、翻转、平移和镜像。
在一些可选的实施例中，所述装置还包括：
行业获取模块，用于获取所述目标工件的应用行业；
修复条件模块，用于基于所述应用行业，获取所述目标工件对应的修复条件；
报废回收模块，用于当所述目标工件不满足所述修复条件时，对所述目标工件进行报废处理或者回收再利用处理；
修复处理模块，用于当所述目标工件满足所述修复条件时，基于所述目标工件的缺陷预测信息，获取所述目标工件的修复策略，以使修复设备根据所述修复策略对所述目标工件进行修复处理。
在一些可选的实施例中，所述目标工件是以下任意一种：活塞杆、垫片、轴承和油封，所述预测分类信息用于指示以下至少一种缺陷类别：原材料缺陷、划伤、磕碰和抛光不良，所述预测位置信息用于指示缺陷的边界框。
参见图6，本申请实施例还提供了一种电子设备200，电子设备200包括至少一个存储器210、至少一个处理器220以及连接不同平台系统的总线230。
存储器210可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)211和/或高速缓存存储器212，还可以进一步包括只读存储器(ROM)213。
其中，存储器210还存储有计算机程序，计算机程序可以被处理器220执行，使得处理器220执行本申请实施例中缺陷检测方法的步骤，其具体实现方式与上述缺陷检测方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
存储器210还可以包括具有至少一个程序模块215的实用工具214，这样的程序模块215包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
相应的，处理器220可以执行上述计算机程序，以及可以执行实用工具214。
总线230可以为表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
电子设备200也可以与一个或多个外部设备240例如键盘、指向设备、蓝牙设备等通信，还可与一个或者多个能够与该电子设备200交互的设备通信，和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入输出接口250进行。并且，电子设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。网络适配器260可以通过总线230与电子设备200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，所述计算机程序被执行时实现本申请实施例中缺陷检测方法的步骤，其具体实现方式与上述缺陷检测方法的实施例中记载的实施方式、所达到的技术效果一致，部分内容不再赘述。
图7示出了本实施例提供的用于实现上述缺陷检测方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本申请中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等，或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言诸如Java、C++等，还包括常规的过程式程序设计语言诸如C语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本申请从使用目的上，效能上，进步及新颖性等观点进行阐述，已符合专利法所强调的功能增进及使用要件，本申请以上的说明书及说明书附图，仅为本申请的较佳实施例而已，并非以此局限本申请，因此，凡一切与本申请构造，装置，特征等近似、雷同的，即凡依本申请专利申请范围所作的等同替换或修饰等，皆应属本申请的专利申请保护的范围之内。

Claims (10)

1.一种缺陷检测方法，其特征在于，所述方法包括：
获取目标工件的待测图像；
将所述待测图像输入至缺陷检测模型，以输出对应的缺陷预测信息，所述缺陷预测信息包括缺陷的预测分类信息和预测位置信息；
其中，所述缺陷检测模型包括特征提取网络、特征融合网络和分类预测网络；
所述特征提取网络用于对所述待测图像进行特征提取，得到所述待测图像对应的中间特征图；
所述特征融合网络用于对所述中间特征图进行特征融合，得到融合特征图；
所述分类预测网络用于对所述融合特征图进行缺陷预测，得到对应的缺陷预测信息。
2.根据权利要求1所述的缺陷检测方法，其特征在于，所述特征提取网络包括层叠设置的N个特征提取模块，第1特征提取模块的输入信息是所述待测图像，前一特征提取模块的输出结果是下一个特征提取模块的输入信息，N是大于1的整数；
每个特征提取模块均包括第一卷积层、第二卷积层、第三卷积层、池化层、归一化层和激活层；
对所述待测图像进行特征提取，得到所述待测图像对应的中间特征图的过程包括：
针对每个特征提取模块，分别利用对应的第一卷积层、第二卷积层、第三卷积层、池化层、归一化层和激活层对输入信息进行第一次卷积处理、第二次卷积处理、第三次卷积处理、池化处理、归一化处理和激活处理，以输出对应的初始特征图，并将所述初始特征图作为所述特征提取模块的输出结果；
将N个特征提取模块输出的N个初始特征图作为所述待测图像对应的中间特征图。
3.根据权利要求2所述的缺陷检测方法，其特征在于，N是大于2的整数；
每个特征融合模块包括上采样层和融合层；
对所述中间特征图进行特征融合，得到融合特征图的过程包括：
针对第1特征融合模块，利用对应的上采样层对第N特征提取模块输出的第N初始特征图进行上采样，得到第1上采样特征图，利用对应的融合层将所述第1上采样特征图与第N-1特征提取模块输出的第N-1初始特征图进行特征融合，以输出对应的叠加特征图，并将第1特征融合模块的叠加特征图作为第1特征融合模块的输出结果；
针对第k特征融合模块，利用对应的上采样层对第k-1特征融合模块的输出结果进行上采样，得到第k上采样特征图，利用对应的融合层将所述第k上采样特征图与第N-k特征提取模块输出的第N-k初始特征图进行特征融合，以输出对应的叠加特征图，并将第k特征融合模块的叠加特征图作为第k特征融合模块的输出结果，k是大于1不大于N-2的整数；
将第N-2特征融合模块输出的叠加特征图作为所述融合特征图。
4.根据权利要求1所述的缺陷检测方法，其特征在于，所述缺陷检测模型的训练过程包括：
获取训练集，所述训练集包括多个训练数据，每个训练数据包括一个样本工件图像以及所述样本工件图像对应的缺陷标注信息，所述缺陷标注信息包括缺陷的标注分类信息和标注位置信息；
针对每个训练数据，分别将每个样本工件图像输入所述缺陷检测模型，以得到对应的缺陷预测信息；
利用预设的损失函数、每个样本工件图像对应的缺陷预测信息以及每个样本工件图像对应的缺陷标注信息，计算每个样本工件图像对应的损失；
基于每个样本工件图像对应的损失，更新所述缺陷检测模型的参数。
5.根据权利要求4所述的缺陷检测方法，其特征在于，在获取所述训练集之后，所述缺陷检测模型的训练过程还包括：
针对每个训练数据，分别对每个样本工件图像进行数据增强操作，以得到新的样本工件图像，将所述新的样本工件图像及其对应的缺陷标注信息作为新的训练数据放入所述训练集；
其中，所述数据增强操作包括以下至少一种：旋转、缩放、翻转、平移和镜像。
6.根据权利要求1所述的缺陷检测方法，其特征在于，所述方法还包括：
获取所述目标工件的应用行业；
基于所述应用行业，获取所述目标工件对应的修复条件；
当所述目标工件不满足所述修复条件时，对所述目标工件进行报废处理或者回收再利用处理；
当所述目标工件满足所述修复条件时，基于所述目标工件的缺陷预测信息，获取所述目标工件的修复策略，以使修复设备根据所述修复策略对所述目标工件进行修复处理。
7.根据权利要求1-6任一项所述的缺陷检测方法，其特征在于，所述目标工件是以下任意一种：活塞杆、垫片、轴承和油封，所述预测分类信息用于指示以下至少一种缺陷类别：原材料缺陷、划伤、磕碰和抛光不良，所述预测位置信息用于指示缺陷的边界框。
8.一种缺陷检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取目标工件的待测图像；
缺陷预测模块，用于将所述待测图像输入至缺陷检测模型，以输出对应的缺陷预测信息，所述缺陷预测信息包括缺陷的预测分类信息和预测位置信息；
其中，所述缺陷检测模型包括特征提取网络、特征融合网络和分类预测网络；
所述特征提取网络用于对所述待测图像进行特征提取，得到所述待测图像对应的中间特征图；
所述特征融合网络用于对所述中间特征图进行特征融合，得到融合特征图；
所述分类预测网络用于对所述融合特征图进行缺陷预测，得到对应的缺陷预测信息。
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1-7任一项所述缺陷检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述缺陷检测方法的步骤。
CN202310385041.6A 2023-04-06 2023-04-06 缺陷检测方法、装置、电子设备及计算机可读存储介质 Pending CN116485735A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310385041.6A CN116485735A (zh) 2023-04-06 2023-04-06 缺陷检测方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310385041.6A CN116485735A (zh) 2023-04-06 2023-04-06 缺陷检测方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116485735A true CN116485735A (zh) 2023-07-25

Family

ID=87214800

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310385041.6A Pending CN116485735A (zh) 2023-04-06 2023-04-06 缺陷检测方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116485735A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721098A (zh) * 2023-08-09 2023-09-08 常州微亿智造科技有限公司 工业检测中的缺陷检测方法、缺陷检测装置
CN117333383A (zh) * 2023-09-07 2024-01-02 广东奥普特科技股份有限公司 一种表面缺陷检测方法、装置和设备
CN117456290A (zh) * 2023-12-26 2024-01-26 苏州镁伽科技有限公司 缺陷分类方法和装置、电子设备以及存储介质
CN117745677A (zh) * 2023-12-20 2024-03-22 国网电力空间技术有限公司 绝缘子串的缺陷检测方法、系统、终端及存储介质
CN117333383B (zh) * 2023-09-07 2024-05-24 广东奥普特科技股份有限公司 一种表面缺陷检测方法、装置和设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721098A (zh) * 2023-08-09 2023-09-08 常州微亿智造科技有限公司 工业检测中的缺陷检测方法、缺陷检测装置
CN116721098B (zh) * 2023-08-09 2023-11-14 常州微亿智造科技有限公司 工业检测中的缺陷检测方法、缺陷检测装置
CN117333383A (zh) * 2023-09-07 2024-01-02 广东奥普特科技股份有限公司 一种表面缺陷检测方法、装置和设备
CN117333383B (zh) * 2023-09-07 2024-05-24 广东奥普特科技股份有限公司 一种表面缺陷检测方法、装置和设备
CN117745677A (zh) * 2023-12-20 2024-03-22 国网电力空间技术有限公司 绝缘子串的缺陷检测方法、系统、终端及存储介质
CN117456290A (zh) * 2023-12-26 2024-01-26 苏州镁伽科技有限公司 缺陷分类方法和装置、电子设备以及存储介质
CN117456290B (zh) * 2023-12-26 2024-04-16 苏州镁伽科技有限公司 缺陷分类方法和装置、电子设备以及存储介质

Similar Documents

Publication Publication Date Title
CN116485735A (zh) 缺陷检测方法、装置、电子设备及计算机可读存储介质
Yang et al. Automatic pixel‐level crack detection and measurement using fully convolutional network
CN110570396B (zh) 一种基于深度学习的工业产品缺陷检测方法
CN111080620B (zh) 一种基于深度学习的道路病害检测方法
CN112967243A (zh) 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法
CN109671071B (zh) 一种基于深度学习的地下管道缺陷定位及等级判定方法
CN111932489A (zh) 焊缝缺陷检测方法、系统、存储介质、计算机设备、终端
Xu et al. Efficient surface defect detection using self-supervised learning strategy and segmentation network
CN111553950B (zh) 一种钢卷对中判断方法、系统、介质及电子终端
CN111652853A (zh) 一种基于深度卷积神经网络的磁粉探伤检测方法
US20230222643A1 (en) Semantic deep learning and rule optimization for surface corrosion detection and evaluation
Song et al. Pixel-level crack detection in images using SegNet
CN113221867A (zh) 一种基于深度学习的pcb图像字符检测方法
CN113012153A (zh) 一种铝型材瑕疵检测方法
CN113111875A (zh) 一种基于深度学习的无缝钢轨焊缝缺陷识别装置及方法
CN114066810A (zh) 一种包装盒凹凸点缺陷检测方法及装置
CN113066051A (zh) 一种坡口缺陷检测方法、计算设备及可读存储介质
CN116563250A (zh) 一种复原式自监督疵点检测方法、装置及存储介质
CN116071437A (zh) 水工隧洞表观缺陷空间标定方法
CN115841471A (zh) 一种基于像素聚类Transformer模型算法的金属腐蚀度计算方法
CN114359300A (zh) 一种图像分割模型的优化方法、装置、系统及存储介质
CN114937023A (zh) 一种承压设备的缺陷识别方法及装置
CN114998222A (zh) 汽车差速器壳体表面检测方法、电子设备及介质
CN114926675A (zh) 外壳污损缺陷检测方法、装置、计算机设备及存储介质
CN113313668A (zh) 一种地铁隧道表面病害特征提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination