CN115311273A - 检测模型的训练方法、缺陷检测方法、装置及存储介质 - Google Patents

检测模型的训练方法、缺陷检测方法、装置及存储介质 Download PDF

Info

Publication number
CN115311273A
CN115311273A CN202211238614.4A CN202211238614A CN115311273A CN 115311273 A CN115311273 A CN 115311273A CN 202211238614 A CN202211238614 A CN 202211238614A CN 115311273 A CN115311273 A CN 115311273A
Authority
CN
China
Prior art keywords
image
information
feature
metal surface
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211238614.4A
Other languages
English (en)
Inventor
李子康
林宗儒
吴振廷
彭杨
余振宇
田欣
彭香君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fulian Yuzhan Technology Shenzhen Co Ltd
Original Assignee
Fulian Yuzhan Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fulian Yuzhan Technology Shenzhen Co Ltd filed Critical Fulian Yuzhan Technology Shenzhen Co Ltd
Priority to CN202211238614.4A priority Critical patent/CN115311273A/zh
Publication of CN115311273A publication Critical patent/CN115311273A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本申请实施例提供的一种检测模型的训练方法、缺陷检测方法、装置及存储介质。包括：获取目标金属表面的检测图像及模板图像；将检测图像及目标金属表面的模板图像输入至金属表面缺陷的检测模型，得到金属表面缺陷的检测模型输出的目标金属表面的检测图像及目标金属表面的模板图像间的差异信息；金属表面缺陷的检测模型为预先训练的，用于提取输入的检测图像的特征信息及模板图像的特征信息，将检测图像的特征信息与模板图像的特征信息间的特征差异信息，及检测图像的特征信息进行拼接，形成第一特征信息；对第一特征信息进行特征融合，输出检测图像及模板图像间的差异信息；根据检测图像及模板图像间的差异信息，确定目标金属表面是否存在缺陷。

Description

检测模型的训练方法、缺陷检测方法、装置及存储介质
技术领域
本申请涉及缺陷检测技术领域，具体地涉及一种检测模型的训练方法、缺陷检测方法、装置及存储介质。
背景技术
金属材料是重要的工业产品，其表面质量的好坏直接影响其市场销售甚至于工程安全。随着工业生产总值的不断提高，各生产企业对产品的表面质量提出了更高的需求。同时，在生产过程中实时检测到产品表面质量问题，不但可以警示工人及时对生产设备进行检修，也可以减少浪费，调高产品的正品率。因此，实时检测材料表面质量，及早发现损坏并及时维修生产设备的配置，已越来越重要。目前，金属材料表面质量检测技术手段主要通过人工目测方法。但是人工目测方法需要人工参与，劳动强大、效率低且测量结果受主观影响大，准确率较低。
发明内容
有鉴于此，本申请提供一种检测模型的训练方法、缺陷检测方法、装置及存储介质，以利于解决现有技术中金属材料表面缺陷检测效率低，成本高的问题。
第一方面，本申请实施例提供了一种金属表面缺陷的检测方法，包括：
获取目标金属表面的检测图像及目标金属表面的模板图像；所述模板图像是所述目标金属表面无缺陷的图像；
将所述目标金属表面的检测图像及目标金属表面的模板图像输入至金属表面缺陷的检测模型，得到所述金属表面缺陷的检测模型输出的所述目标金属表面的检测图像及目标金属表面的模板图像间的差异信息；所述金属表面缺陷的检测模型为预先训练的，用于提取输入的目标金属表面的检测图像的特征信息及目标金属表面的模板图像的特征信息，将所述检测图像的特征信息与所述模板图像的特征信息间的特征差异信息，及所述检测图像的特征信息进行拼接，形成第一特征信息；对所述第一特征信息进行特征融合，输出目标金属表面的检测图像及目标金属表面的模板图像间的差异信息；
根据所述目标金属表面的检测图像及目标金属表面的模板图像间的差异信息，确定所述目标金属表面是否存在缺陷。
优选地，所述金属表面缺陷的检测模型包括：卷积池化层，特征拼接层及输出层；
所述卷积池化层，用于对输入的所述目标金属表面的检测图像及所述目标金属表面的模板图像进行卷积池化处理，提取所述目标金属表面的模板图像及检测图像的特征信息；
所述特征拼接层，用于获取所述模板图像的特征信息及检测图像的特征信息间的特征差异信息，并将获取的所述特征差异信息与所述检测图像的特征信息进行拼接，得到拼接特征信息；对所述拼接特征信息进行上采样，得到第一特征信息；
所述输出层，用于对所述第一特征信息进行卷积处理，得到所述目标金属表面的模板图像及检测图像间的差异信息。
优选地，所述特征拼接层，具体用于根据模板图像的特征信息及检测图像的特征信息，计算所述模板图像的特征信息及所述检测图像的特征信息间的特征差值，根据所述特征差值确定所述模板图像的特征信息及检测图像的特征信息间的特征差异信息。
优选地，所述卷积池化层，具体用于分别对输入的所述模板图像及所述检测图像进行第一卷积处理得到模板图像的第二特征信息及检测图像的第二特征信息；
分别对所述模板图像的第二特征信息及检测图像第二特征信息进行第一池化和第二卷积处理，得到模板图像的第三特征信息及检测图像的第三特征信息；
分别对所述模板图像的第三特征信息及检测图像的第三特征信息进行第二池化和第三卷积处理，得到模板图像的第四特征信息及检测图像的第四特征信息。
优选地，所述特征拼接层，具体用于根据模板图像的第二特征信息及检测图像的第二特征信息，计算模板图像的第二特征信息及检测图像的第二特征信息间的特征差值，根据所述模板图像的第二特征信息及检测图像的第二特征信息间的特征差值确定第一特征差异信息，并将所述第一特征差异信息及所述检测图像的第二特征信息叠加拼接为第一拼接特征信息；其中，所述第一特征差异信息为所述模板图像的第二特征信息及检测图像的第二特征信息间的特征差异信息；
根据模板图像的第三特征信息及检测图像的第三特征信息，计算模板图像的第三特征信息及检测图像的第三特征信息间的特征差值，根据所述模板图像的第三特征信息及检测图像的第三特征信息间的特征差值确定第二特征差异信息，并将所述第二特征差异信息及所述检测图像的第三特征信息叠加拼接为第二特征拼接信息；其中，所述第二特征差异信息为所述模板图像的第三特征信息及检测图像的第三特征信息间的特征差异信息；
根据模板图像的第四特征信息及检测图像的第四特征信息，计算模板图像的第四特征信息及检测图像的第四特征信息间的特征差值，根据所述模板图像的第四特征信息及检测图像的第四特征信息间的特征差值确定第三特征差异信息，并将所述第三特征差异信息及所述检测图像的第四特征信息叠加拼接为第三特征拼接信息；其中，所述第三特征差异信息为所述模板图像的第四特征信息及检测图像的第四特征信息间的特征差异信息；
将所述第一特征拼接信息、第二特征拼接信息及第三特征拼接信息进行上采样，并按照预设顺序拼接为第一特征信息。
优选地，所述根据所述目标金属表面的检测图像及目标金属表面的模板图像间的差异信息，确定所述目标金属表面是否存在缺陷包括：
根据所述目标金属表面的检测图像及目标金属表面的模板图像间的差异信息，确定所述目标金属表面的检测图像中的缺陷像素的数量；
根据所述目标金属表面的检测图像中的缺陷像素的数量，确定所述目标金属表面是否存在缺陷。
优选地，还包括：
若确定所述目标金属表面存在缺陷，则上报。
优选地，所述若确定所述金属表面存在缺陷，则上报包括：
若存在，则在显示器件中显示缺陷提示信息；其中，所述缺陷提示信息用于表征所述目标金属的检测图像中存在金属表面缺陷。
第二方面，本申请实施例提供了一种检测模型的训练方法，包括:
获取样本图像；所述样本图像包括：样本模板图像及样本检测图像；所述样本模板图像为金属表面无缺陷的图像；
根据所述样本图像对预设网络模型进行训练，得到金属表面缺陷的检测模型；所述金属表面缺陷的检测模型用于提取输入的目标金属表面的检测图像的特征信息及目标金属表面的模板图像的特征信息，将所述检测图像的特征信息与模板图像的特征信息间的特征差异信息，及所述检测图像的特征信息进行拼接，形成第一特征信息；对所述第一特征信息进行特征融合，输出检测图像及模板图像间的差异信息。
优选地，所述预设网络模型包括：卷积池化层，特征拼接层及输出层；
所述根据所述样本图像对预设网络模型进行训练，得到金属表面缺陷的检测模型包括：
将所述样本图像输入所述预设网络模型；
所述预设网络模型的卷积池化层对输入的样本模板图像及样本检测图像进行卷积池化处理，提取样本模板图像及样本检测图像的特征信息；
所述预设网络模型的特征拼接层获取样本模板图像的特征信息及样本检测图像的特征信息间的特征差异信息，并将获取的所述特征差异信息与所述样本检测图像的特征信息进行拼接，得到特征拼接信息；对所述特征拼接信息进行上采样，得到第一特征信息；
所述预设网络模型的输出层对所述第一特征信息进行卷积处理，得到所述样本模板图像及样本检测图像间的差异信息；
通过预设损失函数计算所述预设网络模型的输出层输出的样本模板图像及样本检测图像间的差异信息，与预先标记的所述样本模板图像及样本检测图像间的差异信息间的损失值；
若损失值大于预设损失阈值，则根据所述损失值调整所述预设网络模型的参数，并重新执行步骤将所述样本图像输入所述预设网络模型，至步骤若损失值大于预设损失阈值，则根据所述损失值调整所述预设网络模型的参数，直至所述损失值不大于预设损失阈值，得到所述金属表面缺陷的检测模型。
优选地，所述预设损失函数包括二值交叉熵损失函数。
优选地，所述获取样本图像包括：
获取用户预先标记的样本模板图像；
根据所述样本模板图像，生成样本检测图像。
优选地，所述样本检测图像包括：金属表面无缺陷的图像、金属表面存在白缺陷的图像、金属表面存在黑缺陷的图像及金属表面存在污点的图像中的至少一种。
第三方面，本申请实施例提供了一种一种金属表面缺陷的检测装置，包括：
第一通讯器，用于获取目标金属表面的检测图像及目标金属表面的模板图像；所述模板图像是所述目标金属表面无缺陷的图像；
第一处理器，用于将所述目标金属表面的检测图像及目标金属表面的模板图像输入至金属表面缺陷的检测模型，得到所述金属表面缺陷的检测模型输出的所述目标金属表面的检测图像及目标金属表面的模板图像间的差异信息；所述金属表面缺陷的检测模型为预先训练的，用于提取输入的目标金属表面的检测图像的特征信息及目标金属表面的模板图像的特征信息，将所述检测图像的特征信息与所述模板图像的特征信息间的特征差异信息，及所述检测图像的特征信息进行拼接，形成第一特征信息；对所述第一特征信息进行特征融合，输出目标金属表面的检测图像及目标金属表面的模板图像间的差异信息；以及
用于根据所述目标金属表面的检测图像及目标金属表面的模板图像间的差异信息，确定所述目标金属表面是否存在缺陷。
优选地，所述金属表面缺陷的检测模型包括：卷积池化层，特征拼接层及输出层；
所述卷积池化层，用于对输入的所述目标金属表面的检测图像及所述目标金属表面的模板图像进行卷积池化处理，提取所述目标金属表面的模板图像及检测图像的特征信息；
所述特征拼接层，用于获取所述模板图像的特征信息及检测图像的特征信息间的特征差异信息，并将获取的所述特征差异信息与所述检测图像的特征信息进行拼接，得到特征拼接信息；对所述特征拼接信息进行上采样，得到第一特征信息；
所述输出层，用于对所述第一特征信息进行卷积处理，得到所述目标金属表面的模板图像及检测图像间的差异信息。
优选地，所述特征拼接层，具体用于根据模板图像的特征信息及检测图像的特征信息，计算所述模板图像的特征信息及所述检测图像的特征信息间的特征差值，根据所述特征差值确定所述模板图像的特征信息及检测图像的特征信息间的特征差异信息。
优选地，所述卷积池化层，具体用于分别对输入的所述模板图像及所述检测图像进行第一卷积及第一池化处理，得到模板图像的第二特征信息及检测图像的第二特征信息；
分别对所述模板图像的第二特征信息及检测图像第二特征信息进行第二卷积和第二池化处理，得到模板图像的第三特征信息及检测图像的第三特征信息；
分别对所述模板图像的第三特征信息及检测图像的第三特征信息进行第三卷积和第三池化处理，得到模板图像的第四特征信息及检测图像的第四特征信息。
优选地，所述特征拼接层，具体用于根据模板图像的第二特征信息及检测图像的第二特征信息，计算模板图像的第二特征信息及检测图像的第二特征信息间的特征差值，根据所述模板图像的第二特征信息及检测图像的第二特征信息间的特征差值确定第一特征差异信息，并将所述第一特征差异信息及所述检测图像的第二特征信息叠加拼接为第一特征拼接信息；其中，所述第一特征差异信息为所述模板图像的第二特征信息及检测图像的第二特征信息间的特征差异信息；
根据模板图像的第三特征信息及检测图像的第三特征信息，计算模板图像的第三特征信息及检测图像的第三特征信息间的特征差值，根据所述模板图像的第三特征信息及检测图像的第三特征信息间的特征差值确定第二特征差异信息，并将所述第二特征差异信息及所述检测图像的第三特征信息叠加拼接为第二特征拼接信息；其中，所述第二特征差异信息为所述模板图像的第三特征信息及检测图像的第三特征信息间的特征差异信息；
根据模板图像的第四特征信息及检测图像的第四特征信息，计算模板图像的第四特征信息及检测图像的第四特征信息间的特征差值，根据所述模板图像的第四特征信息及检测图像的第四特征信息间的特征差值确定第三特征差异信息，并将所述第三特征差异信息及所述检测图像的第四特征信息叠加拼接为第三特征拼接信息；其中，所述第三特征差异信息为所述模板图像的第四特征信息及检测图像的第四特征信息间的特征差异信息；
将所述第一特征拼接信息、第二特征拼接信息及第三特征拼接信息进行上采样，并按照预设顺序拼接为第一特征信息。
优选地，所述第一处理器，还用于若确定所述目标金属表面存在缺陷，则上报。
优选地，还包括：显示器；
所述第一处理器，具体用于在确定所述目标金属表面存在缺陷时，控制所述显示器显示缺陷提示信息；其中，所述缺陷提示信息用于表征所述目标金属的检测图像中存在金属表面缺陷。
第四方面，本申请实施例提供了一种检测模型的训练装置，包括：
第二通讯器，用于获取样本图像；所述样本图像包括：样本模板图像及样本检测图像；所述样本模板图像为金属表面无缺陷的图像；
第二处理器，与所述第二通讯器耦合，用于根据所述样本图像对预设网络模型进行训练，得到金属表面缺陷的检测模型；所述金属表面缺陷的检测模型用于提取输入的目标金属表面的检测图像的特征信息及目标金属表面的模板图像的特征信息，将所述检测图像的特征信息与模板图像的特征信息间的特征差异信息，及所述检测图像的特征信息进行拼接，形成第一特征信息；对所述第一特征信息进行特征融合，输出检测图像及模板图像间的差异信息。
优选地，所述预设网络模型包括：卷积池化层，特征拼接层及输出层；
所述第二处理器，具体用于将所述样本图像输入所述预设网络模型；
所述预设网络模型的卷积池化层对输入的样本模板图像及样本检测图像进行卷积池化处理，提取样本模板图像及样本检测图像的特征信息；
所述预设网络模型的特征拼接层获取样本模板图像的特征信息及样本检测图像的特征信息间的特征差异信息，并将获取的所述特征差异信息与所述样本检测图像的特征信息进行拼接，得到特征拼接信息；对所述特征拼接信息进行上采样，得到第一特征信息；
所述预设网络模型的输出层对所述第一特征信息进行卷积处理，得到所述样本模板图像及样本检测图像间的差异信息；
通过预设损失函数计算所述预设网络模型的输出层输出的样本模板图像及样本检测图像间的差异信息，与预先标记的所述样本模板图像及样本检测图像间的差异信息间的损失值；
若损失值大于预设损失阈值，则根据所述损失值调整所述预设网络模型的参数，并重新执行步骤将所述样本图像输入所述预设网络模型，至步骤若损失值大于预设损失阈值，则根据所述损失值调整所述预设网络模型的参数，直至所述损失值不大于预设损失阈值，得到所述金属表面缺陷的检测模型。
优选地，所述预设损失函数包括二值交叉熵损失函数。
优选地，所述第二通讯器，具体用于获取用户预先标记的样本模板图像；
根据所述样本模板图像，生成样本检测图像。
优选地，所述样本检测图像包括：金属表面无缺陷的图像、金属表面存在白缺陷的图像、金属表面存在黑缺陷的图像及金属表面存在污点的图像中的至少一种。
第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行上述第一方面任一项或第二方面任一项所述的方法。
采用本申请实施例所提供的方案，获取目标金属表面的检测图像及目标金属表面的模板图像；将目标金属表面的检测图像及目标金属表面的模板图像输入至预先训练的金属表面缺陷的检测模型，金属表面缺陷的检测模型输出目标金属表面的检测图像及目标金属表面的模板图像间的差异信息，可以根据目标金属表面的检测图像及目标金属表面的模板图像间的差异信息，确定该目标金属表面是否存在缺陷。在本申请中通过预先训练金属表面缺陷的检测模型，可以将目标金属表面的检测图像与模板图像间的差异信息输出，从而可以根据差异信息确定目标金属表面是否存在缺陷，无需人工参与，降低了检测成本，提高了检测效率。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种金属表面缺陷的检测方法的流程示意图；
图2为本申请实施例提供的一种金属表面缺陷的检测方法的场景示意图；
图3a为本申请实施例提供的另一种金属表面缺陷的检测方法的场景示意图；
图3b为本申请实施例提供的另一种金属表面缺陷的检测方法的场景示意图；
图3c为本申请实施例提供的另一种金属表面缺陷的检测方法的场景示意图；
图3d为本申请实施例提供的另一种金属表面缺陷的检测方法的场景示意图；
图4为本申请实施例提供的另一种金属表面缺陷的检测方法的场景示意图；
图5为本申请实施例提供的另一种金属表面缺陷的检测方法的场景示意图；
图6a为本申请实施例提供的另一种金属表面缺陷的检测方法的场景示意图；
图6b为本申请实施例提供的另一种金属表面缺陷的检测方法的场景示意图；
图7为本申请实施例提供的另一种金属表面缺陷的检测方法的流程示意图；
图8为本申请实施例提供的一种检测模型的训练方法的流程示意图；
图9为本申请实施例提供的一种检测模型的训练方法的场景示意图；
图10为本申请实施例提供的另一种检测模型的训练方法的流程示意图；
图11a为本申请实施例提供的另一种检测模型的训练方法的场景示意图；
图11b为本申请实施例提供的另一种检测模型的训练方法的场景示意图；
图12为本申请实施例提供的一种金属表面缺陷的检测装置的结构示意图；
图13为本申请实施例提供的另一种金属表面缺陷的检测装置的结构示意图；
图14为本申请实施例提供的一种检测模型的训练装置的结构示意图。
具体实施方式
为了更好的理解本申请的技术方案，下面结合附图对本申请实施例进行详细描述。
应当明确，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，甲和/或乙，可以表示：单独存在甲，同时存在甲和乙，单独存在乙这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
金属材料是重要的工业产品，其表面质量的好坏直接影响其市场销售甚至于工程安全。随着工业生产总值的不断提高，各生产企业对产品的表面质量提出了更高的需求。同时，在生产过程中实时检测到产品表面质量问题，不但可以警示工人及时对生产设备进行检修，也可以减少浪费，调高产品的正品率。因此，实时检测材料表面质量，及早发现损坏并及时维修生产设备的配置，已越来越重要。目前，金属材料表面质量检测技术手段主要通过人工目测方法。但是人工目测方法需要人工参与，劳动强大、效率低且测量结果受主观影响大，准确率较低。
在一些技术中，通过训练神经网络模型来检测金属表面的缺陷。但是常规的神经网络模型通常是通过输入训练图像，对输入的训练图像进行特征提取学习训练图像中的缺陷特征，即为，现有的神经网络模型是对现有金属表面的缺陷进行学习，模型侧重于学习缺陷，从而实现对输入图像的表面缺陷检测。但是当金属表面结构改变，或者出现新的表面缺陷时，常规的神经网络模型需重新学习训练，才能进行新的表面缺陷的检测，检测效率较低。
针对上述问题，本申请实施例提供了一种检测模型的训练方法、缺陷检测方法、装置及存储介质，获取目标金属表面的检测图像及目标金属表面的模板图像；将目标金属表面的检测图像及目标金属表面的模板图像输入至预先训练的金属表面缺陷的检测模型，金属表面缺陷的检测模型输出目标金属表面的检测图像及目标金属表面的模板图像间的差异信息，可以根据目标金属表面的检测图像及目标金属表面的模板图像间的差异信息，确定该目标金属表面是否存在缺陷。在本申请中通过预先训练金属表面缺陷的检测模型，金属表面缺陷的检测模型输入两个图像分别为模板图像及检测图像，金属表面缺陷的检测模型侧重于对比模板图像及检测图像间的差异，检测装置可以通过模板图像及检测图像间的差异来检测缺陷，从而使得本申请中的金属表面缺陷的检测方法具有更好的泛化性，并且无需人工参与，降低了检测成本，提高了检测效率。以下进行详细说明。
参见图1，为本申请实施例提供的一种金属表面缺陷的检测方法的流程示意图。如图1所示，所述方法包括：
步骤S101、获取目标金属表面的检测图像及目标金属表面的模板图像。
其中，模板图像是目标金属表面无缺陷的图像。
需要说明的是，模板图像是针对焊接后的目标金属通过人工检测确定出该目标金属表面没有缺陷时采集的图像。
由于焊接机台在对多个金属加工时，对同一部位进行加工后形成的焊接工件的形状均是相同的。因此，在焊接过程中如果存在表面碰刮压伤等缺陷时，需要对金属表面是否存在缺陷进行检测。在本申请中，针对金属不同位置，均预先设置了金属表面的模板图像。在需要对目标金属的表面进行检测时，检测装置可以获取目标金属表面的检测图像，以及对应的该目标金属表面的模板图像，如图2所示。
步骤S102、将目标金属表面的检测图像及目标金属表面的模板图像输入至金属表面缺陷的检测模型，得到金属表面缺陷的检测模型输出的目标金属表面的检测图像及目标金属表面的模板图像间的差异信息。
其中，金属表面缺陷的检测模型为预先训练的，用于提取输入的目标金属表面的检测图像的特征信息及目标金属表面的模板图像的特征信息，将检测图像的特征信息与模板的特征信息间的特征差异信息，及检测图像的特征信息进行拼接，形成第一特征信息；对第一特征信息进行特征融合，输出目标金属表面的检测图像及目标金属表面的模板图像间的差异信息。
在本申请实施例中，检测装置在获取了目标金属表面的检测图像及模板图像后，将目标金属表面的检测图像及目标金属表面的模板图像作为预先训练的金属表面缺陷的检测模型，检测模型对输入的目标金属表面的检测图像及目标金属表面的模板图像进行像素差异特征提取，输出目标金属表面的检测图像及目标金属表面的模板图像间的差异信息。即为，金属表面缺陷的检测模型是预先训练，其具有两个输入通道用于分别输入模板图像及检测图像。金属表面缺陷的检测模型用于对输入的两个图像间的差异特征进行提取，并输出其差异信息。这样可以通过找出模板图像与检测图像间的表面差异信息，来确定检测图像中是否存在表面缺陷。
作为一种可能的实现方式，金属表面缺陷的检测模型包括：卷积池化层，特征拼接层及输出层；
卷积池化层，用于对输入的目标金属表面的检测图像及目标金属表面的模板图像进行卷积池化处理，提取目标金属表面的模板图像及检测图像的特征信息。
特征拼接层，用于获取模板图像的特征信息及检测图像的特征信息间的特征差异信息，并将获取的所述特征差异信息与检测图像的特征信息进行拼接，得到第二特征信息；对第二特征信息进行上采样，得到第一特征信息。
输出层，用于对第一特征信息进行卷积处理，得到目标金属表面的模板图像及检测图像间的差异信息。
在本申请实施例中，金属表面缺陷的检测模型包括卷积池化层，特征拼接层及输出层，通过卷积池化层、特征拼接层及输出层用于对输入的目标金属表面的模板图像及检测图像间的差异信息进行提取，并输出。即为，卷积池化层，用于对输入的目标金属表面的检测图像及目标金属表面的模板图像分别进行卷积池化处理，提取目标金属表面的模板图像及检测图像的特征信息。下面以卷积池化层对输入的目标金属的检测图像进行卷积池化处理为例进行说明。在卷积池化层中分别设置了卷积核及池化核，由于每个卷积核用于提取一种特征信息。例如，提取颜色特征信息。若要提取多种特征信息，则需要设置多个卷积核。例如，若要提取颜色特征信息，则需要设置提取颜色对应的卷积核，若要提取边缘，则需要设置提取边缘对应的卷积核，若要提取轮廓，则需要设置提取轮廓对应的卷积核。通常在卷积池化层中，设置多个卷积核，用于提取多种特征信息，得到多通道特征信息，例如设置32个卷积核提取32种特征信息，得到32个通道特征信息，参考图3c所示。
为了不同尺度下的特征信息，通常设置多层卷积池化层。例如，设置每层卷积池化层的卷积核为3*3大小，池化核为2*2大小。对目标金属表面的检测图像进行第一层卷积池化处理时，利用卷积核3*3提取特征值。即为，对目标金属表面的检测图像每个相邻3*3小图像的特征值进行提取，如图3a所示。通常第一层卷积池化层是对检测图像的特征直接进行提取，属于细节特征提取，得到第一特征图像。对第一次卷积后的第一特征图像进行池化处理，此时可以利用池化核对第一次卷积后的第一特征图像进行2*2的池化处理。其中，2*2池化处理是将图像a中的2*2的数据以取平均或者取最大值的方式，变成1*1的特征值，如图3b所示。通过池化处理后图像降低了特征维度并保留了有效信息，图像的尺寸相应减小。例如，目标金属表面的检测图像为500*500的大小，在第一层池化后，得到第二特征图像，第二特征图像变成250*250大小。
需要说明的是，在图3a中，目标金属表面的检测图像的数值仅是示例性展示，并不是目标金属表面的检测图像的真实数据，本申请图示中的数据并不是具体限定数据。同理，图3b及图3d中的数据均仅是示例性展示，并不对本申请做具体限定数据。
然后进行第二层卷积池化层处理。此时，第二次卷积是对第一层卷积池化层处理得到的第二特征图像进行卷积池化处理。此时，对250*250的第二特征图像，利用3*3的第二层卷积核对第二特征图像中每个相邻3*3的小图像进行卷积处理，提取特征值，得到第三特征图像。第二层卷积后的第三特征图像的每一个特征值都来原于原图的18*18（18=3*2*3）小图像，因此第二层卷积的特征尺寸更大，看到的视野更广阔，属于图像的相对局部特征提取。同样，对第二层卷积后的第三特征图像进行2*2的池化处理，缩小图像得到第四特征图像，第四特征图像变为125*125大小，如图3c所示。
然后在进行第三层卷积池化处理。而第三层卷积池化处理是在第二特征图像的基础上在提取相邻小图像的特征值，得到特征尺寸更大，属于图像的相对整体特征提取。其中，第三层卷积池化处理可参考第二层卷积池化处理，在此不再赘述。依次类推，对目标金属表面的检测图像进行多层的卷积池化层的特征提取，实现逐步得到图像的细节、局部、整体等不同尺度的特征提取。每一个卷积层会有多个卷积核，对应提取如颜色、边缘、轮廓等不同中特征信息的提取。
需要说明的是，卷积池化层需要进行几层特征信息的提取，可以根据实际需要设置，可以进行三层卷积池化层的特征信息提取，可以进行四层、五层，需要提取的特征越精细则可以设置越多层的卷积池化层。
这样，金属表面缺陷的检测模型通过卷积池化层可以提取出目标金属表面的检测图像中的多层特征信息。同理，金属表面缺陷的检测模型通过卷积池化层可以提取出目标金属表面的模板图像中的多层特征信息，具体可参考金属表面缺陷的检测模型通过卷积池化层可以提取出目标金属表面的检测图像中的多层特征信息，在此不再赘述。
金属表面缺陷的检测模型在提取了目标金属表面的模板图像及检测图像的多层特征信息后，可以将目标金属表面的模板图像与检测图像的卷积池化层中每层卷积后的相同尺寸的特征信息的特征值相减，计算绝对差值，将计算出的绝对差值作为目标金属表面的模板图像与检测图像的特征差异信息。例如，目标金属表面的模板图像与检测图像的第一次卷积后的第一特征图像的特征值相减计算出绝对差值，将该绝对差值作为目标金属表面的模板图像与检测图像的第一特征图像间的特征差异信息。目标金属表面的模板图像与检测图像的第二次卷积后的第三特征图像的特征值对应相减计算出绝对差值，将该绝对差值作为目标金属表面的模板图像与检测图像的第三特征图像间的特征差异信息。依次类推，将目标金属表面的模板图像与检测图像的卷积池化层中每层卷积后的相同尺寸的特征信息中特征值相减，计算绝对差值，从而可以获取到模板图像的特征信息及检测图像的特征信息间的多层特征差异信息。然后针对获取的多层特征差异信息中每层特征差异信息，将该层特征差异信息与相同尺寸的检测图像的卷积后的特征图像进行拼接，得到特征拼接信息。例如，将目标金属表面的模板图像与检测图像的第一特征图像间的差异信息，与目标金属表面的检测图像的第一特征图像进行特征拼接，得到第一特征拼接信息。同理，将目标金属表面的模板图像与检测图像的第三特征图像间的差异信息，与目标金属表面的检测图像的第三特征图像进行特征拼接，得到第二特征拼接信息。由于第一特征拼接信息的图像尺寸与第二特征拼接信息的图像尺寸不同，因此，可以对不同的特征拼接信息进行上采样，将不同特征拼接信息的图像尺寸调整为检测图像的原图大小，如图3d所示，得到第一特征信息。
金属表面缺陷的检测模型的输出层，将第一特征信息进行卷积处理，将检测图像与目标图像中的差异信息输出。
这样一来，通过金属表面缺陷的检测模型将分为卷积池化层、特征拼接层及输出层，可以将需要检测的目标金属表面的检测图像及对应的模板图像同时输入至进行表面缺陷的检测模型，通过卷积池化层提取目标金属表面的检测图像及模板图像的特征信息，通过特征拼接层获取目标金属表面的检测图像及模板图像的特征信息间的特征差异信息，得到第一特征信息。输出层根据第一特征信息输出目标金属表面的模板图像及检测图像间的差异信息。这样，通过金属表面缺陷的检测模型可以提取任意焊接金属的检测图像与模板图像间的差异信息，从而可以根据该差异信息确定是否存在金属表面缺陷，在本申请中金属表面缺陷的检测模型主要用于确定检测图像与模板图像间的差异信息，具有更好的泛化性。并且金属表面缺陷的检测模型通过提取检测图像与模板图像间的特征信息，将特征信息进行比对，从而输出检测图像与模板图像间差异信息，提高了目标金属表面的检测图像与模板图像间差异信息获取的准确性，从而可以提高了目标金属表面缺陷检测的准确性。并且，目标金属表面的检测图像与模板图像间差异信息获取的过程无需人工参与，降低了检测成本且提高了检测效率。
作为一种可能的实现方式，目标金属表面的检测图像及目标金属表面的模板图像间的差异信息是一张与目标金属表面的检测图像相同大小的图像，该图像中通过调整目标像素点的灰色值将目标金属表面的检测图像及目标金属表面的模板图像差异部分显示出。其中，目标像素点是目标金属表面的检测图像及目标金属表面的模板图像差异部分的像素点，如图4所示。
通过上述方式，可以在图像中直接将目标金属表面的检测图像及目标金属表面的模板图像差异部分显示出，方便用户获知检测图像与模板图像间的哪个位置存在差异，及该差异的形状、大小等信息。
作为一种可能的实现方式，特征拼接层，具体用于根据模板图像的特征信息及检测图像的特征信息，计算模板图像的特征信息及检测图像的特征信息间的特征差值，根据特征差值确定模板图像的特征信息及检测图像的特征信息间的特征差异信息。
即为，特征拼接层在计算模板图像的特征信息及检测图像的特征信息间的特征差异信息时，可以直接计算模板图像的特征信息及检测图像的特征信息间的特征差值，将该差值作为模板图像的特征信息及检测图像的特征信息间的特征差异信息。这样一来，如果模板图像的特征信息及检测图像的特征信息间没有差异，则特征差值为0，如果有差异，则特征差值非零，这样可以确定出模板图像的特征信息及检测图像的特征信息间的特征差异信息。通过直接计算模板图像的特征信息及检测图像的特征信息间的特征差值，可以更准确的确定出模板图像的特征信息及检测图像的特征信息间的特征差异信息，从而可以提高金属表面缺陷检测的准确性。
作为一种可能的实现方式，在本申请实施例中卷积池化层包含三层卷积池化处理，此时，卷积池化层，具体用于分别对输入的模板图像及检测图像进行第一卷积处理得到模板图像的第二特征信息及检测图像的第二特征信息。分别对模板图像的第二特征信息及检测图像第二特征信息进行第一池化和第二卷积处理，得到模板图像的第三特征信息及检测图像的第三特征信息。分别对模板图像的第三特征信息及检测图像的第三特征信息进行第二池化和第三卷积处理，得到模板图像的第四特征信息及检测图像的第四特征信息。
在本申请实施例中，卷积池化层需要对目标金属表面的检测图像及模板图像进行三次卷积处理及两次池化处理，即为，卷积池化层对输入的模板图像进行第一卷积处理得到模板图像的第二特征信息。对输入的检测图像进行第一卷积处理得到检测图像的第二特征信息。其中，卷积池化层对模板图像及检测图像进行第一卷积处理时采用的卷积核是预先设置的。卷积池化层对模板图像的第二特征信息进行第一池化和第二卷积处理，即为，利用预设的第一池化核对第二特征信息进行池化处理，降低图像的维度，减少图像的尺寸。并对池化后的第二特征信息进行第二卷积处理，得到模板图像的第三特征信息。同理，卷积池化层对检测图像的第二特征信息进行第一池化和第二卷积处理，即为，利用预设的第一池化核对第二特征信息进行池化处理，降低图像的维度，减少图像的尺寸。并对池化后的第二特征信息进行第二卷积处理，得到检测图像的第三特征信息。卷积池化层对检测图像对模板图像的第三特征信息进行第二池化及第三卷积处理，即为，利用预设的第二池化核对第三特征信息进行池化处理，降低图像的维度，减少图像的尺寸。并对池化后的第三特征信息进行第三卷积处理，得到模板图像的第四特征信息。同理，卷积池化层对检测图像的第三特征信息进行第一池化和第二卷积处理，即为，利用预设的第二池化核对第三特征信息进行池化处理，降低图像的维度，减少图像的尺寸。并对池化后的第三特征信息进行第二卷积处理，得到检测图像的第四特征信息。
其中，第四特征信息的图像尺寸小于第三特征信息图像的尺寸，第三特征信息图像的尺寸小于第二特征信息图像的尺寸。
在本申请中，通过卷积池化层进行三层卷积处理，可以对图像的三个尺寸的特征信息进行提取，逐层得到图像的细节、局部及整体的特征信息，从而可以提取图像中较为全面的特征信息，提高了检测图像及模板图像的特征信息提取的准确性及全面性，从而可以保证模板金属表面的缺陷检测的准确性。
作为一种可能的实现方式，在上述卷积池化层进行三层卷积处理，得到三层特征信息时，特征拼接层需要三层特征信息进行相应的拼接。此时，特征拼接层，具体用于根据模板图像的第二特征信息及检测图像的第二特征信息，计算模板图像的第二特征信息及检测图像的第二特征信息间的特征差值，根据模板图像的第二特征信息及检测图像的第二特征信息间的特征差值确定第一特征差异信息，并将第一特征差异信息及检测图像的第二特征信息叠加拼接为第一特征拼接信息。根据模板图像的第三特征信息及检测图像的第三特征信息，计算模板图像的第三特征信息及检测图像的第三特征信息间的特征差值，根据模板图像的第三特征信息及检测图像的第三特征信息间的特征差值确定第二特征差异信息，并将第二特征差异信息及所述检测图像的第三特征信息叠加拼接为第二特征拼接信息。根据模板图像的第四特征信息及检测图像的第四特征信息，计算模板图像的第四特征信息及检测图像的第四特征信息间的特征差值，根据模板图像的第四特征信息及检测图像的第四特征信息间的特征差值确定第三特征差异信息，并将第三特征差异信息及检测图像的第四特征信息叠加拼接为第三特征拼接信息。将第一特征拼接信息、第二特征拼接信息及第三特征拼接信息进行上采样，并按照预设顺序拼接为第一特征信息。
其中，第一特征差异信息为模板图像的第二特征信息及检测图像的第二特征信息间的特征差异信息；第二特征差异信息为模板图像的第三特征信息及检测图像的第三特征信息间的特征差异信息；第三特征差异信息为模板图像的第四特征信息及检测图像的第四特征信息间的特征差异信息。
在本申请实施例中，卷积池化层提出其模板图像及检测图像的第二特征信息、第三特征信息及第四特征信息后，特征拼接层计算卷积池化层提取的模板图像的第二特征信息及检测图像的第二特征信息中对应位置的特征值间的特征差值，得到模板图像的第二特征信息及检测图像的第二特征信息间的特征差异信息，即为得到第一特征差异信息。将第一特征差异信息与检测图像的第二特征信息叠加拼接成第一特征拼接信息，如图5所示。
同理，特征拼接层计算积池化层提取的模板图像的第三特征信息及检测图像的第三特征信息中对应位置的特征值间的特征差值，得到模板图像的第三特征信息及检测图像的第三特征信息间的特征差异信息，即为得到第二特征差异信息。将第二特征差异信息与检测图像的第三特征信息叠加拼接形成第二特征拼接信息。
特征拼接层计算积池化层提取的模板图像的第四特征信息及检测图像的第四特征信息中对应位置的特征值间的特征差值，得到模板图像的第四特征信息及检测图像的第四特征信息间的特征差异信息，即为得到第三特征差异信息。将第三特征差异信息与检测图像的第四特征信息叠加拼接形成第三特征拼接信息。
应理解的，叠加拼接是指相同尺寸的图像在特征通道上进行叠加。例如，500*500的具有3个特征通道的图像与500*500的具有6个特征通道的图像进行叠加拼接，得到500*500的9个特征通道的图像。
在卷积池化层中进行多层卷积池化时，得到多个特征差异信息，将多个特征差异信息分别与检测图像的特征信息进行拼接后，可以得到多个拼接后的特征拼接信息。不同特征拼接信息是对不同图像尺寸的特征信息的拼接，因此拼接后的特征拼接信息的图像尺寸不同，与检测图像的原图尺寸也不完全相同。此时，将第一特征拼接信息、第二特征拼接信息及第三特征拼接信息分别进行上采样处理，将第一特征拼接信息的图像尺寸、第二特征拼接信息的图像尺寸及第三特征拼接信息的图像尺寸上采样为检测图像原图像尺寸大小。并将第一特征拼接信息、第二特征拼接信息及第三特征拼接信息按照预设训练，拼接为第一特征信息。
应理解的，预设顺序是预先设置的用于特征拼接信息拼接为第一特征信息时的顺序。例如，在进行第一特征拼接信息、第二特征拼接信息及第三特征拼接信息的拼接时，可以按照第三特征拼接信息、第二特征拼接信息及第一特征拼接信息的顺序将第一特征拼接信息、第二特征拼接信息及第二特征拼接信息拼接为第一特征信息。当然，还可以是其他顺序，本申请对此不作限制。
即为，在本申请中特征拼接层可以将模板图像及检测图像间的特征差异信息与检测图像的特征信息进行拼接得到特征拼接信息，从而根据该特征拼接信息输出模板图像及检测图像间的差异信息，通过增加特征信息，可以提高模板图像及检测图像间的差异信息输出的准确性，进而提高目标金属表面缺陷检测的准确性。
步骤S103、根据目标金属表面的检测图像及目标金属表面的模板图像间的差异信息，确定目标金属表面是否存在缺陷。
在本申请实施例中，检测装置获取到目标金属表面的检测图像及目标金属表面的模板图像间的差异信息，其中金属表面缺陷的检测模型输出的差异信息可以是图像信息。此时检测装置可以根据目标金属表面的模板图像及检测图像间的差异信息，确定出差异信息中标示差异的像素点的数量，进而可以确定目标金属表面是否存在缺陷。
作为一种可能的实现方式，根据目标金属表面的检测图像及目标金属表面的模板图像间的差异信息，确定目标金属表面是否存在缺陷包括：
根据目标金属表面的检测图像及目标金属表面的模板图像间的差异信息，确定目标金属表面的检测图像中的缺陷像素的数量；根据目标金属表面的检测图像中的缺陷像素的数量，确定目标金属表面是否存在缺陷。
在本申请实施例中，检测装置获取目标金属表面的检测图像及目标金属表面的模板图像间的差异信息，可以确定出差异信息图像中标识出差异的像素点的个数，例如，在差异信息图像中，通过目标像素点来标识出差异的形状。此时目标像素点的灰度值设置为大于预设阈值，差异信息图像中，除目标像素点的其他像素点的灰度值小于预设阈值。这样一来，检测装置可以通过检测差异信息图像中每个像素点的灰度值，确定该出检测图像中缺陷像素的数量。检测装置可以获取预设的缺陷像素阈值。在检测图像中缺陷像素的数量大于预设的缺陷像素阈值时，则可以确定目标金属表面存在缺陷，如图6a。在检测图像中缺陷像素的数量不大于预设的缺陷像素阈值时，则可以确定目标金属表面不存在缺陷，如图6b所示。
通过上述方式检测目标金属表面是否存在缺陷，用户可以根据实际需求设置预设阈值，从而可以控制目标金属表面的缺陷检测，进一步提高了目标金属表面的缺陷检测方法的泛化性。
总上，在本申请中通过预先训练金属表面缺陷的检测模型，金属表面缺陷的检测模型输入两个图像分别为模板图像及检测图像，金属表面缺陷的检测模型侧重于对比模板图像及检测图像间的差异，检测装置可以通过模板图像及检测图像间的差异来检测缺陷，从而使得本申请中的金属表面缺陷的检测方法具有更好的泛化性，并且无需人工参与，降低了检测成本，提高了检测效率。
参见图7，为本申请实施例提供的一种金属表面缺陷的检测方法的流程示意图。本申请实施例相对于附图1所述的实施例，增加了缺陷上报的步骤。如图7所示，所述方法包括：
步骤S701、获取目标金属表面的检测图像及目标金属表面的模板图像。
其中，模板图像是目标金属表面无缺陷的图像。
具体可参考步骤S101在此不再赘述。
步骤S702、将目标金属表面的检测图像及目标金属表面的模板图像输入至金属表面缺陷的检测模型，得到金属表面缺陷的检测模型输出的目标金属表面的检测图像及目标金属表面的模板图像间的差异信息。
其中，金属表面缺陷的检测模型为预先训练的，用于提取输入的目标金属表面的检测图像的特征信息及目标金属表面的模板图像的特征信息，将检测图像的特征信息与所述模板的特征信息间的特征差异信息、及检测图像的特征信息进行拼接，形成第一特征信息；对第一特征信息进行特征融合，输出目标金属表面的检测图像及目标金属表面的模板图像间的差异信息。
具体可参考步骤S102在此不再赘述。
步骤S703、根据目标金属表面的检测图像及目标金属表面的模板图像间的差异信息，确定目标金属表面是否存在缺陷。
具体可参考步骤S103在此不再赘述。
步骤S704、若确定目标金属表面存在缺陷，则上报。
在本申请实施例中检测装置在检测出目标金属表面存在缺陷时，可以上报给工作人员，此时可以通过显示信息或者声音提示等方式上报。
作为一种可能的实现方式，若确定金属表面存在缺陷，则上报包括：
若存在，则在显示器件中显示缺陷提示信息。
其中，缺陷提示信息用于表征目标金属的检测图像中存在金属表面缺陷。
即为，检测装置在检测出目标金属表面存在缺陷时，可以生成相应的缺陷提示信息，并在显示器件中显示该缺陷提示信息。
这样一来，用户可以直接在显示器中获取到目标金属表面的缺陷信息，以便用户查找出缺陷产品，保证产品的品质。
参见图8，为本申请实施例提供的一种金属表面缺陷的检测模型的训练方法的流程示意图。如图8所示，该方法包括：
步骤S801、获取样本图像。
样本图像包括：样本模板图像及样本检测图像；样本模板图像为金属表面无缺陷的图像。
在本申请实施例中，训练装置获取焊接工件焊接后的图像。此时可以获取用户标记出金属表面没有缺陷的模板图像，即为获取样本模板图像。
训练装置也可以获取用户人工标记出焊接工件存在表面缺陷的样本检测图像。
作为一种可能的实现方式，获取样本图像包括：
获取用户预先标记的样本模板图像；根据样本模板图像，生成样本检测图像。
即为，为了降低人工成本，并减少预设网络模型对金属纹理和光影差异的误判，可以通过训练装置自行生成样本检测图像。此时，训练装置可以将对样本模板图像进行缺陷添加，将添加了缺陷的样本模板图像确定为样本检测图像。训练装置为了扩增训练样本图像，可以将获取的样本模板图像进行移动、翻转等操作后在添加缺陷图像，形成多个样本检测图像，并标记出每个样本检测图像的表面缺陷信息。通过上述方式，可以形成训练样本集。训练装置可以在训练时，通过训练样本集获取样本图像。
作为一种可能的实现方式，样本检测图像包括：金属表面无缺陷的图像、金属表面存在白缺陷的图像、金属表面存在黑缺陷的图像及金属表面存在污点的图像中的至少一种，如图9所示。通过采用多种缺陷的样本检测图像对预设网络模型进行训练，可以使得最终训练完成的进行表面缺陷的检测模型能够识别出不同缺陷的检测与模板图像间的各种差异信息，提高预设网络模型训练的准确性。
步骤S802、根据样本图像对预设网络模型进行训练，得到金属表面缺陷的检测模型。
其中，金属表面缺陷的检测模型用于提取输入的目标金属表面的检测图像的特征信息及目标金属表面的模板图像的特征信息，将检测图像的特征信息与模板图像的特征信息间的特征差异信息，及检测图像的特征信息进行拼接，形成第一特征信息；对第一特征信息进行特征融合，输出检测图像及模板图像间的差异信息。
在本申请实施例中，训练装置在获取了样本图像后，可以利用样本图像对预设网络模型进行训练，即为通过样本图像中的样本模板图像及样本检测图像对预设网络模型进行训练，使得预设网络模型输出样本模板图像及样本检测图像间的差异信息与样本检测图像中的缺陷信息间的差异越来越小，得到金属表面缺陷的检测模型。
作为一种可能的实现方式，预设网络模型包括：卷积池化层，特征拼接层及输出层；
如图10所示，根据样本图像对预设网络模型进行训练，得到金属表面缺陷的检测模型包括：
步骤S1001、将样本图像输入预设网络模型。
步骤S1002、预设网络模型的卷积池化层对输入的样本模板图像及样本检测图像进行卷积池化处理，提取样本模板图像及样本检测图像的特征信息。
在本申请实施例中，将样本模板图像及样本检测图像输入至预设网络模型，预设网络模型中的卷积池化层分别对样本模板图像及样本检测图像进行卷积处理提取图像中的特征信息，并对提取后的特征信息进行池化处理，得到不同尺寸的特征图像。卷积池化层中可以包含多层的卷积池化层，在每层卷积池化层中分别对输入的图像进行卷积处理提取特征信息，并进行池化处理，降低特征维度得到特征图像。其中，第一层卷积池化层输入的图像是样本模板图像及样本检测图像，其他层卷积池化层输入的图像是上一层卷积池化层卷积池化处理后的特征图像。通过预设网络模型的卷积池化层提取样本模板图像及样本检测图像的特征信息。
例如，预设网络模型中包含三层卷积池化处理层，此时，预设网模型接收到样本模板图像及样本检测图像后，第一层卷积池化层对样本模板图像进行卷积处理，提取样本模板图像的特征信息，得到第二特征信息。对第二特征信息进行池化处理，降低特征维度，减少第二特征信息图像的尺寸。对第一层卷积池化层卷积池化后的第二特征信息进行第二层卷积池化层处理。即为对池化后的第二特征信息进行第二卷积处理，提取第三特征信息。对第三特征信息进行第二池化处理，降低特征维度，减少第三特征信息图像的尺寸。对第二层卷积池化层卷积池化后的第三特征信息进行第三层卷积池化层处理。即为对池化后的第三特征信息进行第三卷积处理，提取第四特征信息。同理，卷积池化层对样本检测图像分别进行三层卷积池化处理，可参考上述对样本模板图像的三层卷积池化处理，在此不再赘述。
步骤S1003、预设网络模型的特征拼接层获取样本模板图像的特征信息及样本检测图像的特征信息间的特征差异信息，并将获取的所述特征差异信息与所述样本检测图像的特征信息进行拼接，得到第二特征信息；对所述第二特征信息进行上采样，得到第一特征信息。
在本申请实施例中，预设网络模型的卷积池化层提取了特征信息后，特征拼接层根据样本模板图像的第二特征信息及样本检测图像的第二特征信息，计算第二特征信息间的特征值差值，得到第二特征信息间的特征差异信息。将第二特征信息间的特征差异信息与样本检测图像的第二特征信息叠加拼接，得到第一特征拼接信息。特征拼接层根据样本模板图像的第三特征信息及样本检测图像的第三特征信息，计算第三特征信息间的特征值差值，得到第三特征信息间的特征差异信息。将第三特征信息间的特征差异信息与样本检测图像的第三特征信息叠加拼接，得到第二特征拼接信息。特征拼接层根据样本模板图像的第四特征信息及样本检测图像的第四特征信息，计算第四特征信息间的特征值差值，得到第四特征信息间的特征差异信息。将第四特征信息间的特征差异信息与样本检测图像的第四特征信息叠加拼接，得到第三特征拼接信息。将第一特征拼接信息、第二特征拼接信息及第三特征拼接信息进行上采样，将第一特征拼接信息、第二特征拼接信息及第三特征拼接信息的图像尺寸调整为样本检测图像的原图像大小。将上采样后的第一特征拼接信息、第二特征拼接信息及第三特征拼接信息按照预设顺序拼接为第一特征信息。
步骤S1004、预设网络模型的输出层对第一特征信息进行卷积处理，得到样本模板图像及样本检测图像间的差异信息。
在本申请实施例中，预设网络模型的输出层在得到特征拼接层输出的第一特征信息后，对第一特征信息进行卷积处理，以对第一特征信息进行分类，从而将样本模板图像及样本检测图像间的差异在输出的图像中显示出来。例如将样本模板图像及样本检测图像间的差异在输出的图像中对应的像素的灰度值设置为大于预设灰度阈值，而输出的图像中其他像素的灰度值小于预设灰度阈值。
步骤S1005、通过预设损失函数计算预设网络模型的输出层输出的样本模板图像及样本检测图像间的差异信息，与预先标记的样本模板图像及样本检测图像间的差异信息间的损失值。
在本申请实施例中，预先设置了损失函数，训练装置在得到预设网络模型输出的样本模板图像及样本检测图像间的差异信息后，可以根据预设损失函数计算样本模板图像及样本检测图像间的差异信息，与预先标记的样本模板图像及样本检测图像间的差异信息间的损失值。
作为一种可能的实现方式，上述预设损失函数为二值交叉熵损失函数。例如，预设 网络模型输出的样本模板图像及样本检测图像间的差异信息，如图11a所示。在图11a中包 含有输出的差异信息图像及图像中每个像素点的特征预测值，例如每个像素点的灰度值。 训练装置获取的预先标记的样本模板图像及样本检测图像间的差异信息，如图11b所示。在 图11b中包含预先标记的有样本模板图像及样本检测图像间的差异信息图及图像中每个像 素点的特征标准值。训练装置根据公式
Figure 913357DEST_PATH_IMAGE001
计算损失 值。其中，i表示第i个像素点，Li表示第i个像素点间特征预测值及特征标准值间的损失值；
Figure 909126DEST_PATH_IMAGE002
表示第i个像素点的特征标准值；
Figure 423284DEST_PATH_IMAGE003
表示第i个像素点的特征预测值。训练装置可以将所 有像素点的损失值相加得到总的损失值。
需要说明的是，在图11a及图11b中标识出的数值仅是一种示例展示，并不对本申请的差异信息进行限制。
步骤S1006、检测损失值是否大于预设损失阈值。若损失值大于预设损失阈值，则根据损失值调整所述预设网络模型的参数，并重新执行步骤将样本图像输入预设网络模型，至步骤若损失值大于预设损失阈值，则根据损失值调整所述预设网络模型的参数，直至损失值不大于预设损失阈值，得到金属表面缺陷的检测模型。
在本申请实施例中，训练装置获取预先设置的预设损失阈值。训练装置根据计算出的损失值判断该损失值是否大于预设损失阈值。在计算出的损失值大于预设损失阈值时，则说明预设网络模型输出的样本模板图像及样本检测图像间的差异信息误差较大，此时可以根据损失值调整预设网络模型中的参数，例如调整卷积池化层中的卷积核、池化核等参数。在调整预设网络模型的参数后，重新获取样本图像，并重新执行将样本图像输入预设网络模型，至步骤若损失值大于预设损失阈值，则根据损失值调整所述预设网络模型的参数，即为重新步骤S1001-步骤S1006，直至检测出损失值不大于预设损失阈值，将此时的预设网络模型确定为金属表面缺陷的检测模型。
通过上述步骤可以实现对预设网络模型的训练，得到能够输出检测图像与模板图像间的差异信息的金属表面缺陷的检测模型。这样一来，在进行目标金属表面缺陷检测时，可以直接将目标金属表面的检测图像与模板图像输入至金属表面缺陷的检测模型，金属表面缺陷的检测模型可以输出目标金属表面的检测图像与模板图像间的差异信息，从而可以根据差异信息确定目标金属表面是否存在缺陷，无需人工参与，降低了检测成本，提高了检测效率。并且，在本申请实施例中，训练完成的金属表面缺陷的检测模型是将输入的两个图像间的差异信息输出，可以适用于任何焊接工件的表面缺陷的检测，具有良好的泛化性。
参见图12，为本申请实施例提供的一种金属表面缺陷的检测装置的结构示意图。如图12所示，该检测装置包括：
第一通讯器1201，用于获取目标金属表面的检测图像及目标金属表面的模板图像。
其中，模板图像是目标金属表面无缺陷的图像。
第一处理器1202，将目标金属表面的检测图像及目标金属表面的模板图像输入至金属表面缺陷的检测模型，得到金属表面缺陷的检测模型输出的目标金属表面的检测图像及目标金属表面的模板图像间的差异信息。以及用于根据目标金属表面的检测图像及目标金属表面的模板图像间的差异信息，确定目标金属表面是否存在缺陷。
其中，金属表面缺陷的检测模型为预先训练的，用于提取输入的目标金属表面的检测图像的特征信息及目标金属表面的模板图像的特征信息，将检测图像的特征信息与模板图像的特征信息间的特征差异信息，及检测图像的特征信息进行拼接，形成第一特征信息；对第一特征信息进行特征融合，输出目标金属表面的检测图像及目标金属表面的模板图像间的差异信息。
作为一种可能的实现方式，金属表面缺陷的检测模型包括：卷积池化层，特征拼接层及输出层。
卷积池化层，用于对输入的目标金属表面的检测图像及目标金属表面的模板图像进行卷积池化处理，提取目标金属表面的模板图像及检测图像的特征信息。
特征拼接层，用于获取模板图像的特征信息及检测图像的特征信息间的特征差异信息，并将获取的特征差异信息与检测图像的特征信息进行拼接，得到特征拼接信息；对特征拼接信息进行上采样，得到第一特征信息。
输出层，用于对第一特征信息进行卷积处理，得到目标金属表面的模板图像及检测图像间的差异信息。
作为一种可能的实现方式，特征拼接层，具体用于根据模板图像的特征信息及检测图像的特征信息，计算模板图像的特征信息及检测图像的特征信息间的特征差值，根据特征差值确定模板图像的特征信息及检测图像的特征信息间的特征差异信息。
作为一种可能的实现方式，卷积池化层，具体用于分别对输入的所述模板图像及检测图像进行第一卷积及第一池化处理，得到模板图像的第二特征信息及检测图像的第二特征信息。
分别对模板图像的第二特征信息及检测图像第二特征信息进行第二卷积和第二池化处理，得到模板图像的第三特征信息及检测图像的第三特征信息。
分别对模板图像的第三特征信息及检测图像的第三特征信息进行第三卷积和第三池化处理，得到模板图像的第四特征信息及检测图像的第四特征信息。
作为一种可能的实现方式，特征拼接层，具体用于根据模板图像的第二特征信息及检测图像的第二特征信息，计算模板图像的第二特征信息及检测图像的第二特征信息间的特征差值，根据模板图像的第二特征信息及检测图像的第二特征信息间的特征差值确定第一特征差异信息，并将第一特征差异信息及检测图像的第二特征信息叠加拼接为第一特征拼接信息。
根据模板图像的第三特征信息及检测图像的第三特征信息，计算模板图像的第三特征信息及检测图像的第三特征信息间的特征差值，根据模板图像的第三特征信息及检测图像的第三特征信息间的特征差值确定第二特征差异信息，并将第二特征差异信息及所述检测图像的第三特征信息叠加拼接为第二特征拼接信息。
根据模板图像的第四特征信息及检测图像的第四特征信息，计算模板图像的第四特征信息及检测图像的第四特征信息间的特征差值，根据模板图像的第四特征信息及检测图像的第四特征信息间的特征差值确定第三特征差异信息，并将第三特征差异信息及所述检测图像的第四特征信息叠加拼接为第三特征拼接信息。
将第一特征拼接信息、第二特征拼接信息及第三特征拼接信息进行上采样，并按照预设顺序拼接为第一特征信息。
其中，第一特征差异信息为模板图像的第二特征信息及检测图像的第二特征信息间的特征差异信息。第二特征差异信息为模板图像的第三特征信息及检测图像的第三特征信息间的特征差异信息。第三特征差异信息为模板图像的第四特征信息及检测图像的第四特征信息间的特征差异信息。
作为一种可能的实现方式，第一处理器1202，还用于若确定所述目标金属表面存在缺陷，则上报。
作为一种可能的实现方式，如图13所示，上述金属表面缺陷的检测装置还包括显示器1203。
此时，第一处理器1202，具体用于在确定目标金属表面存在缺陷时，控制显示器1203显示缺陷提示信息.
其中，缺陷提示信息用于表征目标金属的检测图像中存在金属表面缺陷。
在本申请中通过预先训练金属表面缺陷的检测模型，金属表面缺陷的检测模型输入两个图像分别为模板图像及检测图像，金属表面缺陷的检测模型侧重于对比模板图像及检测图像间的差异，检测装置可以通过模板图像及检测图像间的差异来检测缺陷，从而使得本申请中的金属表面缺陷的检测方法具有更好的泛化性，并且无需人工参与，降低了检测成本，提高了检测效率。
参见图14，为本申请实施例提供的一种检测模型的训练装置的结构示意图。如图14所示，包括：
第二通讯器1401，用于获取样本图像.
其中，样本图像包括：样本模板图像及样本检测图像；样本模板图像为金属表面无缺陷的图像。
第二处理器1402，与第二通讯器1401耦合，用于根据样本图像对预设网络模型进行训练，得到金属表面缺陷的检测模型。
其中，金属表面缺陷的检测模型用于提取输入的目标金属表面的检测图像的特征信息及目标金属表面的模板图像的特征信息，将检测图像的特征信息与模板图像的特征信息间的特征差异信息，及检测图像的特征信息进行拼接，形成第一特征信息；对第一特征信息进行特征融合，输出检测图像及模板图像间的差异信息。
作为一种可能的实现方式，预设网络模型包括：卷积池化层，特征拼接层及输出层；
第二处理器1402，具体用于将样本图像输入预设网络模型。预设网络模型的卷积池化层对输入的样本模板图像及样本检测图像进行卷积池化处理，提取样本模板图像及样本检测图像的特征信息。预设网络模型的特征拼接层获取样本模板图像的特征信息及样本检测图像的特征信息间的特征差异信息，并将获取的所述特征差异信息与样本检测图像的特征信息进行拼接，得到特征拼接信息；对特征拼接信息进行上采样，得到第一特征信息。预设网络模型的输出层对第一特征信息进行卷积处理，得到样本模板图像及样本检测图像间的差异信息。通过预设损失函数计算预设网络模型的输出层输出的样本模板图像及样本检测图像间的差异信息，与预先标记的样本模板图像及样本检测图像间的差异信息间的损失值。若损失值大于预设损失阈值，则根据损失值调整预设网络模型的参数，并重新执行步骤将样本图像输入所述预设网络模型，至步骤若损失值大于预设损失阈值，则根据损失值调整所述预设网络模型的参数，直至损失值不大于预设损失阈值，得到金属表面缺陷的检测模型。
作为一种可能的实现方式，预设损失函数包括二值交叉熵损失函数。
作为一种可能的实现方式，第二通讯器1401，具体用于获取用户预先标记的样本模板图像；根据样本模板图像，生成样本检测图像。
作为一种可能的实现方式，样本检测图像包括：金属表面无缺陷的图像、金属表面存在白缺陷的图像、金属表面存在黑缺陷的图像及金属表面存在污点的图像中的至少一种。
通过检测模型的训练装置可以实现对预设网络模型的训练，得到能够输出检测图像与模板图像间的差异信息的金属表面缺陷的检测模型。这样一来，在进行目标金属表面缺陷检测时，可以直接将目标金属表面的检测图像与模板图像输入至金属表面缺陷的检测模型，金属表面缺陷的检测模型可以输出目标金属表面的检测图像与模板图像间的差异信息，从而可以根据差异信息确定目标金属表面是否存在缺陷，无需人工参与，降低了检测成本，提高了检测效率。并且，在本申请实施例中，训练完成的金属表面缺陷的检测模型是将输入的两个图像间的差异信息输出，可以适用于任何焊接工件的表面缺陷的检测，具有良好的泛化性。
与上述实施例相对应，本申请还提供了一种计算机可读存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的金属表面缺陷的检测方法或者检测模型的训练方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体（read-only memory，ROM）或随机存储记忆体（random access memory，RAM）等。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于装置实施例和终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

Claims (15)

1.一种金属表面缺陷的检测方法，其特征在于，包括：
获取目标金属表面的检测图像及目标金属表面的模板图像；所述模板图像是所述目标金属表面无缺陷的图像；
将所述目标金属表面的检测图像及目标金属表面的模板图像输入至金属表面缺陷的检测模型，得到所述金属表面缺陷的检测模型输出的所述目标金属表面的检测图像及目标金属表面的模板图像间的差异信息；所述金属表面缺陷的检测模型为预先训练的，用于提取输入的目标金属表面的检测图像的特征信息及目标金属表面的模板图像的特征信息，将所述检测图像的特征信息与所述模板图像的特征信息间的特征差异信息，及所述检测图像的特征信息进行拼接，形成第一特征信息；对所述第一特征信息进行特征融合，输出目标金属表面的检测图像及目标金属表面的模板图像间的差异信息；
根据所述目标金属表面的检测图像及目标金属表面的模板图像间的差异信息，确定所述目标金属表面是否存在缺陷。
2.根据权利要求1所述的检测方法，其特征在于，所述金属表面缺陷的检测模型包括：卷积池化层，特征拼接层及输出层；
所述卷积池化层，用于对输入的所述目标金属表面的检测图像及所述目标金属表面的模板图像进行卷积池化处理，提取所述目标金属表面的模板图像及检测图像的特征信息；
所述特征拼接层，用于获取所述模板图像的特征信息及检测图像的特征信息间的特征差异信息，并将获取的所述特征差异信息与所述检测图像的特征信息进行拼接，得到拼接特征信息；对所述拼接特征信息进行上采样，得到第一特征信息；
所述输出层，用于对所述第一特征信息进行卷积处理，得到所述目标金属表面的模板图像及检测图像间的差异信息。
3.根据权利要求2所述的检测方法，其特征在于，
所述特征拼接层，具体用于根据模板图像的特征信息及检测图像的特征信息，计算所述模板图像的特征信息及所述检测图像的特征信息间的特征差值，根据所述特征差值确定所述模板图像的特征信息及检测图像的特征信息间的特征差异信息。
4.根据权利要求3所述的检测方法，其特征在于，
所述卷积池化层，具体用于分别对输入的所述模板图像及所述检测图像进行第一卷积处理得到模板图像的第二特征信息及检测图像的第二特征信息；
分别对所述模板图像的第二特征信息及检测图像第二特征信息进行第一池化和第二卷积处理，得到模板图像的第三特征信息及检测图像的第三特征信息；
分别对所述模板图像的第三特征信息及检测图像的第三特征信息进行第二池化和第三卷积处理，得到模板图像的第四特征信息及检测图像的第四特征信息。
5.根据权利要求4所述的检测方法，其特征在于，
所述特征拼接层，具体用于根据模板图像的第二特征信息及检测图像的第二特征信息，计算模板图像的第二特征信息及检测图像的第二特征信息间的特征差值，根据所述模板图像的第二特征信息及检测图像的第二特征信息间的特征差值确定第一特征差异信息，并将所述第一特征差异信息及所述检测图像的第二特征信息叠加拼接为第一拼接特征信息；其中，所述第一特征差异信息为所述模板图像的第二特征信息及检测图像的第二特征信息间的特征差异信息；
根据模板图像的第三特征信息及检测图像的第三特征信息，计算模板图像的第三特征信息及检测图像的第三特征信息间的特征差值，根据所述模板图像的第三特征信息及检测图像的第三特征信息间的特征差值确定第二特征差异信息，并将所述第二特征差异信息及所述检测图像的第三特征信息叠加拼接为第二特征拼接信息；其中，所述第二特征差异信息为所述模板图像的第三特征信息及检测图像的第三特征信息间的特征差异信息；
根据模板图像的第四特征信息及检测图像的第四特征信息，计算模板图像的第四特征信息及检测图像的第四特征信息间的特征差值，根据所述模板图像的第四特征信息及检测图像的第四特征信息间的特征差值确定第三特征差异信息，并将所述第三特征差异信息及所述检测图像的第四特征信息叠加拼接为第三特征拼接信息；其中，所述第三特征差异信息为所述模板图像的第四特征信息及检测图像的第四特征信息间的特征差异信息；
将所述第一特征拼接信息、第二特征拼接信息及第三特征拼接信息进行上采样，并按照预设顺序拼接为第一特征信息。
6.根据权利要求1所述的检测方法，其特征在于，所述根据所述目标金属表面的检测图像及目标金属表面的模板图像间的差异信息，确定所述目标金属表面是否存在缺陷包括：
根据所述目标金属表面的检测图像及目标金属表面的模板图像间的差异信息，确定所述目标金属表面的检测图像中的缺陷像素的数量；
根据所述目标金属表面的检测图像中的缺陷像素的数量，确定所述目标金属表面是否存在缺陷。
7.一种检测模型的训练方法，其特征在于，包括：
获取样本图像；所述样本图像包括：样本模板图像及样本检测图像；所述样本模板图像为金属表面无缺陷的图像；
根据所述样本图像对预设网络模型进行训练，得到金属表面缺陷的检测模型；所述金属表面缺陷的检测模型用于提取输入的目标金属表面的检测图像的特征信息及目标金属表面的模板图像的特征信息，将所述检测图像的特征信息与模板图像的特征信息间的特征差异信息，及所述检测图像的特征信息进行拼接，形成第一特征信息；对所述第一特征信息进行特征融合，输出检测图像及模板图像间的差异信息。
8.根据权利要求7所述的训练方法，其特征在于，所述预设网络模型包括：卷积池化层，特征拼接层及输出层；
所述根据所述样本图像对预设网络模型进行训练，得到金属表面缺陷的检测模型包括：
将所述样本图像输入所述预设网络模型；
所述预设网络模型的卷积池化层对输入的样本模板图像及样本检测图像进行卷积池化处理，提取样本模板图像及样本检测图像的特征信息；
所述预设网络模型的特征拼接层获取样本模板图像的特征信息及样本检测图像的特征信息间的特征差异信息，并将获取的所述特征差异信息与所述样本检测图像的特征信息进行拼接，得到特征拼接信息；对所述特征拼接信息进行上采样，得到第一特征信息；
所述预设网络模型的输出层对所述第一特征信息进行卷积处理，得到所述样本模板图像及样本检测图像间的差异信息；
通过预设损失函数计算所述预设网络模型的输出层输出的样本模板图像及样本检测图像间的差异信息，与预先标记的所述样本模板图像及样本检测图像间的差异信息间的损失值；
若损失值大于预设损失阈值，则根据所述损失值调整所述预设网络模型的参数，并重新执行步骤将所述样本图像输入所述预设网络模型，至步骤若损失值大于预设损失阈值，则根据所述损失值调整所述预设网络模型的参数，直至所述损失值不大于预设损失阈值，得到所述金属表面缺陷的检测模型。
9.根据权利要求8所述的训练方法，其特征在于，所述预设损失函数包括二值交叉熵损失函数。
10.根据权利要求7所述的训练方法，其特征在于，所述获取样本图像包括：
获取用户预先标记的样本模板图像；
根据所述样本模板图像，生成样本检测图像。
11.根据权利要求10所述的训练方法，其特征在于，
所述样本检测图像包括：金属表面无缺陷的图像、金属表面存在白缺陷的图像、金属表面存在黑缺陷的图像及金属表面存在污点的图像中的至少一种。
12.一种金属表面缺陷的检测装置，其特征在于，包括：
第一通讯器，用于获取目标金属表面的检测图像及目标金属表面的模板图像；所述模板图像是所述目标金属表面无缺陷的图像；
第一处理器，用于将所述目标金属表面的检测图像及目标金属表面的模板图像输入至金属表面缺陷的检测模型，得到所述金属表面缺陷的检测模型输出的所述目标金属表面的检测图像及目标金属表面的模板图像间的差异信息；所述金属表面缺陷的检测模型为预先训练的，用于提取输入的目标金属表面的检测图像的特征信息及目标金属表面的模板图像的特征信息，将所述检测图像的特征信息与所述模板图像的特征信息间的特征差异信息，及所述检测图像的特征信息进行拼接，形成第一特征信息；对所述第一特征信息进行特征融合，输出目标金属表面的检测图像及目标金属表面的模板图像间的差异信息；以及
用于根据所述目标金属表面的检测图像及目标金属表面的模板图像间的差异信息，确定所述目标金属表面是否存在缺陷。
13.一种检测模型的训练装置，其特征在于，包括：
第二通讯器，用于获取样本图像；所述样本图像包括：样本模板图像及样本检测图像；所述样本模板图像为金属表面无缺陷的图像；
第二处理器，与所述第二通讯器耦合，用于根据所述样本图像对预设网络模型进行训练，得到金属表面缺陷的检测模型；所述金属表面缺陷的检测模型用于提取输入的目标金属表面的检测图像的特征信息及目标金属表面的模板图像的特征信息，将所述检测图像的特征信息与模板图像的特征信息间的特征差异信息，及所述检测图像的特征信息进行拼接，形成第一特征信息；对所述第一特征信息进行特征融合，输出检测图像及模板图像间的差异信息。
14.根据权利要求13所述的装置，其特征在于，所述预设网络模型包括：卷积池化层，特征拼接层及输出层；
所述第二处理器，具体用于将所述样本图像输入所述预设网络模型；
所述预设网络模型的卷积池化层对输入的样本模板图像及样本检测图像进行卷积池化处理，提取样本模板图像及样本检测图像的特征信息；
所述预设网络模型的特征拼接层获取样本模板图像的特征信息及样本检测图像的特征信息间的特征差异信息，并将获取的所述特征差异信息与所述样本检测图像的特征信息进行拼接，得到特征拼接信息；对所述特征拼接信息进行上采样，得到第一特征信息；
所述预设网络模型的输出层对所述第一特征信息进行卷积处理，得到所述样本模板图像及样本检测图像间的差异信息；
通过预设损失函数计算所述预设网络模型的输出层输出的样本模板图像及样本检测图像间的差异信息，与预先标记的所述样本模板图像及样本检测图像间的差异信息间的损失值；
若损失值大于预设损失阈值，则根据所述损失值调整所述预设网络模型的参数，并重新执行步骤将所述样本图像输入所述预设网络模型，至步骤若损失值大于预设损失阈值，则根据所述损失值调整所述预设网络模型的参数，直至所述损失值不大于预设损失阈值，得到所述金属表面缺陷的检测模型。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1-6中任意一项所述的方法，或者执行权利要求7-11任一项所述的方法。
CN202211238614.4A 2022-10-11 2022-10-11 检测模型的训练方法、缺陷检测方法、装置及存储介质 Pending CN115311273A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211238614.4A CN115311273A (zh) 2022-10-11 2022-10-11 检测模型的训练方法、缺陷检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211238614.4A CN115311273A (zh) 2022-10-11 2022-10-11 检测模型的训练方法、缺陷检测方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN115311273A true CN115311273A (zh) 2022-11-08

Family

ID=83868372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211238614.4A Pending CN115311273A (zh) 2022-10-11 2022-10-11 检测模型的训练方法、缺陷检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN115311273A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109621A (zh) * 2023-03-10 2023-05-12 无锡锤头鲨智能科技有限公司 一种基于深度模板的缺陷检测方法和系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583211A (zh) * 2020-04-29 2020-08-25 广东利元亨智能装备股份有限公司 缺陷检测方法、装置及电子设备
CN112200766A (zh) * 2020-09-04 2021-01-08 杭州电子科技大学 基于区域关联神经网络的工业产品表面缺陷检测方法
CN113034476A (zh) * 2021-03-30 2021-06-25 广东工业大学 皮革瑕疵检测方法、系统、储存介质及计算机设备
CN113239928A (zh) * 2021-05-11 2021-08-10 北京百度网讯科技有限公司 图像差异检测及模型训练的方法、设备及程序产品
CN113516612A (zh) * 2020-04-13 2021-10-19 阿里巴巴集团控股有限公司 数据处理方法、装置、设备和存储介质
CN114863221A (zh) * 2022-05-31 2022-08-05 商汤人工智能研究中心(深圳)有限公司 检测模型的训练方法、装置、系统、设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516612A (zh) * 2020-04-13 2021-10-19 阿里巴巴集团控股有限公司 数据处理方法、装置、设备和存储介质
CN111583211A (zh) * 2020-04-29 2020-08-25 广东利元亨智能装备股份有限公司 缺陷检测方法、装置及电子设备
CN112200766A (zh) * 2020-09-04 2021-01-08 杭州电子科技大学 基于区域关联神经网络的工业产品表面缺陷检测方法
CN113034476A (zh) * 2021-03-30 2021-06-25 广东工业大学 皮革瑕疵检测方法、系统、储存介质及计算机设备
CN113239928A (zh) * 2021-05-11 2021-08-10 北京百度网讯科技有限公司 图像差异检测及模型训练的方法、设备及程序产品
CN114863221A (zh) * 2022-05-31 2022-08-05 商汤人工智能研究中心(深圳)有限公司 检测模型的训练方法、装置、系统、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109621A (zh) * 2023-03-10 2023-05-12 无锡锤头鲨智能科技有限公司 一种基于深度模板的缺陷检测方法和系统
CN116109621B (zh) * 2023-03-10 2023-09-22 无锡锤头鲨智能科技有限公司 一种基于深度模板的缺陷检测方法和系统

Similar Documents

Publication Publication Date Title
EP4280153A1 (en) Defect detection method, apparatus and system
Kothari Detecting welding defects in steel plates using machine learning and computer vision algorithms
JP5080649B2 (ja) 映像処理方法を用いた鋼橋の塗膜検査システム及びその処理方法
CN110992349A (zh) 一种基于深度学习的地下管道异常自动化定位与识别方法
JP2011214903A (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
CN113298757A (zh) 一种基于u-net卷积神经网络的金属表面缺陷检测方法
CN112801962B (zh) 基于正样本学习的半监督工业制品瑕疵检测方法及系统
CN112070746A (zh) 钢带缺陷检测方法和装置
CN116309409A (zh) 一种焊缝缺陷检测方法、系统和存储介质
CN115719332A (zh) 一种焊接质量检测方法
US11710158B2 (en) Vehicle damage estimation
CN115311273A (zh) 检测模型的训练方法、缺陷检测方法、装置及存储介质
CN115713476A (zh) 基于激光焊接的视觉检测方法、装置及可读存储介质
CN112270687A (zh) 布料瑕疵识别模型的训练方法和布料瑕疵的检测方法
CN111754502A (zh) 基于多尺度特征融合的Faster-RCNN算法检测磁芯表面缺陷的方法
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN114881998A (zh) 一种基于深度学习的工件表面缺陷检测方法及系统
CN113554645A (zh) 基于wgan的工业异常检测方法和装置
Hashmi et al. Computer-vision based visual inspection and crack detection of railroad tracks
JP2020135051A (ja) 欠点検査装置、欠点検査方法、欠点検査プログラム、学習装置および学習済みモデル
CN116777873A (zh) 一种基于改进YOLOv7算法的带钢表面缺陷检测方法
CN116091503A (zh) 一种面板异物缺陷的判别方法、装置、设备及介质
CN115953387A (zh) 一种基于深度学习的射线图像焊缝缺陷检测方法
CN116309307A (zh) 焊缝缺陷检测方法、装置、可读存储介质及电子设备
KR20230036650A (ko) 영상 패치 기반의 불량 검출 시스템 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20221108

RJ01 Rejection of invention patent application after publication