CN112967264A - 缺陷检测方法及装置、电子设备和存储介质 - Google Patents

缺陷检测方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112967264A
CN112967264A CN202110295450.8A CN202110295450A CN112967264A CN 112967264 A CN112967264 A CN 112967264A CN 202110295450 A CN202110295450 A CN 202110295450A CN 112967264 A CN112967264 A CN 112967264A
Authority
CN
China
Prior art keywords
feature map
feature
image
map
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110295450.8A
Other languages
English (en)
Inventor
王新江
张士龙
方仕杰
陈恺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202110295450.8A priority Critical patent/CN112967264A/zh
Publication of CN112967264A publication Critical patent/CN112967264A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及一种缺陷检测方法及装置、电子设备和存储介质，所述方法包括获取待检测产品的产品图像以及与所述产品图像匹配的模板图像；对所述产品图像及所述模板图像分别进行特征提取，得到所述产品图像的第一特征图以及所述模板图像的第二特征图；对所述第一特征图与所述第二特征图之间的相关性进行分析，得到所述第一特征图与所述第二特征图之间的相关性注意力图；基于所述相关性注意力图对所述第一特征图、所述第二特征图进行融合，得到第一融合特征图；对所述第一融合特征图进行检测，得到所述产品图像的缺陷检测结果。本公开实施例可提高缺陷检测的准确率。

Description

缺陷检测方法及装置、电子设备和存储介质
技术领域
本公开涉及计算机视觉技术领域，尤其涉及一种缺陷检测方法及装置、电子设备和存储介质。
背景技术
工业产品的表面缺陷，如刮擦、起泡、滴墨等问题不仅会影响工业产品的美观，有时更会影响其使用场景下的效果与安全性。传统的缺陷检测方式通常依赖于人眼检测，需要大量人力，且人眼检测的效果难以做到定量化且会时常有波动，检测效果较差。
传统的工业缺陷检测，通常利用空域或时域特征直接利用傅里叶变换、加博尔(Gabor)变换等对缺陷进行检测，但这些缺陷检测方式对缺陷形态以及现象条件等比较敏感，如果缺陷本身具有多样性有时会存在一定漏检与误检。
发明内容
本公开提出了一种缺陷检测技术方案。
根据本公开的一方面，提供了一种缺陷检测方法，包括：
获取待检测产品的产品图像以及与所述产品图像匹配的模板图像；对所述产品图像及所述模板图像分别进行特征提取，得到所述产品图像的第一特征图以及所述模板图像的第二特征图；对所述第一特征图与所述第二特征图之间的相关性进行分析，得到所述第一特征图与所述第二特征图之间的相关性注意力图；基于所述相关性注意力图对所述第一特征图、所述第二特征图进行融合，得到第一融合特征图；对所述第一融合特征图进行检测，得到所述产品图像的缺陷检测结果。
在一种可能的实现方式中，在获取待检测产品的产品图像以及与所述产品图像匹配的模板图像之前，所述方法还包括：对所述产品图像和初始模板图像分别进行特征点提取，得到所述产品图像中第一预设数量的第一特征点，以及所述初始模板图像中所述第一预设数量的第二特征点；对所述第一特征点与所述第二特征点进行特征点匹配，确定出所述产品图像与所述初始模板图像中的特征点对，每个特征点对包括相匹配的一个第一特征点和一个第二特征点；在所述特征点对的数量大于或等于数量阈值的情况下，根据所述特征点对中特征点的位置，确定所述初始模板图像到所述产品图像的仿射变换矩阵；根据所述仿射变换矩阵，对所述初始模板图像进行变换，得到所述模板图像。
在一种可能的实现方式中，在确定出所述产品图像与所述初始模板图像中的特征点对之后，所述方法还包括：在所述特征点对的数量小于所述数量阈值的情况下，再次对所述产品图像和初始模板图像分别进行特征点提取，得到所述产品图像中第二预设数量的第一特征点，以及所述初始模板图像中所述第二预设数量的第二特征点，其中，所述第二预设数量大于所述第一预设数量。
在一种可能的实现方式中，所述方法通过特征提取网络对所述产品图像及所述模板图像分别进行特征提取，所述特征提取网络包括第一子网络、第二子网络及第三子网络，
其中，所述对所述产品图像及所述模板图像分别进行特征提取，得到所述产品图像的第一特征图以及所述模板图像的第二特征图，包括：将所述产品图像及所述模板图像分别输入所述第一子网络中处理，输出所述产品图像的第一中间特征图及所述模板图像的第二中间特征图；将所述第一中间特征图输入所述第二子网络中处理，输出所述第一特征图；将所述第二中间特征图输入所述第三子网络中处理，输出所述第二特征图。
在一种可能的实现方式中，所述对所述第一特征图与所述第二特征图之间的相关性进行分析，得到所述第一特征图与所述第二特征图之间的相关性注意力图，包括：针对所述第一特征图中的任一第三特征点，分别确定所述第三特征点与所述第二特征图中的多个相关特征点之间的相关系数，其中，所述相关特征点包括所述第二特征图中，与所述第三特征点位置对应的第四特征点，以及与所述第四特征点之间的距离小于或等于距离阈值的特征点；根据所述第三特征点与所述多个相关特征点之间的相关系数，确定所述第三特征点的相关性注意力值；根据所述第一特征图的多个第三特征点的相关性注意力值，确定所述相关性注意力图。
在一种可能的实现方式中，所述基于所述相关性注意力图对所述第一特征图、所述第二特征图进行融合，得到第一融合特征图，包括：将所述第一特征图与所述第二特征图融合，得到第二融合特征图；将所述第二融合特征图与所述相关性注意力图融合，得到所述第一融合特征图。
在一种可能的实现方式中，所述将所述第一特征图与所述第二特征图融合，得到第二融合特征图，包括：对所述第二特征图进行卷积，得到第三特征图；对所述第一特征图与所述第三特征图进行相加或拼接，得到所述第二融合特征图。
在一种可能的实现方式中，所述将所述第二融合特征图与所述相关性注意力图融合，得到所述第一融合特征图，包括：将所述第二融合特征图与所述相关性注意力图融合，得到第三融合特征图；将所述第二融合特征图与所述第三融合特征图融合，得到所述第一融合特征图。
在一种可能的实现方式中，所述第一特征图包括至少二级第一子特征图，所述第二特征图包括至少二级第二子特征图，其中，对所述第一特征图与所述第二特征图之间的相关性进行分析，得到所述第一特征图与所述第二特征图之间的相关性注意力图，包括：基于同一级的第三子特征图与第四子特征图之间的相关性分析，得到当前级的相关性注意力图；其中，当前级的第三子特征图通过当前级的第一子特征图确定，或当前级的第一子特征图与相邻级的第一子特征图相融合确定；当前级的第四子特征图通过当前级的第二子特征图确定，或当前级的第二子特征图与相邻级的第二子特征图相融合确定。
在一种可能的实现方式中，所述基于所述相关性注意力图对所述第一特征图、所述第二特征图进行融合，得到第一融合特征图，包括：基于同一级的第三子特征图与第四子特征图的融合，得到当前级的第二融合特征图；将当前级的第二融合特征图与当前级的相关性注意力图融合，得到当前级的第一融合特征图。
在一种可能的实现方式中，所述方法通过缺陷检测网络实现，所述缺陷检测网络是根据预设的训练集训练得到的，所述训练集包括无缺陷产品的样本模板图像以及有缺陷产品的样本产品图像，其中，所述方法还包括：获取相匹配的样本图像对，每个样本图像对包括样本产品图像及相匹配的样本模板图像；针对任一样本图像对，从所述样本图像对中确定与所述缺陷区域对应的区域图像对；基于将所述区域图像对粘贴到至少另一样本图像对中，得到更新后的样本图像对；根据更新后的多个样本图像对，训练所述缺陷检测网络。
在一种可能的实现方式中，所述从所述样本图像对中确定与所述缺陷区域对应的区域图像对，包括：根据预设的扩展系数，对所述样本产品图像中的缺陷区域进行扩展，得到扩展区域；从所述样本图像对的样本产品图像和样本模板图像中，分别确定出与所述扩展区域对应的区域图像，得到所述区域图像对。
根据本公开的一方面，提供了一种缺陷检测装置，包括：
图像获取模块，用于获取待检测产品的产品图像以及与所述产品图像匹配的模板图像；特征提取模块，用于对所述产品图像及所述模板图像分别进行特征提取，得到所述产品图像的第一特征图以及所述模板图像的第二特征图；相关性分析模块，用于对所述第一特征图与所述第二特征图之间的相关性进行分析，得到所述第一特征图与所述第二特征图之间的相关性注意力图；融合模块，用于基于所述相关性注意力图对所述第一特征图、所述第二特征图进行融合，得到第一融合特征图；检测模块，用于对所述第一融合特征图进行检测，得到所述产品图像的缺陷检测结果。
在一种可能的实现方式中，在所述图像获取模块之前，所述装置还包括：
第一特征点提取模块，用于对所述产品图像和初始模板图像分别进行特征点提取，得到所述产品图像中第一预设数量的第一特征点，以及所述初始模板图像中所述第一预设数量的第二特征点；特征点匹配模块，用于对所述第一特征点与所述第二特征点进行特征点匹配，确定出所述产品图像与所述初始模板图像中的特征点对，每个特征点对包括相匹配的一个第一特征点和一个第二特征点；变换矩阵确定模块，用于在所述特征点对的数量大于或等于数量阈值的情况下，根据所述特征点对中特征点的位置，确定所述初始模板图像到所述产品图像的仿射变换矩阵；图像变换模块，用于根据所述仿射变换矩阵，对所述初始模板图像进行变换，得到所述模板图像。
在一种可能的实现方式中，在所述特征点匹配模块之后，所述装置还包括：第二特征点提取模块，用于在所述特征点对的数量小于所述数量阈值的情况下，再次对所述产品图像和初始模板图像分别进行特征点提取，得到所述产品图像中第二预设数量的第一特征点，以及所述初始模板图像中所述第二预设数量的第二特征点，其中，所述第二预设数量大于所述第一预设数量。
在一种可能的实现方式中，所述装置通过特征提取网络对所述产品图像及所述模板图像分别进行特征提取，所述特征提取网络包括第一子网络、第二子网络及第三子网络，其中，所述特征提取模块，包括：第一提取子模块，用于将所述产品图像及所述模板图像分别输入所述第一子网络中处理，输出所述产品图像的第一中间特征图及所述模板图像的第二中间特征图；第二提取子模块，用于将所述第一中间特征图输入所述第二子网络中处理，输出所述第一特征图；第三提取子模块，用于将所述第二中间特征图输入所述第三子网络中处理，输出所述第二特征图。
在一种可能的实现方式中，所述相关性分析模块，包括：相关系数确定子模块，用于针对所述第一特征图中的任一第三特征点，分别确定所述第三特征点与所述第二特征图中的多个相关特征点之间的相关系数，其中，所述相关特征点包括所述第二特征图中，与所述第三特征点位置对应的第四特征点，以及与所述第四特征点之间的距离小于或等于距离阈值的特征点；注意力值确定子模块，用于根据所述第三特征点与所述多个相关特征点之间的相关系数，确定所述第三特征点的相关性注意力值；注意力图确定子模块，用于根据所述第一特征图的多个第三特征点的相关性注意力值，确定所述相关性注意力图。
在一种可能的实现方式中，所述融合模块包括：第一融合子模块，用于将所述第一特征图与所述第二特征图融合，得到第二融合特征图；第二融合子模块，用于将所述第二融合特征图与所述相关性注意力图融合，得到所述第一融合特征图。
在一种可能的实现方式中，所述第一融合子模块用于：对所述第二特征图进行卷积，得到第三特征图；对所述第一特征图与所述第三特征图进行相加或拼接，得到所述第二融合特征图。
在一种可能的实现方式中，所述第二融合子模块用于：将所述第二融合特征图与所述相关性注意力图融合，得到第三融合特征图；将所述第二融合特征图与所述第三融合特征图融合，得到所述第一融合特征图。
在一种可能的实现方式中，所述第一特征图包括至少二级第一子特征图，所述第二特征图包括至少二级第二子特征图，其中，所述相关性分析模块包括：分析子模块，用于基于同一级的第三子特征图与第四子特征图之间的相关性分析，得到当前级的相关性注意力图；其中，当前级的第三子特征图通过当前级的第一子特征图确定，或当前级的第一子特征图与相邻级的第一子特征图相融合确定；当前级的第四子特征图通过当前级的第二子特征图确定，或当前级的第二子特征图与相邻级的第二子特征图相融合确定。
在一种可能的实现方式中，所述融合模块包括：第三融合子模块，用于基于同一级的第三子特征图与第四子特征图的融合，得到当前级的第二融合特征图；第四融合子模块，用于将当前级的第二融合特征图与当前级的相关性注意力图融合，得到当前级的第一融合特征图。
在一种可能的实现方式中，所述装置通过缺陷检测网络实现，所述缺陷检测网络是根据预设的训练集训练得到的，所述训练集包括无缺陷产品的样本模板图像以及有缺陷产品的样本产品图像，其中，所述装置还包括：图像对获取模块，用于获取相匹配的样本图像对，每个样本图像对包括样本产品图像及相匹配的样本模板图像；区域对确定模块，用于针对任一样本图像对，从所述样本图像对中确定与所述缺陷区域对应的区域图像对；图像粘贴模块，用于基于将所述区域图像对粘贴到至少另一样本图像对中，得到更新后的样本图像对；训练模块，用于根据更新后的多个样本图像对，训练所述缺陷检测网络。
在一种可能的实现方式中，所述区域对确定模块用于：根据预设的扩展系数，对所述样本产品图像中的缺陷区域进行扩展，得到扩展区域；从所述样本图像对的样本产品图像和样本模板图像中，分别确定出与所述扩展区域对应的区域图像，得到所述区域图像对。
根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
在本公开实施例中，能够提取产品原图和模板图的特征图，分析两个特征图之间的相关性，得到相关性注意力图，将两个特征图融合后再与相关性注意力图融合，并进行缺陷检测，从而基于注意力机制提高对产品表面的缺陷区域的关注程度，提高缺陷检测的准确率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1示出根据本公开实施例的缺陷检测方法的流程图。
图2示出根据本公开实施例的缺陷检测方法的特征融合的示意图。
图3示出根据本公开实施例的缺陷检测方法的处理过程的示意图。
图4示出根据本公开实施例的缺陷检测方法的多级特征图的融合过程的示意图。
图5示出根据本公开实施例的缺陷检测方法的图像增广处理的示意图。
图6示出根据本公开实施例的缺陷检测装置的框图。
图7示出根据本公开实施例的一种电子设备的框图。
图8示出根据本公开实施例的一种电子设备的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
根据本公开实施例的缺陷检测方法，可应用于工业缺陷检测的场景中，基于深度学习的方法，将产品原图与其模板图共同作为输入，通过特征提取以及模板比对注意力机制，能够有效检测出关心的产品表面的缺陷位置，并忽略其他不重要的扰动，比如光照条件以及不关心的像素级的不同等，从而显著提高缺陷检测的准确率。
图1示出根据本公开实施例的缺陷检测方法的流程图，如图1所示，所述缺陷检测方法包括：
在步骤S11中，获取待检测产品的产品图像以及与所述产品图像匹配的模板图像；
在步骤S12中，对所述产品图像及所述模板图像分别进行特征提取，得到所述产品图像的第一特征图以及所述模板图像的第二特征图；
在步骤S13中，对所述第一特征图与所述第二特征图之间的相关性进行分析，得到所述第一特征图与所述第二特征图之间的相关性注意力图；
在步骤S14中，基于所述相关性注意力图对所述第一特征图、所述第二特征图进行融合，得到第一融合特征图；
在步骤S15中，对所述第一融合特征图进行检测，得到所述产品图像的缺陷检测结果。
在一种可能的实现方式中，所述缺陷检测方法可以由终端设备或服务器等电子设备执行，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等，所述方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。或者，可通过服务器执行所述方法。
举例来说，待检测产品可为工业产品，例如包括陶瓷制品(瓷砖、陶瓷杯等)、金属制品(钢轨、金属零件等)。本公开对待检测产品的具体类别不作限制。
在一种可能的实现方式中，可在待检测产品的生产环境中设置至少一个图像采集设备，以便采集待检测产品所在区域的图像或视频流，并从采集的图像或视频流中确定出待检测产品的产品图像。本公开对图像采集装置的安装位置、采集方式及确定产品图像的方式均不作限制。
在一种可能的实现方式中，在步骤S11中，可获取待检测产品的产品图像以及与该产品图像匹配的模板图像。其中，模板图像可为与该待检测产品同类别的无缺陷产品的图像，且产品图像与模板图像的尺寸相同。
在一种可能的实现方式中，可在预处理阶段对输入的模板图(可称为初始模板图像)与产品图像进行像素对齐。例如，在产品图像与初始模板图像上各提取一定数量(例如500个)的特征点，寻找这些特征点的特征中最相似的特征对；根据这些相似特征对确定初始模板图像与产品图像之间的相互映射关系；进而根据相互映射关系，对初始模板图像进行图像变换，得到与产品图像匹配的模板图像，从而完成预处理过程。其中，图像变换可包括图像的旋转、缩小、放大、平移、裁剪、补全中的至少一种处理。本公开对产品图像与初始模板图像的具体匹配方式不作限制。
在一种可能的实现方式中，经匹配后，可在步骤S12中对产品图像和模板图像分别进行特征提取，得到产品图像的特征图(可称为第一特征图)以及模板图像的特征图(可称为第二特征图)。
在一种可能的实现方式中，可通过共享权重或部分共享权重的特征提取网络，实现产品图像和模板图像的特征提取。该特征提取网络可例如为卷积神经网络，本公开对特征提取网络的网络类型及具体网络结构均不作限制。
在一种可能的实现方式中，在采用完全共享权重的特征提取网络的情况下，可直接将产品图像和模板图像分别输入该特征提取网络中处理，通过完全相同的特征提取网络得到第一特征图和第二特征图。
在一种可能的实现方式中，在采用部分共享权重的特征提取网络的情况下，特征提取网络可包括一个共享权重的子网络(可称为第一子网络)和两个不共享权重的子网络(可称为第二子网络和第三子网络)。在处理时，可将产品图像输入第一子网络，输出中间特征，再将中间特征输入第二子网络，输出第一特征图；将模板图像输入第一子网络，输出中间特征，再将中间特征输入第三子网络，输出第二特征图。
其中，第一子网络、第二子网络及第三子网络均可以为卷积神经网络，可包括多个网络层或多个网络块，例如多个卷积层、多个残差块等。本公开对第一子网络、第二子网络及第三子网络的具体网络结构不作限制。应当理解，也可以采用其他方式实现部分共享权重的特征提取网络，本公开对此不作限制。
在一种可能的实现方式中，在步骤S13中，根据第一特征图和第二特征图，可对第一特征图与第二特征图中的各个特征点之间的相关性进行分析。例如，可通过两个特征图中任意两个特征点之间的互相关矩阵，来计算两个特征点之间的相关系数(也可称为相关性、相似性、相关度、相似度)。在实际处理中，可计算第一特征图中任一特征点与第二特征图中对应位置的特征点附近区域的相关系数，得到该特征点的相关系数矩阵；根据相关系数矩阵，确定出该特征点的相关性注意力值。例如，设定该特征点x的相关性注意力值Att(x)＝1-特征点x附近区域的相关系数的平均值。进而，根据第一特征图中各个特征点的相关性注意力值，确定出相关性注意力图。
对于无缺陷的区域，产品图像和模板图像在该区域中的特征差别较小，该区域中的特征点的相关系数平均值会接近1，因此得到的相关性注意力值会接近0，可表示对该特征点的注意力较低。反之，对于有缺陷的区域，产品图像和模板图像在该区域中的特征差别较大，该区域中的特征点的相关系数平均值会较小，因此得到的相关性注意力值会较大，接近1，可表示对该特征点的注意力较高。
通过这种方式，能够基于注意力机制提高对有缺陷的区域的关注程度，使得网络能够更容易地寻找到产品图像中的缺陷区域，从而提高缺陷检测的效果。
在一种可能的实现方式中，在步骤S14中，可基于所述相关性注意力图，对所述第一特征图、所述第二特征图进行融合。可先将第一特征图和第二特征图融合，得到初步的融合特征图(可称为第二融合特征图)；再将第二融合特征图与相关性注意力图融合，得到最终的融合特征图(可称为第一融合特征图)。其中，可通过对应特征点相加或按通道拼接等方式实现融合，本公开对具体的融合方式不作限制。
在一种可能的实现方式中，在步骤S15中，可对第一融合特征图进行检测。可例如通过检测网络对第一融合特征图进行处理，得到产品图像的缺陷检测结果。该缺陷检测结果可包括产品图像中是否存在缺陷区域，并在存在缺陷区域的情况下给出缺陷区域的类型及位置。该检测网络可以为图像分类网络或图像分割网络，本公开对检测网络所采用的网络类型及网络结构均不作限制。
根据本公开的实施例，能够提取产品原图和模板图的特征图，分析两个特征图之间的相关性，得到相关性注意力图，将两个特征图融合后再与相关性注意力图融合，并进行缺陷检测，从而基于注意力机制提高对产品表面的缺陷区域的关注程度，提高缺陷检测的准确率。
下面对本公开的实施例的缺陷检测方法进行展开说明。
如前所述，在进行缺陷检测之前，可在预处理阶段对产品图像与初始模板图像进行匹配，实现像素对齐。
在一种可能的实现方式中，在步骤S11中获取待检测产品的产品图像以及与所述产品图像匹配的模板图像之前，根据本公开实施例的缺陷检测方法还可包括：
对所述产品图像和初始模板图像分别进行特征点提取，得到所述产品图像中第一预设数量的第一特征点，以及所述初始模板图像中所述第一预设数量的第二特征点；
对所述第一特征点与所述第二特征点进行特征点匹配，确定出所述产品图像与所述初始模板图像中的特征点对，每个特征点对包括相匹配的一个第一特征点和一个第二特征点；
在所述特征点对的数量大于或等于数量阈值的情况下，根据所述特征点对中特征点的位置，确定所述初始模板图像到所述产品图像的仿射变换矩阵；
根据所述仿射变换矩阵，对所述初始模板图像进行变换，得到所述模板图像。
举例来说，可预先设置有ORB特征提取器，以便对产品图像和初始模板图像进行特征点提取。其中，ORB(Oriented FAST and Rotated BRIEF，定向快速提取和旋转特征描述)是一种快速特征点提取和描述的算法，用于从图像提取特征点并进行描述。应当理解，也可以采用其他方式实现特征点提取，本公开对此不作限制。
在一种可能的实现方式中，可预先设定待提取的特征点数量(可称为第一预设数量)，例如500个。可将产品图像和初始模板图像分别输入ORB特征提取器中处理，输出产品图像中第一预设数量的第一特征点及第一特征点的第一描述特征，以及初始模板图像中第一预设数量的第二特征点及第二特征点的第二描述特征。本公开对第一预设数量的具体取值不作限制。
在一种可能的实现方式中，通过特征点的描述特征的相似度，确定第一特征点与第二特征点是否为匹配的特征点对。例如：针对任一第一特征点，可计算该第一特征点的第一描述特征与多个第二特征点的第二描述特征之间的相似度；将相似度最高且超过相似度阈值(例如设为0.8)的第二特征点，确定为与该第一特征点匹配，从而得到一组特征点对。这样，可确定出产品图像与初始模板图像中的多个特征点对，每个特征点对包括相匹配的一个第一特征点和一个第二特征点。
在一种可能的实现方式中，如果特征点对的数量大于或等于数量阈值(例如，取值为50)，则可认为相匹配的特征点较多，产品图像与初始模板图像能够匹配；反之，则可认为相匹配的特征点较少，产品图像与初始模板图像无法匹配，可再次进行特征点提取。本公开对数量阈值的具体取值不作限制。
在一种可能的实现方式中，初始模板图像对齐到产品图像的仿射变换矩阵T可表示为：
Figure BDA0002984171830000091
在公式(1)中，θ表示图像的旋转角；s表示图像的缩放系数；tx和ty分别表示图像在水平方向的平移量与竖直方向的平移量。
在一种可能的实现方式中，在特征点对的数量大于或等于数量阈值的情况下，可根据特征点对中特征点的位置对应关系，进行最小二乘法拟合：
minθ,s,tx,ty‖T·X-Y‖2(2)
在公式(2)中，X表示特征点对中初始模板图像的特征点的位置；Y表示同一特征点对中产品图像的特征点的位置。通过公式(2)的处理，可确定出初始模板图像对齐到产品图像的仿射变换矩阵T。
在一种可能的实现方式中，可根据仿射变换矩阵T对初始模板图像进行变换，也即根据仿射变换矩阵T中的旋转角、缩放系数、水平方向与竖直方向的平移量，对初始模板图像进行旋转、缩小、放大、平移中的至少一种变换，并对变换后的图像进行裁剪、补全等，以保持图像尺寸不变。经处理后，可得到与产品图像匹配的模板图像。
通过这种方式，可以实现产品图像与模板图像之间快速的像素对齐，提高图像匹配的处理效率。
在一种可能的实现方式中，在确定出所述产品图像与所述初始模板图像中的特征点对的步骤之后，根据本公开实施例的缺陷检测方法还可包括：
在所述特征点对的数量小于所述数量阈值的情况下，再次对所述产品图像和初始模板图像分别进行特征点提取，得到所述产品图像中第二预设数量的第一特征点及，以及所述初始模板图像中所述第二预设数量的第二特征点，
其中，所述第二预设数量大于所述第一预设数量。
也就是说，如果产品图像与初始模板图像中相匹配的特征点较少，产品图像与初始模板图像无法匹配，则可再次进行特征点提取。该情况下，可提高待提取的特征点数量(可称为第二预设数量)，例如5000个。本领域技术人员可根据实际情况设置第二预设数量的取值，本公开对此不作限制。
在一种可能的实现方式中，可将产品图像和初始模板图像分别输入ORB特征提取器中处理，输出产品图像中第二预设数量的第一特征点及第一特征点的第一描述特征，以及初始模板图像中第二预设数量的第二特征点及第二特征点的第二描述特征。
与前面的步骤类似，可根据第一描述特征和第二描述特征，对第一特征点与第二特征点进行特征点匹配，确定出产品图像与初始模板图像中的特征点对；根据特征点对中特征点的位置，确定初始模板图像到产品图像的仿射变换矩阵；根据仿射变换矩阵，对初始模板图像进行变换，得到与产品图像匹配的模板图像。在此不再重复描述。
通过这种方式，能够在匹配不成功时，提高所提取的特征点数量，递归调用前面的图像匹配过程，从而提高匹配的成功率。
应当理解，本领域技术人员可根据实际情况设置第一预设数量和第二预设数量的取值，可将第一预设数量设置为较小(例如500个)，使得大部分图像能够匹配成功，从而减少匹配的计算量，提高匹配的处理效率；并且，可将第二预设数量设置为较大(例如5000个)，从而保证再次匹配时能够匹配成功，提高再次匹配的成功率。
在步骤S11中获取到产品图像以及相匹配的模板图像后，可在步骤S12中进行特征提取。
在一种可能的实现方式中，根据本公开实施例的缺陷检测方法可通过特征提取网络对产品图像及模板图像分别进行特征提取，特征提取网络包括第一子网络、第二子网络及第三子网络，其中，步骤S12可包括：
将所述产品图像及所述模板图像分别输入所述第一子网络中处理，输出所述产品图像的第一中间特征图及所述模板图像的第二中间特征图；
将所述第一中间特征图输入所述第二子网络中处理，输出所述第一特征图；
将所述第二中间特征图输入所述第三子网络中处理，输出所述第二特征图。
如前所述，可通过共享权重或部分共享权重的特征提取网络，实现产品图像和模板图像的特征提取。该特征提取网络可例如采用残差网络(ResNet)，包括多个残差块。
在一种可能的实现方式中，在采用完全共享权重的特征提取网络的情况下，可直接将产品图像和模板图像分别输入该特征提取网络中处理，输出第一特征图和第二特征图。
在一种可能的实现方式中，在部分共享权重的情况下，特征提取网络可包括一个共享权重的子网络(第一子网络)和两个不共享权重的子网络(第二子网络和第三子网络)。其中，第一子网络、第二子网络和第三子网络均可包括至少一个残差块，本公开对各个子网络的具体网络结构不作限制。
在处理时，可将产品图像输入第一子网络，输出中间特征图(称为第一中间特征图)；再将第一中间特征图输入第二子网络，输出第一特征图；将模板图像输入第一子网络，输出中间特征图(称为第二中间特征图)，再将第二中间特征图输入第三子网络，输出第二特征图。
通过部分共享权重的方式，使得网络能够既提取到产品图像和模板图像中相似的特征信息，又提取到产品图像和模板图像中不同的特征信息，从而有效提高特征提取的效果。
在步骤S12中提取到特征图后，可在步骤S13中分析特征图之间的相关性。
在一种可能的实现方式中，步骤S13可包括：
针对所述第一特征图中的任一第三特征点，分别确定所述第三特征点与所述第二特征图中的多个相关特征点之间的相关系数，所述相关特征点包括所述第二特征图中，与所述第三特征点位置对应的第四特征点，以及与所述第四特征点之间的距离小于或等于距离阈值的特征点；
根据所述第三特征点与所述多个相关特征点之间的相关系数，确定所述第三特征点的相关性注意力值；
根据所述第一特征图的多个第三特征点的相关性注意力值，确定所述相关性注意力图。
举例来说，可通过第一特征图和第二特征图中任意两个特征点之间的互相关矩阵，来计算两个特征点之间的相关系数。第一特征图中的任一特征点x1和第二特征图中的任一特征点x2之间的互相关矩阵corr(x1,x2)可表示为：
Figure BDA0002984171830000111
在公式(3)中，f1与f2分别表示第一特征图与第二特征图中特征点的特征值；o表示参与计算的特征点与特征点x1或特征点x2之间的距离；k表示参与计算的特征点与特征点x1或特征点x1之间的最大距离；f1(x1+o)表示与特征点x1距离为o的特征点的特征值；f2(x2+o)表示与特征点x2距离为o的特征点的特征值；<f1(x1+o),f2(x2+o)>表示特征值f1(x1+o)与特征值f2(x2+o)的内积操作；‖f1‖和‖f2‖分别表示f1与f2的范数；K＝2k+1为相关核的尺寸，也即参与计算的区域的边长；∑o∈[-k,k]×[-k,k]<f1(x1+o),f2(x2+o)>/(‖f1‖‖f2‖)表示：以特征点x1为中心的K×K的区域与以特征点x2为中心的K×K的区域内，对应特征点的互相关值之和。根据公式(3)，可将互相关值之和的平均值确定为特征点x1与特征点x2之间的相关系数。
其中，在公式(3)的内积操作以及范数求取中均已经对通道维度进行了求和。
公式(3)的处理，可以认为对特征点x1和特征点x2分别进行模糊化处理，取与特征点x1或特征点x2之间的距离小于或等于k的特征点参与计算，在相关核K×K的特征图区域内，共有K2个特征点参与计算。k可例如取值为0、1、2、3，本公开对此不作限制。通过这种方式，可提高处理的鲁棒性。
在对整个特征图中的特征点进行互相关计算时，上述计算过程涉及K2W2H2C次计算(W与H分别为第一特征图的宽与高，C为第一特征图的通道数)，因此，在实际处理中，可限制特征点x2的范围，保证特征点x2只在特征点x1的附近D＝2d+1的范围内。也即，特征点x2的位置与特征点x1的位置之间的距离小于或等于d。d可例如取值为0、1、2、3，本公开对此不作限制。通过这种方式，每个特征点仅需对附近D×D的区域进行互相关计算，可将互相关计算的计算量减小到K2WHCD2，从而提高处理效率。
在一种可能的实现方式中，针对第一特征图中的任一特征点(称为第三特征点)，可通过公式(3)计算该第三特征点与第二特征图中的多个相关特征点之间的相关系数。其中，相关特征点包括第二特征图中与第三特征点位置对应的特征点(称为第四特征点)，以及与第四特征点之间的距离小于或等于距离阈值d的特征点。也即，相关特征点处于D×D的特征图区域内，共有D2个相关特征点。
在一种可能的实现方式中，经计算后，可得到第三特征点的D2个相关系数，可理解为该第三特征点与第二特征图中对应点附近区域的相关系数，也可称为特征点的局部相关性矩阵。这样，对第一特征图的每个特征点进行互相关计算后，可得到整个第一特征图的相关性矩阵。在已经对通道维度C求和的情况下，该相关性矩阵的维度为D2×H×W。
在一种可能的实现方式中，根据第三特征点与多个相关特征点之间的相关系数，可通过如下公式确定第三特征点x3的相关性注意力值Att(x3)：
Figure BDA0002984171830000121
在公式(4)中，i表示二维的偏移量，也即相关特征点与第四特征点x4之间的距离；corr(x3,x4+i)表示第三特征点x3与第四特征点x4之间的偏移量为i的相关特征点的相关系数，
Figure BDA0002984171830000122
表示第三特征点x3的D2个相关特征点的相关系数的平均值。
这样，对第一特征图的每个第三特征点进行处理后，根据多个第三特征点的相关性注意力值，可得到相关性注意力图。
对于无缺陷的区域，产品图像和模板图像在该区域中的特征差别较小，该区域中的特征点的相关系数平均值会接近1，因此得到的相关性注意力值会接近0，可表示对该特征点的注意力较低。反之，对于有缺陷的区域，产品图像和模板图像在该区域中的特征差别较大，该区域中的特征点的相关系数平均值会较小，因此得到的相关性注意力值会较大，接近1，可表示对该特征点的注意力较高。
通过这种方式，能够基于注意力机制提高对有缺陷的区域的关注程度，使得网络能够更容易地寻找到产品图像中的缺陷区域，从而提高后续缺陷检测的效果。
在得到相关性注意力图后，可在步骤S14中基于所述相关性注意力图对第一特征图、第二特征图进行融合，得到第一融合特征图。在一种可能的实现方式中，步骤S14可包括：
将所述第一特征图与所述第二特征图融合，得到第二融合特征图；
将所述第二融合特征图与所述相关性注意力图融合，得到所述第一融合特征图。
也就是说，可先将第一特征图和第二特征图融合，得到初步的第二融合特征图；再将第二融合特征图与第一融合特征图融合，得到最终的第一融合特征图。
在一种可能的实现方式中，将所述第一特征图与所述第二特征图融合，得到第二融合特征图的步骤，可包括：
对所述第二特征图进行卷积，得到第三特征图；
对所述第一特征图与所述第三特征图进行相加或拼接，得到所述第二融合特征图。
在一种可能的实现方式中，可通过至少一层卷积层对模板图像的第二特征图进行卷积处理，得到第三特征图。该处理过程可理解为第二特征图的自注意力调整，以便实现第一特征图与第二特征图的特征对齐。
其中，第三特征图的尺寸与第二特征图的尺寸相同。其中，卷积层的卷积核尺寸可例如为3×3，本公开对此不作限制。
在一种可能的实现方式中，可将第一特征图与第三特征图进行点对点的相加，或者将第一特征图与第三特征图按通道进行拼接，从而实现特征图的融合，本公开对具体的融合方式不作限制。
图2示出根据本公开实施例的缺陷检测方法的特征融合的示意图。如图2所示，第二特征图经过卷积处理后，与第一特征图融合，得到第二融合特征图。
通过这种方式，可提高初步融合的特征图的精度。
在一种可能的实现方式中，可将第二融合特征图与相关性注意力图融合，得到第一融合特征图。其中，第二融合特征图与相关性注意力图融合的步骤可包括：
将所述第二融合特征图与所述相关性注意力图融合，得到第三融合特征图；
将所述第二融合特征图与所述第三融合特征图融合，得到所述第一融合特征图。
举例来说，可先将第二融合特征图与相关性注意力图相乘，得到第三融合特征图；再将第二融合特征图与第三融合特征图相加，得到第一融合特征图。如下公式(5)所示：
f1(x)←f2(x)+f2(x)·Att(x) (5)
在公式(5)中，f1(x)表示第一融合特征图；f2(x)表示第二融合特征图；Att(x)表示相关性注意力图。
通过这种融合方式，一方面能够使得网络对缺陷区域有更多关注，从而提高缺陷检测的效果；另一方面，由于产品图像中存在较多的，与模板图像有一定像素差异但不是关心的区域(例如记号笔的勾画痕迹)，因此保留f2(x)的旁路分支的设计，能够使得网络不至于被相关性注意力图所过度影响，从而降低缺陷检测的误检率，提高缺陷检测的鲁棒性。
在得到第一融合特征图后，可在步骤S15中对第一融合特征图进行检测。例如通过检测网络对第一融合特征图进行处理，得到产品图像的缺陷检测结果。该缺陷检测结果可包括产品图像中是否存在缺陷区域，并在存在缺陷区域的情况下给出缺陷区域的类型及位置。该检测网络可以为图像分类网络或图像分割网络，本公开对检测网络所采用的网络类型及网络结构均不作限制。
图3示出根据本公开实施例的缺陷检测方法的处理过程的示意图。如图3所示，实现该方法的神经网络可包括特征提取网络33、相关性注意力网络34以及检测网络35，其中，特征提取网络33为共享权重或部分共享权重的网络。
在进行缺陷检测时，可将产品图像31和相匹配的模板图像33分别输入特征提取网络33中，输出第一特征图和第二特征图；将第一特征图和第二特征图输入相关性注意力网络34中，一方面对第一特征图和第二特征图的进行相关性注意力分析，得到相关性注意力图；另一方面将第一特征图和第二特征图进行特征融合，得到第二融合特征图；再将第二融合特征图与相关性注意力图进行注意力融合，得到第一融合特征图；然后，将第一融合特征图输入检测网络35中，输出产品图像的缺陷检测结果，从而实现缺陷检测的整个处理过程。
在一种可能的实现方式中，特征提取网络可包括特征金字塔(FPN)结构，使得提取到的特征图包括至少二级子特征图。在该情况下，产品图像的第一特征图包括至少二级第一子特征图，模板图像的第二特征图包括至少二级第二子特征图。其中，不同级的子特征图的尺度不同，同一级的第一子特征图与第二子特征图的尺度相同。例如，在子特征图为4级时，产品图像的各级第一子特征图的尺度可依次为产品图像的尺度的1/16、1/8、1/4、1/2。本公开对子特征图的级数不作限制。
在一种可能的实现方式中，步骤S13可包括：
基于同一级的第三子特征图与第四子特征图之间的相关性分析，得到当前级的相关性注意力图；其中，当前级的第三子特征图通过当前级的第一子特征图确定，或当前级的第一子特征图与相邻级的第一子特征图相融合确定；当前级的第四子特征图通过当前级的第二子特征图确定，或当前级的第二子特征图与相邻级的第二子特征图相融合确定。
举例来说，可分别对同一级的子特征图之间的相关性进行分析，得到对应层级的相关性注意力图。其中，可直接对同一级的子特征图进行相关性分析；也可先对同一级的子特征图分别进行处理，再进行相关性分析。
在一种可能的实现方式中，在直接对当前级的子特征图进行相关性分析的情况下，针对待分析的当前层级，可通过当前级的第一子特征图，直接确定当前级的第三子特征图；通过当前级的第二子特征图，直接确定当前级的第四子特征图。将当前级的第三子特征图与当前级的第四子特征图融合(例如相加或拼接)，得到当前级的相关性注意力图。这样，分别对各级进行相关性分析，可得到各级的相关性注意力图。
在一种可能的实现方式中，在先对当前级的子特征图处理再进行相关性分析的情况下，针对待分析的当前层级，可通过当前级的第一子特征图与相邻级的第一子特征图相融合，确定当前级的第三子特征图；通过当前级的第二子特征图与相邻级的第二子特征图相融合，确定当前级的第四子特征图。
其中，相邻级的子特征图可包括当前级子特征图的前一级子特征图和/或后一级子特征图。
在一种可能的实现方式中，可以将前一级第一子特征图尺度放大，再与当前级的第一子特征图融合，作为当前级的第三子特征图；将前一级第二子特征图尺度放大，再与当前级的第二子特征图融合，作为当前级的第四子特征图。通过这种方式，既利用前一级特征图较强的语义特征，又利用了当前级特征图的高分辨率信息，能够提高融合得到的特征图中信息的丰富性。
图4示出根据本公开实施例的缺陷检测方法的多级特征图的融合过程的示意图。如图4所示，产品图像的第一特征图和模板图像的第二特征图分别包括4级子特征图。
例如，对于第一特征图的第2级第一子特征图，可对第1级第一子特征图进行上采样，将第1级第一子特征图的尺度放大到与第2级第一子特征图的尺度相同；再将尺度放大后的第1级第一子特征图与第2级第一子特征图融合，得到第2级第三子特征图。对于第二特征图的第2级第二子特征图，可对第1级第二子特征图进行上采样，将第1级第二子特征图的尺度放大到与第2级第二子特征图的尺度相同；再将尺度放大后的第1级第二子特征图与第2级第二子特征图融合，得到第2级第四子特征图。这样，可对第2级-第4级子特征图均进行同样的处理。
在一种可能的实现方式中，也可以将前一级第一子特征图尺度放大，后一级第一子特征图尺度缩小，再将这两个第一子特征图与当前级的第一子特征图融合，作为当前级的第三子特征图；并且，将前一级第二子特征图尺度放大，后一级第二子特征图尺度缩小，再将这两个第二子特征图与当前级的第二子特征图融合，作为当前级的第四子特征图。
在一种可能的实现方式中，还可以将后一级的第一子特征图尺度缩小，与当前级的第一子特征图融合，作为当前级的第三子特征图；并且，将后一级的第二子特征图尺度缩小，与当前级的第二子特征图融合，作为当前级的第四子特征图。
应当理解，本领域技术人员可根据实际情况设置子特征图的具体融合方式，只要第一特征图和第二特征图的子特征图的融合方式相同即可，本公开对此不作限制。
在一种可能的实现方式中，可基于同一级的第三子特征图与第四子特征图之间的相关性分析，得到当前级的相关性注意力图。
也即，针对待分析的当前层级，可通过特征点之间的互相关矩阵，对当前级的第三子特征图与当前级的第四子特征图的各个特征点进行互相关计算，得到当前级的第三子特征图的各个特征点与该特征点的相关特征点之间的相关系数；根据相关系数确定该特征点的相关性注意力值；进而确定出当前级的相关性注意力图。该处理过程与前面描述的第一特征图与第二特征图之间的相关性分析过程一致，此处不再重复描述。
这样，对各级子特征图分别进行处理，可得到各级的相关性注意力图。
通过这种方式，可将特征提取的FPN结构与相关性注意力的处理相结合，提高特征图中信息的丰富性，从而进一步提高注意力机制对缺陷区域的关注程度，进一步提高后续缺陷检测的效果。
在一种可能的实现方式中，在采用特征金字塔FPN结构的情况下，步骤S14的融合过程可包括：
基于同一级的第三子特征图与第四子特征图的融合，得到当前级的第二融合特征图；
将当前级的第二融合特征图与当前级的相关性注意力图融合，得到当前级的第一融合特征图。
举例来说，可对各级子特征图分别进行融合处理。针对待融合的当前层级，可通过至少一层卷积层，对模板图像的当前级第四子特征图进行卷积，得到当前级的第五子特征图，以便实现当前级的第三子特征图与当前级的第四子特征图之间的特征对齐；然后，可对当前级的第三子特征图与当前级的第五子特征图进行点对点的相加，或者将当前级的第三子特征图与当前级的第五子特征图按通道进行拼接，得到当前级的第二融合特征图，从而实现当前级子特征图的初步融合。
在一种可能的实现方式中，可将当前级的第二融合特征图与当前级的相关性注意力图融合，得到当前级的第一融合特征图。该融合过程同样可采用公式(5)的融合方式，此处不再重复描述。
这样，对各级子特征图分别进行处理，可得到各级的第一融合特征图，完成整个融合过程。如图4所示，可分别对各级融合后的子特征图进行注意力融合(包括相关性分析及两次融合过程)，得到多级第一融合特征图。
进而，可在步骤S15中对各级的第一融合特征图进行检测，得到产品图像的缺陷检测结果。
通过这种方式，能够进一步提高缺陷检测的效果。
在一种可能的实现方式中，根据本公开实施例的缺陷检测方法可通过缺陷检测网络实现，该缺陷检测网络可包括图3中的特征提取网络33、相关性注意力网络34以及检测网络35。
在一种可能的实现方式中，该缺陷检测网络是根据预设的训练集训练得到的，所述训练集包括无缺陷产品的样本模板图像以及有缺陷产品的样本产品图像。其中，样本产品图像中标注有缺陷区域的位置。
由于工业产品的缺陷尺寸较小，数据量也较少，因此，直接通过训练集来训练该缺陷检测网络容易过拟合，训练效果较差。在该情况下，可对训练集进行样本数据增广，扩展训练集中样本的数量以及样本中的缺陷数量。根据本公开的实施例中，除了采用颜色增强、多尺度训练等标准数据增广方式外，还可采用“剪切-粘贴”的数据增广方案，实现样本数据增广。
在一种可能的实现方式中，根据本公开实施例的缺陷检测方法还可包括：
获取相匹配的样本图像对，每个样本图像对包括样本产品图像及相匹配的样本模板图像；
针对任一样本图像对，从所述样本图像对中确定与所述缺陷区域对应的区域图像对；
基于将所述区域图像对粘贴到至少另一样本图像对中，得到更新后的样本图像对；
根据更新后的多个样本图像对，训练所述缺陷检测网络。
举例来说，可将训练集中的样本产品图像与样本模板图像进行匹配，得到匹配后的样本模板图像。该匹配过程可与前面描述的匹配过程一致，此处不再重复描述。其中，匹配后的样本模板图像可与训练集中的样本模板图像相同或不同，本公开对此不作限制。
经匹配后，每个样本产品图像与相匹配的样本模板图像组成样本图像对，从而可得到多个样本图像对。其中，每个样本图像对可理解为6通道的图像(样本产品图像3个通道+样本模板图像3个通道)。
在一种可能的实现方式中，针对任一样本图像对，根据该样本图像对中的样本产品图像中缺陷区域的标注位置，可从该样本图像对中确定出与所述缺陷区域对应的区域图像对。其中，可直接将缺陷区域的图像作为区域图像；也可对缺陷区域进行扩展，将扩展后的图像作为区域图像。
在一种可能的实现方式中，从所述样本图像对中确定与所述缺陷区域对应的区域图像对的步骤，可包括：
根据预设的扩展系数，对所述样本产品图像中的缺陷区域进行扩展，得到扩展区域；
从所述样本图像对的样本产品图像和样本模板图像中，分别确定出与所述扩展区域对应的区域图像，得到所述区域图像对。
也就是说，可预先设定缺陷区域的扩展系数，例如扩展系数取值为4-8倍。根据扩展系数对样本产品图像中的缺陷区域进行扩展，得到扩展区域；根据扩展区域的位置，分别从样本产品图像和样本模板图像中确定出与扩展区域对应的区域图像，得到区域图像对，从而完成确定区域图像对的步骤。本公开对扩展系数的具体取值不作限制。
通过这种方式，可以增大区域图像中的信息量，提高网络训练效果。
在一种可能的实现方式中，在得到区域图像对后，可将该区域图像对粘贴到至少另一个样本图像对中的任意图像位置处，得到更新后的样本图像对，从而完成“剪切-粘贴”的处理过程。
图5示出根据本公开实施例的缺陷检测方法的图像增广处理的示意图。如图5所示，可根据样本图像对1中缺陷区域的标注位置，对缺陷区域进行扩展，得到扩展后的裁剪区域；将裁剪区域的区域图像，粘贴到样本图像对2的粘贴区域，得到更新后的样本图像对2，从而完成一次“剪切-粘贴”处理过程。其中，粘贴区域为样本图像对2中的任意区域。
在一种可能的实现方式中，可以对全部或部分的样本图像对分别进行“剪切-粘贴”处理，并对参与处理的每个样本图像对进行一次或多次的“剪切-粘贴”处理，得到更新后的多个样本图像对。
通过这种方式，可增加样本中缺陷区域的数量，降低缺陷检测区域对背景图片的依赖，增加网络的泛化能力，减少网络过拟合的风险，从而显著提升缺陷检测网络的训练速度和训练效果。
在一种可能的实现方式中，可根据更新后的多个样本图像对，训练缺陷检测网络。该缺陷检测网络的训练过程可与普通的Faster RCNN(更快速候选区域卷积神经网络，一种用于目标检测的卷积神经网络)类似。
例如，将更新后的样本图像对输入缺陷检测网络中处理，得到样本缺陷检测结果；根据样本缺陷检测结果中缺陷区域的位置与缺陷区域的标注位置之间的差异，确定缺陷检测网络的网络损失；根据网络损失反向调整缺陷检测网络的网络参数；经过多轮迭代，在满足训练条件(例如网络收敛)的情况下，可得到训练后的缺陷检测网络。本公开对缺陷检测网络的具体训练方式不作限制。
根据本公开实施例的缺陷检测方法，将产品原图与其模板图共同作为输入，通过特征提取以及模板比对注意力机制，能够有效检测出关心的产品表面的缺陷位置，并忽略其他不重要的扰动，比如光照条件以及不关心的像素级的不同(例如记号笔的勾画痕迹)，从而显著提高缺陷检测的准确率。
在输入图像的预处理方面，相关技术中可能直接采用一块局部区域内像素点做最小二乘法计算转换矩阵的方式，实现图像对齐，计算量较大且匹配失败的概率较高。而根据本公开实施例的缺陷检测方法，通过提取一定量的ORB特征然后根据特征进行对齐，如果未对齐则增加抽取特征数目进行递归。该匹配方式能够允许输入的两张图间存在一定的错位(如平移、旋转等)，保证产品原图与其模板图的像素能较为准确地配对，使得预处理过程对现场环境更为鲁棒，减少无法对齐的情况，提高了匹配的速度及准确性，从而提升缺陷检测的准确率。
在相关性分析方面，相关技术中将相关性分析结果直接输入检测网络中检测，准确性较差，可能产生一定量的误报。而根据本公开实施例的缺陷检测方法，通过将产品原图和模板图之间的相关性注意力图，与原图及模板图特征进行融合，一方面能够使得网络通过相关性注意力特征快速定位到缺陷所在区域，另一方面保留原有特征图的操作也能够使得网络不会过分依赖于相关性注意力特征，从面对其他不关心的像素级区别有一定的抵抗能力，使得网络更为鲁棒，提升缺陷检测的准确率，减少误报。
根据本公开实施例的缺陷检测方法，能够采用特征金字塔结构提取特征，将相关性注意力机制与特征金字塔结构相结合，使得缺陷检测网络的性能得到进一步提升，进一步提高缺陷检测的效果。
根据本公开实施例的缺陷检测方法，在网络训练过程中，对预处理对齐过后的样本采用“剪切-粘贴”的数据增广方式，并且保证原图与模板图在相同的区域进行“剪切-粘贴”操作，增加样本中缺陷区域的数量，从提升缺陷检测网络的训练速度和训练效果。
根据本公开实施例的缺陷检测方法，可应用于工业缺陷检测的场景中，对生产环境中的工业产品表面出现的缺陷、缺陷的位置和类型做出预测。
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
此外，本公开还提供了缺陷检测装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种缺陷检测方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
图6示出根据本公开实施例的缺陷检测装置的框图，如图6所示，所述装置包括：
图像获取模块61，用于获取待检测产品的产品图像以及与所述产品图像匹配的模板图像；
特征提取模块62，用于对所述产品图像及所述模板图像分别进行特征提取，得到所述产品图像的第一特征图以及所述模板图像的第二特征图；
相关性分析模块63，用于对所述第一特征图与所述第二特征图之间的相关性进行分析，得到所述第一特征图与所述第二特征图之间的相关性注意力图；
融合模块64，用于基于所述相关性注意力图对所述第一特征图、所述第二特征图进行融合，得到第一融合特征图；
检测模块65，用于对所述第一融合特征图进行检测，得到所述产品图像的缺陷检测结果。
在一种可能的实现方式中，在所述图像获取模块之前，所述装置还包括：
第一特征点提取模块，用于对所述产品图像和初始模板图像分别进行特征点提取，得到所述产品图像中第一预设数量的第一特征点，以及所述初始模板图像中所述第一预设数量的第二特征点；特征点匹配模块，用于对所述第一特征点与所述第二特征点进行特征点匹配，确定出所述产品图像与所述初始模板图像中的特征点对，每个特征点对包括相匹配的一个第一特征点和一个第二特征点；变换矩阵确定模块，用于在所述特征点对的数量大于或等于数量阈值的情况下，根据所述特征点对中特征点的位置，确定所述初始模板图像到所述产品图像的仿射变换矩阵；图像变换模块，用于根据所述仿射变换矩阵，对所述初始模板图像进行变换，得到所述模板图像。
在一种可能的实现方式中，在所述特征点匹配模块之后，所述装置还包括：第二特征点提取模块，用于在所述特征点对的数量小于所述数量阈值的情况下，再次对所述产品图像和初始模板图像分别进行特征点提取，得到所述产品图像中第二预设数量的第一特征点，以及所述初始模板图像中所述第二预设数量的第二特征点，其中，所述第二预设数量大于所述第一预设数量。
在一种可能的实现方式中，所述装置通过特征提取网络对所述产品图像及所述模板图像分别进行特征提取，所述特征提取网络包括第一子网络、第二子网络及第三子网络，其中，所述特征提取模块，包括：第一提取子模块，用于将所述产品图像及所述模板图像分别输入所述第一子网络中处理，输出所述产品图像的第一中间特征图及所述模板图像的第二中间特征图；第二提取子模块，用于将所述第一中间特征图输入所述第二子网络中处理，输出所述第一特征图；第三提取子模块，用于将所述第二中间特征图输入所述第三子网络中处理，输出所述第二特征图。
在一种可能的实现方式中，所述相关性分析模块，包括：相关系数确定子模块，用于针对所述第一特征图中的任一第三特征点，分别确定所述第三特征点与所述第二特征图中的多个相关特征点之间的相关系数，其中，所述相关特征点包括所述第二特征图中，与所述第三特征点位置对应的第四特征点，以及与所述第四特征点之间的距离小于或等于距离阈值的特征点；注意力值确定子模块，用于根据所述第三特征点与所述多个相关特征点之间的相关系数，确定所述第三特征点的相关性注意力值；注意力图确定子模块，用于根据所述第一特征图的多个第三特征点的相关性注意力值，确定所述相关性注意力图。
在一种可能的实现方式中，所述融合模块包括：第一融合子模块，用于将所述第一特征图与所述第二特征图融合，得到第二融合特征图；第二融合子模块，用于将所述第二融合特征图与所述相关性注意力图融合，得到所述第一融合特征图。
在一种可能的实现方式中，所述第一融合子模块用于：对所述第二特征图进行卷积，得到第三特征图；对所述第一特征图与所述第三特征图进行相加或拼接，得到所述第二融合特征图。
在一种可能的实现方式中，所述第二融合子模块用于：将所述第二融合特征图与所述相关性注意力图融合，得到第三融合特征图；将所述第二融合特征图与所述第三融合特征图融合，得到所述第一融合特征图。
在一种可能的实现方式中，所述第一特征图包括至少二级第一子特征图，所述第二特征图包括至少二级第二子特征图，其中，所述相关性分析模块包括：分析子模块，用于基于同一级的第三子特征图与第四子特征图之间的相关性分析，得到当前级的相关性注意力图；其中，当前级的第三子特征图通过当前级的第一子特征图确定，或当前级的第一子特征图与相邻级的第一子特征图相融合确定；当前级的第四子特征图通过当前级的第二子特征图确定，或当前级的第二子特征图与相邻级的第二子特征图相融合确定。
在一种可能的实现方式中，所述融合模块包括：第三融合子模块，用于基于同一级的第三子特征图与第四子特征图的融合，得到当前级的第二融合特征图；第四融合子模块，用于将当前级的第二融合特征图与当前级的相关性注意力图融合，得到当前级的第一融合特征图。
在一种可能的实现方式中，所述装置通过缺陷检测网络实现，所述缺陷检测网络是根据预设的训练集训练得到的，所述训练集包括无缺陷产品的样本模板图像以及有缺陷产品的样本产品图像，其中，所述装置还包括：图像对获取模块，用于获取相匹配的样本图像对，每个样本图像对包括样本产品图像及相匹配的样本模板图像；区域对确定模块，用于针对任一样本图像对，从所述样本图像对中确定与所述缺陷区域对应的区域图像对；图像粘贴模块，用于基于将所述区域图像对粘贴到至少另一样本图像对中，得到更新后的样本图像对；训练模块，用于根据更新后的多个样本图像对，训练所述缺陷检测网络。
在一种可能的实现方式中，所述区域对确定模块用于：根据预设的扩展系数，对所述样本产品图像中的缺陷区域进行扩展，得到扩展区域；从所述样本图像对的样本产品图像和样本模板图像中，分别确定出与所述扩展区域对应的区域图像，得到所述区域图像对。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。计算机可读存储介质可以是非易失性计算机可读存储介质。
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
本公开实施例还提供了一种计算机程序产品，包括计算机可读代码，当计算机可读代码在设备上运行时，设备中的处理器执行用于实现如上任一实施例提供的缺陷检测方法的指令。
本公开实施例还提供了另一种计算机程序产品，用于存储计算机可读指令，指令被执行时使得计算机执行上述任一实施例提供的缺陷检测方法的操作。
电子设备可以被提供为终端、服务器或其它形态的设备。
图7示出根据本公开实施例的一种电子设备800的框图。例如，电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等终端。
参照图7，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电源组件806，多媒体组件808，音频组件810，输入/输出(I/O)的接口812，传感器组件814，以及通信组件816。
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(MIC)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态评估。例如，传感器组件814可以检测到电子设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如互补金属氧化物半导体(CMOS)或电荷耦合装置(CCD)图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如无线网络(WiFi)，第二代移动通信技术(2G)或第三代移动通信技术(3G)，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器804，上述计算机程序指令可由电子设备800的处理器820执行以完成上述方法。
图8示出根据本公开实施例的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图8，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如微软服务器操作系统(Windows ServerTM)，苹果公司推出的基于图形用户界面操作系统(Mac OSXTM)，多用户多进程的计算机操作系统(UnixTM),自由和开放原代码的类Unix操作系统(LinuxTM)，开放原代码的类Unix操作系统(FreeBSDTM)或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (15)

1.一种缺陷检测方法，其特征在于，包括：
获取待检测产品的产品图像以及与所述产品图像匹配的模板图像；
对所述产品图像及所述模板图像分别进行特征提取，得到所述产品图像的第一特征图以及所述模板图像的第二特征图；
对所述第一特征图与所述第二特征图之间的相关性进行分析，得到所述第一特征图与所述第二特征图之间的相关性注意力图；
基于所述相关性注意力图对所述第一特征图、所述第二特征图进行融合，得到第一融合特征图；
对所述第一融合特征图进行检测，得到所述产品图像的缺陷检测结果。
2.根据权利要求1所述的方法，其特征在于，在获取待检测产品的产品图像以及与所述产品图像匹配的模板图像之前，所述方法还包括：
对所述产品图像和初始模板图像分别进行特征点提取，得到所述产品图像中第一预设数量的第一特征点，以及所述初始模板图像中所述第一预设数量的第二特征点；
对所述第一特征点与所述第二特征点进行特征点匹配，确定出所述产品图像与所述初始模板图像中的特征点对，每个特征点对包括相匹配的一个第一特征点和一个第二特征点；
在所述特征点对的数量大于或等于数量阈值的情况下，根据所述特征点对中特征点的位置，确定所述初始模板图像到所述产品图像的仿射变换矩阵；
根据所述仿射变换矩阵，对所述初始模板图像进行变换，得到所述模板图像。
3.根据权利要求2所述的方法，其特征在于，在确定出所述产品图像与所述初始模板图像中的特征点对之后，所述方法还包括：
在所述特征点对的数量小于所述数量阈值的情况下，再次对所述产品图像和初始模板图像分别进行特征点提取，得到所述产品图像中第二预设数量的第一特征点，以及所述初始模板图像中所述第二预设数量的第二特征点，
其中，所述第二预设数量大于所述第一预设数量。
4.根据权利要求1-3中任意一项所述的方法，其特征在于，所述方法通过特征提取网络对所述产品图像及所述模板图像分别进行特征提取，所述特征提取网络包括第一子网络、第二子网络及第三子网络，
其中，所述对所述产品图像及所述模板图像分别进行特征提取，得到所述产品图像的第一特征图以及所述模板图像的第二特征图，包括：
将所述产品图像及所述模板图像分别输入所述第一子网络中处理，输出所述产品图像的第一中间特征图及所述模板图像的第二中间特征图；
将所述第一中间特征图输入所述第二子网络中处理，输出所述第一特征图；
将所述第二中间特征图输入所述第三子网络中处理，输出所述第二特征图。
5.根据权利要求1-4中任意一项所述的方法，其特征在于，所述对所述第一特征图与所述第二特征图之间的相关性进行分析，得到所述第一特征图与所述第二特征图之间的相关性注意力图，包括：
针对所述第一特征图中的任一第三特征点，分别确定所述第三特征点与所述第二特征图中的多个相关特征点之间的相关系数，其中，所述相关特征点包括所述第二特征图中，与所述第三特征点位置对应的第四特征点，以及与所述第四特征点之间的距离小于或等于距离阈值的特征点；
根据所述第三特征点与所述多个相关特征点之间的相关系数，确定所述第三特征点的相关性注意力值；
根据所述第一特征图的多个第三特征点的相关性注意力值，确定所述相关性注意力图。
6.根据权利要求1-5中任意一项所述的方法，其特征在于，所述基于所述相关性注意力图对所述第一特征图、所述第二特征图进行融合，得到第一融合特征图，包括：
将所述第一特征图与所述第二特征图融合，得到第二融合特征图；
将所述第二融合特征图与所述相关性注意力图融合，得到所述第一融合特征图。
7.根据权利要求6所述的方法，其特征在于，所述将所述第一特征图与所述第二特征图融合，得到第二融合特征图，包括：
对所述第二特征图进行卷积，得到第三特征图；
对所述第一特征图与所述第三特征图进行相加或拼接，得到所述第二融合特征图。
8.根据权利要求6或7所述的方法，其特征在于，所述将所述第二融合特征图与所述相关性注意力图融合，得到所述第一融合特征图，包括：
将所述第二融合特征图与所述相关性注意力图融合，得到第三融合特征图；
将所述第二融合特征图与所述第三融合特征图融合，得到所述第一融合特征图。
9.根据权利要求1-8中任意一项所述的方法，其特征在于，所述第一特征图包括至少二级第一子特征图，所述第二特征图包括至少二级第二子特征图，
其中，所述对所述第一特征图与所述第二特征图之间的相关性进行分析，得到所述第一特征图与所述第二特征图之间的相关性注意力图，包括：
基于同一级的第三子特征图与第四子特征图之间的相关性分析，得到当前级的相关性注意力图；其中，当前级的第三子特征图通过当前级的第一子特征图确定，或当前级的第一子特征图与相邻级的第一子特征图相融合确定；当前级的第四子特征图通过当前级的第二子特征图确定，或当前级的第二子特征图与相邻级的第二子特征图相融合确定。
10.根据权利要求9所述的方法，其特征在于，所述基于所述相关性注意力图对所述第一特征图、所述第二特征图进行融合，得到第一融合特征图，包括：
基于同一级的第三子特征图与第四子特征图的融合，得到当前级的第二融合特征图；
将当前级的第二融合特征图与当前级的相关性注意力图融合，得到当前级的第一融合特征图。
11.根据权利要求1-10中任意一项所述的方法，其特征在于，所述方法通过缺陷检测网络实现，所述缺陷检测网络是根据预设的训练集训练得到的，所述训练集包括无缺陷产品的样本模板图像以及有缺陷产品的样本产品图像，其中，所述方法还包括：
获取相匹配的样本图像对，每个样本图像对包括样本产品图像及相匹配的样本模板图像；
针对任一样本图像对，从所述样本图像对中确定与所述缺陷区域对应的区域图像对；
基于将所述区域图像对粘贴到至少另一样本图像对中，得到更新后的样本图像对；
根据更新后的多个样本图像对，训练所述缺陷检测网络。
12.根据权利要求11所述的方法，其特征在于，所述从所述样本图像对中确定与所述缺陷区域对应的区域图像对，包括：
根据预设的扩展系数，对所述样本产品图像中的缺陷区域进行扩展，得到扩展区域；
从所述样本图像对的样本产品图像和样本模板图像中，分别确定出与所述扩展区域对应的区域图像，得到所述区域图像对。
13.一种缺陷检测装置，其特征在于，包括：
图像获取模块，用于获取待检测产品的产品图像以及与所述产品图像匹配的模板图像；
特征提取模块，用于对所述产品图像及所述模板图像分别进行特征提取，得到所述产品图像的第一特征图以及所述模板图像的第二特征图；
相关性分析模块，用于对所述第一特征图与所述第二特征图之间的相关性进行分析，得到所述第一特征图与所述第二特征图之间的相关性注意力图；
融合模块，用于基于所述相关性注意力图对所述第一特征图、所述第二特征图进行融合，得到第一融合特征图；
检测模块，用于对所述第一融合特征图进行检测，得到所述产品图像的缺陷检测结果。
14.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至12中任意一项所述的方法。
15.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至12中任意一项所述的方法。
CN202110295450.8A 2021-03-19 2021-03-19 缺陷检测方法及装置、电子设备和存储介质 Withdrawn CN112967264A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110295450.8A CN112967264A (zh) 2021-03-19 2021-03-19 缺陷检测方法及装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110295450.8A CN112967264A (zh) 2021-03-19 2021-03-19 缺陷检测方法及装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN112967264A true CN112967264A (zh) 2021-06-15

Family

ID=76277714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110295450.8A Withdrawn CN112967264A (zh) 2021-03-19 2021-03-19 缺陷检测方法及装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112967264A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674220A (zh) * 2021-07-28 2021-11-19 浙江大华技术股份有限公司 一种图像差异检测方法、检测装置和存储介质
CN113887615A (zh) * 2021-09-29 2022-01-04 北京百度网讯科技有限公司 图像处理方法、装置、设备和介质
CN113902692A (zh) * 2021-09-26 2022-01-07 北京医准智能科技有限公司 一种血管分割的方法、装置及计算机可读介质
CN114511630A (zh) * 2021-12-30 2022-05-17 合肥联宝信息技术有限公司 一种图像定位方法、装置、电子设备及存储介质
CN114841915A (zh) * 2022-03-14 2022-08-02 阿里巴巴（中国）有限公司 基于人工智能的瓷砖瑕疵检测方法、系统及存储介质
CN117636073A (zh) * 2024-01-24 2024-03-01 贵州科筑创品建筑技术有限公司 混凝土缺陷检测方法、装置及存储介质
CN118261740A (zh) * 2024-03-29 2024-06-28 苍南县求是中医药创新研究院 一种生产线实时检测放行系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934397A (zh) * 2017-03-13 2017-07-07 北京市商汤科技开发有限公司 图像处理方法、装置及电子设备
CN111160140A (zh) * 2019-12-13 2020-05-15 浙江大华技术股份有限公司 一种图像检测方法及装置
US20200160083A1 (en) * 2018-11-15 2020-05-21 International Business Machines Corporation Efficient defect localization/segmentation for surface defect inspection
CN111460967A (zh) * 2020-03-27 2020-07-28 北京百度网讯科技有限公司 一种违法建筑识别方法、装置、设备及存储介质
CN111462175A (zh) * 2020-03-11 2020-07-28 华南理工大学 时空卷积孪生匹配网络目标跟踪方法、装置、介质及设备
CN111598842A (zh) * 2020-04-24 2020-08-28 云南电网有限责任公司电力科学研究院 一种绝缘子缺陷样本生成模型的方法、系统及存储介质
CN111598861A (zh) * 2020-05-13 2020-08-28 河北工业大学 基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法
SG10201913754XA (en) * 2019-12-30 2020-12-30 Sensetime Int Pte Ltd Image processing method and apparatus, electronic device, and storage medium
CN112288723A (zh) * 2020-10-30 2021-01-29 北京市商汤科技开发有限公司 缺陷检测方法、装置、计算机设备及存储介质
CN112508846A (zh) * 2020-10-30 2021-03-16 北京市商汤科技开发有限公司 缺陷检测方法及装置、电子设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106934397A (zh) * 2017-03-13 2017-07-07 北京市商汤科技开发有限公司 图像处理方法、装置及电子设备
US20200160083A1 (en) * 2018-11-15 2020-05-21 International Business Machines Corporation Efficient defect localization/segmentation for surface defect inspection
CN111160140A (zh) * 2019-12-13 2020-05-15 浙江大华技术股份有限公司 一种图像检测方法及装置
SG10201913754XA (en) * 2019-12-30 2020-12-30 Sensetime Int Pte Ltd Image processing method and apparatus, electronic device, and storage medium
CN111462175A (zh) * 2020-03-11 2020-07-28 华南理工大学 时空卷积孪生匹配网络目标跟踪方法、装置、介质及设备
CN111460967A (zh) * 2020-03-27 2020-07-28 北京百度网讯科技有限公司 一种违法建筑识别方法、装置、设备及存储介质
CN111598842A (zh) * 2020-04-24 2020-08-28 云南电网有限责任公司电力科学研究院 一种绝缘子缺陷样本生成模型的方法、系统及存储介质
CN111598861A (zh) * 2020-05-13 2020-08-28 河北工业大学 基于改进的Faster R-CNN模型的非均匀纹理小缺陷的检测方法
CN112288723A (zh) * 2020-10-30 2021-01-29 北京市商汤科技开发有限公司 缺陷检测方法、装置、计算机设备及存储介质
CN112508846A (zh) * 2020-10-30 2021-03-16 北京市商汤科技开发有限公司 缺陷检测方法及装置、电子设备和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
HONGWEN DONG ET AL.: "PGA-Net: Pyramid Feature Fusion and Global Context Attention Network for Automated Surface Defect Detection", IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS, VOL. 16, NO. 12, DECEMBER 2020, vol. 16, no. 12, XP011810819, DOI: 10.1109/TII.2019.2958826 *
陈坤;徐向: "改进Faster RCNN在铝型材表面缺陷检测中的应用研究", 中国计量大学学报, no. 02 *
陈珺莹等: "基于显著增强分层双线性池化网络的细粒度图像分类", 《计算机辅助设计与图形学学报》, vol. 33, no. 2 *
麻森权;周克: "基于注意力机制和特征融合改进的小目标检测算法", 计算机应用与软件, no. 05 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674220A (zh) * 2021-07-28 2021-11-19 浙江大华技术股份有限公司 一种图像差异检测方法、检测装置和存储介质
CN113902692A (zh) * 2021-09-26 2022-01-07 北京医准智能科技有限公司 一种血管分割的方法、装置及计算机可读介质
CN113887615A (zh) * 2021-09-29 2022-01-04 北京百度网讯科技有限公司 图像处理方法、装置、设备和介质
CN114511630A (zh) * 2021-12-30 2022-05-17 合肥联宝信息技术有限公司 一种图像定位方法、装置、电子设备及存储介质
CN114841915A (zh) * 2022-03-14 2022-08-02 阿里巴巴（中国）有限公司 基于人工智能的瓷砖瑕疵检测方法、系统及存储介质
CN117636073A (zh) * 2024-01-24 2024-03-01 贵州科筑创品建筑技术有限公司 混凝土缺陷检测方法、装置及存储介质
CN117636073B (zh) * 2024-01-24 2024-04-26 贵州科筑创品建筑技术有限公司 混凝土缺陷检测方法、装置及存储介质
CN118261740A (zh) * 2024-03-29 2024-06-28 苍南县求是中医药创新研究院 一种生产线实时检测放行系统

Similar Documents

Publication Publication Date Title
CN110688951B (zh) 图像处理方法及装置、电子设备和存储介质
CN111310616B (zh) 图像处理方法及装置、电子设备和存储介质
CN110674719B (zh) 目标对象匹配方法及装置、电子设备和存储介质
CN110287874B (zh) 目标追踪方法及装置、电子设备和存储介质
CN112967264A (zh) 缺陷检测方法及装置、电子设备和存储介质
CN110889469B (zh) 图像处理方法及装置、电子设备和存储介质
CN109522910B (zh) 关键点检测方法及装置、电子设备和存储介质
CN111340048B (zh) 图像处理方法及装置、电子设备和存储介质
CN114078118A (zh) 缺陷检测方法及装置、电子设备和存储介质
CN110781813B (zh) 图像识别方法及装置、电子设备和存储介质
CN110532956B (zh) 图像处理方法及装置、电子设备和存储介质
CN109145970B (zh) 基于图像的问答处理方法和装置、电子设备及存储介质
CN109977860B (zh) 图像处理方法及装置、电子设备和存储介质
CN111523485A (zh) 位姿识别方法及装置、电子设备和存储介质
CN112016443B (zh) 同行识别方法及装置、电子设备和存储介质
CN114332503A (zh) 对象重识别方法及装置、电子设备和存储介质
CN112184787A (zh) 图像配准方法及装置、电子设备和存储介质
CN113139471A (zh) 目标检测方法及装置、电子设备和存储介质
CN111062401A (zh) 堆叠物体的识别方法及装置、电子设备和存储介质
CN112529846A (zh) 图像处理方法及装置、电子设备和存储介质
CN115660945A (zh) 一种坐标转换方法、装置、电子设备及存储介质
CN114066856A (zh) 模型训练方法及装置、电子设备和存储介质
CN113538310A (zh) 图像处理方法及装置、电子设备和存储介质
CN111553865B (zh) 图像修复方法及装置、电子设备和存储介质
CN113283343A (zh) 人群定位方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210615

WW01 Invention patent application withdrawn after publication