CN117474917A - 缺陷检测方法和装置、电子设备以及存储介质 - Google Patents

缺陷检测方法和装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN117474917A
CN117474917A CN202311813975.1A CN202311813975A CN117474917A CN 117474917 A CN117474917 A CN 117474917A CN 202311813975 A CN202311813975 A CN 202311813975A CN 117474917 A CN117474917 A CN 117474917A
Authority
CN
China
Prior art keywords
region
feature
image
segmentation
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311813975.1A
Other languages
English (en)
Inventor
徐海俊
韩晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Mega Technology Co Ltd
Original Assignee
Suzhou Mega Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Mega Technology Co Ltd filed Critical Suzhou Mega Technology Co Ltd
Priority to CN202311813975.1A priority Critical patent/CN117474917A/zh
Publication of CN117474917A publication Critical patent/CN117474917A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种缺陷检测方法和装置，电子设备以及存储介质。方法包括：获取待测图像；将待测图像输入经训练的图像分割网络，以确定第一位置信息，第一位置信息用于指示待测图像中至少一个第一分割区域的位置；基于第一位置信息，利用特征提取网络提取至少一个第一分割区域中每个第一分割区域所对应的待测区域特征图；对于至少一个第一分割区域中的每个第一分割区域，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷。该方案无需考虑待测图像整体的图像信息，例如待测图像的背景等，避免出现检测结果不准确或者无法检测的情况。

Description

缺陷检测方法和装置、电子设备以及存储介质
技术领域
本发明涉及图像处理技术领域，更具体地涉及一种缺陷检测方法、一种缺陷检测装置、一种电子设备和一种存储介质。
背景技术
工业领域常用的异常检测算法通常属于无监督算法，即无需收集标注数据集就可以实现异常检测。现有的异常检测方法，例如PatchCore算法，通过经训练的图像分割网络模型，提取待测图像中的中层特征，并基于所提取的中层特征特征确定特征库。在对图像分割网络模型进行推理时，通过将当前图像的图像特征以及特征库，生成异常分数，进而实现异常缺陷的检测。但是，由于PatchCore算法进行的是全局特征匹配，因此当待测图像的图像背景比较复杂，或者变化较大时，PatchCore算法往往无法有效工作。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种缺陷检测方法、一种缺陷检测装置、一种电子设备和一种存储介质。
根据本发明一个方面，提供一种缺陷检测方法，方法包括：获取待测图像；将待测图像输入经训练的图像分割网络，以确定第一位置信息，第一位置信息用于指示待测图像中至少一个第一分割区域的位置，至少一个第一分割区域与至少一个目标图像位置一一对应；基于第一位置信息，利用特征提取网络提取至少一个第一分割区域中每个第一分割区域所对应的待测区域特征图；对于至少一个第一分割区域中的每个第一分割区域，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷，特定目标图像位置为与该第一分割区域对应的目标图像位置。
示例性地，图像分割网络包括特征提取模块和分割头，特征提取模块用于提取待测图像的图像特征，分割头用于基于特征提取模块输出的图像特征确定第一位置信息，特征提取网络为经训练的图像分割网络中的特征提取模块。
示例性地，基于第一位置信息，利用特征提取网络提取至少一个第一分割区域中每个第一分割区域所对应的待测区域特征图，包括：对于至少一个第一分割区域中的每个第一分割区域，基于第一位置信息所指示的该第一分割区域的位置，从待测图像中删除除该第一分割区域以外的图像区域的像素信息，以获得该第一分割区域所对应的区域图像，并将区域图像输入特征提取网络中，以获得该第一分割区域所对应的待测区域特征图；或者，将第一位置信息以及待测图像输入特征提取网络中，以获得该第一分割区域所对应的待测区域特征图。
示例性地，图像分割网络通过以下方式进行训练：获取样本数据集，其中，样本数据集包括多个样本图像和多个样本图像各自对应的标注位置信息，标注位置信息用于指示对应样本图像中至少一个样本分割区域的位置，至少一个样本分割区域与至少一个目标图像位置一一对应；将多个样本图像输入待训练的图像分割网络，以获得多个样本图像各自对应的预测位置信息，预测位置信息用于指示对应样本图像中至少一个样本分割区域的位置；基于预测位置信息和标注位置信息之间的误差，计算预测损失值；基于预测损失值对待训练的图像分割网络中的参数进行优化，以获得经训练的图像分割网络。
示例性地，获取样本数据集，包括：获取初始模板图像以及初始模板图像对应的分区标注信息，其中，分区标注信息用于指示初始模板图像上的至少一个标注分区中每个标注分区的位置，至少一个标注分区与至少一个目标图像位置一一对应；基于初始模板图像以及分区标注信息，生成与至少一个标注分区一一对应的至少一个分区模板图像，其中，每个分区模板图像包含对应标注分区内的像素信息且不包含其他标注分区内的像素信息；获取多个样本图像；对于多个样本图像中的每个样本图像，将该样本图像与至少一个分区模板图像分别进行匹配，以获取该样本图像所对应的标注位置信息，其中，至少一个样本分割区域为与至少一个标注分区一一匹配的图像区域。
示例性地，在基于第一位置信息，利用特征提取网络提取至少一个第一分割区域中每个第一分割区域所对应的待测区域特征图之后，方法还包括：对于至少一个第一分割区域中每个第一分割区域，执行以下特征编码操作：将该第一分割区域所对应的待测区域特征图按照预设大小进行分割，以获得与分割出的多个编码区域一一对应的多个子区域特征图；确定多个子区域特征图各自对应的区域特征值；基于多个子区域特征图各自对应的区域特征值，获得该第一分割区域所对应的新的待测区域特征图，新的待测区域特征图包括与多个子区域特征图一一对应的多个编码特征图，每个编码特征图的像素值与对应子区域特征图像的区域特征值一致；其中，在执行将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较的操作时，将该第一分割区域所对应的新的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较。
示例性地，确定多个子区域特征图各自对应的区域特征值，包括：对于多个子区域特征图中的每个子区域特征图中的每个像素点，将该像素点作为目标特征点，将目标特征点邻域内第一数量的像素点各自对应的像素值依次与目标特征点对应的像素值进行比较；在任一像素点对应的像素值小于或等于目标特征点对应的像素值时，将该像素点对应的编码值确定为第一数值；在任一像素点对应的像素值大于目标特征点对应的像素值时，将该像素点对应的编码值确定为第二数值；将目标特征点邻域内第一数量的像素点各自对应的编码值进行求和，并将求和结果作为目标特征点对应的像素特征值，以获得该子区域特征图所对应的区域特征值，区域特征值包括该子区域特征图中的各像素点所对应的像素特征值。
示例性地，基于多个子区域特征图各自对应的区域特征值，获得该第一分割区域所对应的新的待测区域特征图，包括：将多个子区域特征图各自对应的区域特征值进行合并，以获得该第一分割区域所对应的新的待测区域特征图。
示例性地，在对于至少一个第一分割区域中的每个第一分割区域，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷之前，方法还包括：获取参考图像；将参考图像输入经训练的图像分割网络，以确定第二位置信息，第二位置信息用于指示参考图像中至少一个第二分割区域的位置，至少一个第二分割区域与至少一个目标图像位置一一对应；基于第二位置信息，利用特征提取网络提取至少一个第二分割区域中每个第二分割区域所对应的参考区域特征图；基于至少一个第二分割区域中每个第二分割区域所对应的参考区域特征图获取参考特征库。
示例性地，基于至少一个第二分割区域中每个第二分割区域所对应的参考区域特征图获取参考特征库，包括：对于至少一个第二分割区域中每个第二分割区域执行特征编码操作，以获得每个第二分割区域所对应的新的参考区域特征图；基于至少一个第二分割区域各自对应的新的参考区域特征图获取参考特征库。
示例性地，参考特征库包括与多个位置区域组一一对应的参考特征描述库，多个位置区域组为至少一个目标图像位置和多个编码区域通过组合方式形成的组，不同位置区域组所对应的目标图像位置和编码区域中的至少一者不同，参考图像的数量为多个，其中，基于至少一个第二分割区域各自对应的新的参考区域特征图获取参考特征库，包括：将多个参考图像的与每个位置区域组对应的子区域特征图存储至与该位置区域组对应的参考特征描述库中。
示例性地，基于至少一个第二分割区域各自对应的新的参考区域特征图获取参考特征库，还包括：对于多个位置区域组中的任一位置区域组，若对应的参考特征描述库中存在彼此相同的子区域特征图，则在对应的参考特征描述库中保留彼此相同的子区域特征图中的任一子区域特征图并删除其他子区域特征图。
示例性地，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷，包括：对于多个编码区域中的每个编码区域，从与特定位置区域组对应的参考特征描述库中的各编码特征图中选择最大异常值所对应的编码特征图，特定位置区域组为特定目标图像位置与该编码区域组合形成的组；确定待测图像的与该编码区域对应的编码特征图的像素值与最大异常值所对应的编码特征图的像素值之间的差值，并将差值确定为该编码区域所对应的子异常特征图的像素值；将第一异常特征图或对第一异常特征图上采样获得的第二异常特征图中的每个像素的像素值与异常阈值进行对比，确定像素值大于异常阈值的像素为缺陷像素，其中，第一异常特征图包括多个编码区域一一对应的子异常特征图；将第一异常特征图或第二异常特征图中的缺陷像素映射至待测图像，以确定该第一分割区域内的缺陷区域。
示例性地，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷，包括：将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域所对应的待测区域特征图中的每个像素点是否属于缺陷区域；将待测区域特征图中的属于缺陷区域的像素点映射至待测图像上，以确定待测图像上位于该第一分割区域内的缺陷区域；在对于至少一个第一分割区域中的每个第一分割区域，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷之后，方法还包括：综合至少一个第一分割区域各自对应的缺陷区域，确定待测图像中的缺陷区域。
示例性地，在对于至少一个第一分割区域中的每个第一分割区域，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷之前，方法还包括：获取参考图像；将参考图像输入经训练的图像分割网络，以确定第二位置信息，第二位置信息用于指示参考图像中至少一个第二分割区域的位置，至少一个第二分割区域与至少一个目标图像位置一一对应；基于第二位置信息，利用特征提取网络提取至少一个第二分割区域中每个第二分割区域所对应的参考区域特征图；基于至少一个第二分割区域中每个第二分割区域所对应的参考区域特征图获取参考特征库。
根据本发明又一方面，还提供一种缺陷检测装置，装置包括：获取模块，用于获取待测图像；输入模块，用于将待测图像输入经训练的图像分割网络，以确定第一位置信息，第一位置信息用于指示待测图像中至少一个第一分割区域的位置，至少一个第一分割区域与至少一个目标图像位置一一对应；提取模块，用于基于第一位置信息，利用特征提取网络提取至少一个第一分割区域中每个第一分割区域所对应的待测区域特征图；比较模块，用于对于至少一个第一分割区域中的每个第一分割区域，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷，特定目标图像位置为与该第一分割区域对应的目标图像位置。
根据本发明又一方面，还提供一种电子设备，包括处理器和存储器，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行上述的缺陷检测方法。
根据本发明再一方面，还提供一种存储介质，存储有计算机程序/指令，计算机程序/指令在运行时用于执行上述的缺陷检测方法。
根据本发明实施例的缺陷检测方法、缺陷检测装置、电子设备和存储介质，将待测图像输入经训练的图像分割网络，可以确定第一位置信息。基于第一位置信息，可以利用特征提取网络提取每个第一分割区域所对应的待测区域特征图。进而将每个第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷。该方案利用图像分割网络对待测图像进行分割，可以实现对每个区域图像进行缺陷检测。这样无需考虑待测图像整体的图像信息，例如待测图像的背景等，避免出现检测结果不准确或者无法检测的情况。该方法应用范围较大，且准确率较高。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1示出了根据本发明一个实施例的缺陷检测方法的示意性流程图；
图2示出了根据本发明一个实施例的待测图像中至少一个第一分割区域的示意图；
图3示出了根据本发明一个实施例的缺陷检测装置的示意性框图；以及
图4示出了根据本发明一个实施例的电子设备的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
为了至少部分地解决上述问题，本发明实施例提供一种缺陷检测方法。图1示出了根据本发明一个实施例的缺陷检测方法100的示意性流程图，如图1所示，该方法100可以包括以下步骤S110，步骤S120，步骤S130和步骤S140。
步骤S110，获取待测图像。
示例性地，待测图像可以是任意类型的包含目标对象在内的图像。目标对象可以是例如晶圆、字符、电子元器件等任意类型的物品。待测图像可以是静态图像，也可以是动态视频中的任一视频帧。待测图像可以是图像采集装置(例如相机中的图像传感器)采集到的原始图像，也可以是对原始图像进行预处理(诸如数字化、归一化、平滑等)之后获得的图像。
步骤S120，将待测图像输入经训练的图像分割网络，以确定第一位置信息，第一位置信息用于指示待测图像中至少一个第一分割区域的位置，至少一个第一分割区域与至少一个目标图像位置一一对应。
示例性地，将待测图像输入经训练的图像分割网络后，可以确定第一位置信息。示例性而非限制性地，图像分割网络可以采用以下一种或多种网络实现：全卷积网络（FullyConvolutional Networks, FCN）、U型网络（Unet）、深度实验室（DeepLab）系列、V型网络（Vnet）等。第一位置信息中可以至少一个第一分割区域各自在待测图像中的位置。至少一个第一分割区域与至少一个目标图像位置一一对应。图2示出了根据本发明一个实施例的待测图像中至少一个第一分割区域的示意图。如图2所示，若待测图像I的图像大小为512×512，将待测图像I输入经训练的图像分割网络后，可以获得4个第一分割区域，每个第一分割区域的大小为256×256。第一位置信息可以包括4个第一分割区域各自在待测图像I中的位置信息。在待测图像I中，从左上角第一个分割区域开始沿顺时针方向，4个第一分割区域分别为I1、I2、I3和I4，每个第一分割区域分别对应的一个目标图像位置。每个第一个分割区域的位置信息可以通过对应的区域顶点的图像坐标表示。例如，对于第一分割区域I1，左上角顶点的图像坐标为（0，0），右下角顶点的图像坐标为（256，256），那么第一分割区域I1的位置信息可以表示为[（0，0），（256，256）]。通过类似的方式，可以分别获得第一分割区域I2的位置信息可以表示为[（256，0），（512，256）]，第一分割区域I3的位置信息可以表示为[（256，256），（512，512）]以及第一分割区域I4的位置信息可以表示为[（0，256），（256，512）]。
步骤S130，基于第一位置信息，利用特征提取网络提取至少一个第一分割区域中每个第一分割区域所对应的待测区域特征图。
示例性地，基于第一位置信息，可以将每个第一分割区域所对应的区域图像分别输入特征提取网络。通过特征特征提取网络对第一分割区域所对应的区域图像进行特征提取后，可以获得该第一分割区域对应的待测区域特征图。示例性而非限制性地，特征提取网络可以采用卷积神经网络（Convolutional Neural Networks，CNN）实现。
步骤S140，对于至少一个第一分割区域中的每个第一分割区域，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷，特定目标图像位置为与该第一分割区域对应的目标图像位置。
示例性地，对于至少一个第一分割区域中的每个第一分割区域，例如第一分割区域I1，可以将第一分割区域I1对应的待测区域特征图与参考特征库中对应的参考区域特征图进行比较，以获得比较结果。参考特征库中与第一分割区域I1对应的参考区域特征图处于与该第一分割区域对应的目标图像位置对应的特定目标图像位置的特征图。可以比较特征库中参考区域特征图与第一分割区域I1对应的待测区域特征图之间的相似度，在相似度不满足目标相似度阈值时确定第一分割区域I1中存在缺陷。还可以比较特征库中参考区域特征图与第一分割区域I1对应的待测区域特征图之间的距离，在距离大于目标距离阈值时确定第一分割区域I1中存在缺陷。特征库可以是特征提取网络按照上述的方法对样本图像进行处理后获取的多个参考区域特征图并基于对多个参考区域特征图进行聚类所获得的样本特征库。通过类似的方式，可以确定每个第一分割区域内是否存在缺陷，为了简洁，在此不再赘述。
根据本发明实施例的缺陷检测方法，将待测图像输入经训练的图像分割网络，可以确定第一位置信息。基于第一位置信息，可以利用特征提取网络提取每个第一分割区域所对应的待测区域特征图。进而将每个第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷。该方案利用图像分割网络对待测图像进行分割，可以实现对每个区域图像进行缺陷检测。这样无需考虑待测图像整体的图像信息，例如待测图像的背景等，避免出现检测结果不准确或者无法检测的情况。该方法应用范围较大，且准确率较高。
示例性地，图像分割网络可以包括特征提取模块和分割头，特征提取模块用于提取待测图像的图像特征，分割头用于基于特征提取模块输出的图像特征确定第一位置信息，特征提取网络为经训练的图像分割网络中的特征提取模块。
在一个实施例中，图像分割网络可以包括特征提取模块和分割头。上述实施例中的特征提取网络可以是经训练的图像分割网络中的特征提取模块。也就是说，上述实施例中的特征提取网络可以包含在图像分割网络中。特征提取模块可以提取待测图像的图像特征。分割头可以基于特征提取模块输出的图像特征确定第一位置信息。这样通过一个网络模型执行多种处理操作，可以节省网络模型的资源同时提高模型的训练效率。
示例性地，基于第一位置信息，利用特征提取网络提取至少一个第一分割区域中每个第一分割区域所对应的待测区域特征图，可以包括：对于至少一个第一分割区域中的每个第一分割区域，基于第一位置信息所指示的该第一分割区域的位置，从待测图像中删除除该第一分割区域以外的图像区域的像素信息，以获得该第一分割区域所对应的区域图像，并将区域图像输入特征提取网络中，以获得该第一分割区域所对应的待测区域特征图；或者，将第一位置信息以及待测图像输入特征提取网络中，以获得该第一分割区域所对应的待测区域特征图。
在一个实施例中，对至少一个第一分割区域中的每个第一分割区域提取对应的待测图像区域特征时，可以基于该第一分割区域在待测图像中的位置，从待测图像中删除除该第一分割区域以外的图像区域的像素信息，以获得该第一分割区域所对应的区域图像。例如，第一分割区域I1在待测图像中的位置左上四分之一的区域，那么可以将第一分割区域I2、I3以及I4各自对应包含的像素点的像素值均设置为0，以获得第一分割区域I1对应的区域图像。然后，将区域图像输入特征提取网络中，可以获得第一分割区域I1所对应的待测区域特征图。通过类似的方式，可以确定每个第一分割区域对应的区域图像以及该区域图像对应的待测区域特征图，为了简洁，在此不再赘述。
在另一个实施例中，对于每个第一分割区域，例如第一分割区域I1，可以将第一分割区域I1对应的位置信息以及待测图像输入特征提取网络中，特征提取网络可以根据当前的位置提示信息提取待测图像中与当前位置提示信息对应的区域特征，以作为第一分割区域I1所对应的待测区域特征图。通过类似的方式，可以确定每个第一分割区域对应的待测区域特征图，为了简洁，在此不再赘述。在本发明一个实施例中，每个第一分割区域所对应的待测区域特征图的大小可以是64×64。
根据上述技术方案，对于每个第一分割区域，基于第一位置信息所指示的该第一分割区域的位置，获得该第一分割区域所对应的区域图像。然后将区域图像输入特征提取网络中，以获得该第一分割区域所对应的待测区域特征图。或者，还可以将第一位置信息以及待测图像输入特征提取网络中，直接获得该第一分割区域所对应的待测区域特征图。这样可以准确获得每个第一分割区域对应的待测区域特征图。
示例性地，图像分割网络通过以下方式进行训练：获取样本数据集，其中，样本数据集包括多个样本图像和多个样本图像各自对应的标注位置信息，标注位置信息用于指示对应样本图像中至少一个样本分割区域的位置，至少一个样本分割区域与至少一个目标图像位置一一对应；将多个样本图像输入待训练的图像分割网络，以获得多个样本图像各自对应的预测位置信息，预测位置信息用于指示对应样本图像中至少一个样本分割区域的位置；基于预测位置信息和标注位置信息之间的误差，计算预测损失值；基于预测损失值对待训练的图像分割网络中的参数进行优化，以获得经训练的图像分割网络。
在一个实施例中，样本数据集中可以包括多个样本图像和多个样本图像各自对应的标注位置信息。样本图像的获取方式与待测图像的获取方式类似，在步骤S110已经对待测图像的获取方式进行了详细的描述，为了简洁，在此不再赘述。与待测图像中包含的至少一个第一分割区域类似的，每个样本图像中包含至少一个样本分割区域。标注位置信息可以用于指示对应的样本图像中至少一个样本分割区域的位置。
将多个样本图像输入待训练的图像分割网络，可以获得多个样本图像各自对应的预测位置信息。预测位置信息可以指示对应样本图像中至少一个样本分割区域的位置。基于预测位置信息，可以预测位置信息和标注位置信息代入预设损失函数中进行损失计算，获得预测损失值。预设损失函数可以是KL散度损失函数、交叉熵损失函数等任意损失函数，本发明对此不做限制。随后可以根据预测损失值，利用反向传播和梯度下降算法对初始的图像分割网络中的参数进行优化。优化操作可以反复执行直至图像分割网络达到收敛状态。当训练结束后，所获得的图像分割网络即可用于后续的对待测图像进行图像分割。
在本发明另一个实施例中，图像分割网络可以包括特征提取模块和分割头。在对图像分割网络进行训练时，可以对特征提取模块和分割头分别进行训练，以获得经训练的特征提取模块以及经训练的分割头。可以参照前文实施例中训练图像分割网络的方式，分别对特征提取模块和分割头进行训练，为了简洁，在此不再赘述。基于训练获得的特征提取模块以及训练获得的分割头，确定图像分割网络。
根据上述技术方案，通过将样本数据集中的多个样本图像输入待训练的图像分割网络，可以获得多个样本图像各自对应的预测位置信息。基于预测位置信息和标注位置信息之间的误差，计算预测损失值，并基于预测损失值对待训练的图像分割网络中的参数进行优化，以获得经训练的图像分割网络。这样训练获得的图像分割网络可以准确地对待测图像进行分割并确定每个第一分割区域的位置信息。进一步地，便于确定每个第一分割区域内是否存在缺陷，可以提高缺陷检测结果的可靠性。
示例性地，获取样本数据集，可以包括：获取初始模板图像以及初始模板图像对应的分区标注信息，其中，分区标注信息用于指示初始模板图像上的至少一个标注分区中每个标注分区的位置，至少一个标注分区与至少一个目标图像位置一一对应；基于初始模板图像以及分区标注信息，生成与至少一个标注分区一一对应的至少一个分区模板图像，其中，每个分区模板图像包含对应标注分区内的像素信息且不包含其他标注分区内的像素信息；获取多个样本图像；对于多个样本图像中的每个样本图像，将该样本图像与至少一个分区模板图像分别进行匹配，以获取该样本图像所对应的标注位置信息，其中，至少一个样本分割区域为与至少一个标注分区一一匹配的图像区域。
在一个实施例中，初始模板图像的获取方式与待测图像的获取方式类似，在步骤S110已经对待测图像的获取方式进行了详细的描述，为了简洁，在此不再赘述。示例性地，初始模板图像可以是从正样本图像中随机选取的一张图像。初始模板图像中包括至少一个标注分区且每个标注分区具有对应的分区标注信息。至少一个标注分区与至少一个目标图像位置一一对应。分区标注信息可以指示至少一个标注分区中每个标注分区的位置。不同的标注分区域的位置可以使用不同的像素值表示，例如划分了4个标注分区，那么可以第一个标注分区中的全部像素的像素值可以设置为0，第二个标注分区中的全部像素的像素值可以设置为1，第三标注分区中的全部像素的像素值可以设置为2以及第四个标注分区中的全部像素的像素值可以设置为3。在本发明一个实施例中，可以通过人工划分的方式获得初始模板图像中的至少一个标注分区。每个标注分区对应的分区标注信息可以通过人工标注的方式获得，也可以利用自动标注工具进行标注。基于初始模板图像以及分区标注信息，可以生成与至少一个标注分区一一对应的至少一个分区模板图像。每个分区模板图像的图像大小与初始模板图像的图像大小相同。每个分区模板图像中包含对应标注分区内的像素信息且不包含其他标注分区内的像素信息。以与第一分割区域I1的图像位置相对应的分区模板图像M1为例，分区模板图像M1的图像大小为256×256。分区模板图像M1中除位于左上四分之一的部分区域外的其他区域内各像素点的像素值可以均设置为0。
然后，获取多个样本图像。样本图像的获取方式与待测图像的获取方式类似，在步骤S110已经对待测图像的获取方式进行了详细的描述，为了简洁，在此不再赘述。对于多个样本图像中的每个样本图像，可以将该样本图像与至少一个分区模板图像分别进行匹配，以获取该样本图像所对应的标注位置信息。
根据上述技术方案，通过初始模板图像以及初始模板图像对应的分区标注信息，可以生成与至少一个标注分区一一对应的至少一个分区模板图像。对于多个样本图像中的每个样本图像，将该样本图像与至少一个分区模板图像分别进行匹配，可以获取该样本图像所对应的标注位置信息。通过将样本图像与至少一个分区模板图像分别进行匹配，可以避免由于图像信息出现位置偏移，而影响匹配效果的情况出现，以保证匹配结果的准确性。
示例性地，在基于第一位置信息，利用特征提取网络提取至少一个第一分割区域中每个第一分割区域所对应的待测区域特征图之后，方法还可以包括：对于至少一个第一分割区域中每个第一分割区域，执行以下特征编码操作：将该第一分割区域所对应的待测区域特征图按照预设大小进行分割，以获得与分割出的多个编码区域一一对应的多个子区域特征图；确定多个子区域特征图各自对应的区域特征值；基于多个子区域特征图各自对应的区域特征值，获得该第一分割区域所对应的新的待测区域特征图，新的待测区域特征图包括与多个子区域特征图一一对应的多个编码特征图，每个编码特征图的像素值与对应子区域特征图像的区域特征值一致；其中，在执行将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较的操作时，将该第一分割区域所对应的新的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较。
在一个实施例中，可以对至少一个第一分割区域分别执行特征编码操作，为了便于描述和理解，下面以对第一分割区域I1执行特征编码操作为例进行说明。将第一分割区域I1所对应的待测区域特征图F1按照预设大小进行分割，可以获得与分割出的多个编码区域（patch）一一对应的多个子区域特征图。预设大小可以是任意的，例如，待测区域特征图F1的大小为64×64，可以将待测区域特征图F1划分为8×8大小的64个编码区域。又例如，若每个编码区域的大小为16×16，那么编码区域的数量则为16个。在本发明一个实施例中，编码区域的大小为8×8。每个编码区域具有各自对应的子区域特征图。可以将每个编码区域对应的区域特征图内各像素点的像素值相加或者求均值，以作为该区域特征图对应的区域特征值。基于多个子区域特征图各自对应的区域特征值，可以获得该第一分割区域所对应的新的待测区域特征图。新的待测区域特征图中可以包括与多个子区域特征图一一对应的多个编码特征图。每个编码特征图的像素值与对应子区域特征图像的区域特征值一致。通过类似的方法可以确定每个第一分割区域各自对应的新的待测区域特征图，为了简洁，在此不再赘述。对于前文实施例中“将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较”的操作中的待测区域特征图可以是新的待测区域特征图。
根据上述技术方案，对于每个第一分割区域，可以对该第一分割区域所对应的待测区域特征图按照预设大小进行分割，以获得与分割出的多个编码区域一一对应的多个子区域特征图。基于多个子区域特征图各自对应的区域特征值，可以获得该第一分割区域所对应的新的待测区域特征图。新的待测区域特征图包括与多个子区域特征图一一对应的多个编码特征图。该方案可以对每个第一分割区域中的多个子区域进行编码，以获得每个子区域对应的子区域特征图，进一步提高对缺陷区域的检测精度。
示例性地，确定多个子区域特征图各自对应的区域特征值，可以包括：对于多个子区域特征图中的每个子区域特征图中的每个像素点，将该像素点作为目标特征点，将目标特征点邻域内第一数量的像素点各自对应的像素值依次与目标特征点对应的像素值进行比较；在任一像素点对应的像素值小于或等于目标特征点对应的像素值时，将该像素点对应的编码值确定为第一数值；在任一像素点对应的像素值大于目标特征点对应的像素值时，将该像素点对应的编码值确定为第二数值；将目标特征点邻域内第一数量的像素点各自对应的编码值进行求和，并将求和结果作为目标特征点对应的像素特征值，以获得该子区域特征图所对应的区域特征值，区域特征值包括该子区域特征图中的各像素点所对应的像素特征值。
在一个实施例中，对于获得的8×8大小的多个子区域特征图，每个子区域特征图中可以包括64个特征点。对于每个子区域特征图中的64个像素点，可以将每个像素点分别作为目标特征点，并将目标特征点邻域内第一数量的像素点各自对应的像素值依次与目标特征点对应的像素值进行比较。邻域S×S的大小可以是任意的，其中S可以等于任意整数值，例如2、3或4等。在本发明一个实施例中，可以选择3×3的领域窗口中的8个像素点各自对应的像素值依次与目标特征点对应的像素值进行比较。例如，对于邻域内8个像素点中的像素点P(1)，如果像素点P(1)对应的像素值小于或等于目标特征点对应的像素值，那么可以将像素点P(1)对应的编码值确定为第一数值。第一数值以及下文实施例中的第二数值可以等于任意两个不相同的数值。在本发明第一个实施例中，第一数值等于0，下文实施例中的第二数值等于1。如果像素点P(1)对应的像素值大于目标特征点对应的像素值，那么可以将像素点P(1)对应的编码值确定为1。通过类似的方式，可以确定像素点P(1)、P(2)、...、P(8)各自对应的编码值，为了简洁，在此不再赘述。对目标特征点邻域内8个像素点各自对应的编码值进行求和后的结果可以作为目标特征点对应的像素特征值。基于子区域特征图中每个目标特征点对应的像素特征值，可以获得该子区域特征图所对应的区域特征值。区域特征值可以包括对应的子区域特征图中的各像素点所对应的像素特征值。
上述确定目标特征点对应的像素特征值的方式可以通过以下公式表示：
其中，i=1,2,...,8，E(c，i)表示当前目标特征点对应的像素特征值，P(i)表示目标特征点的邻域内像素点的像素值，P(c)表示目标特征点对应的像素值。
根据上述技术方案，对于多个子区域特征图中的每个子区域特征图中的每个像素点，可以将该像素点作为目标特征点，通过将目标特征点邻域内第一数量的像素点各自对应的像素值依次与目标特征点对应的像素值进行比较，确定该目标特征点邻域内第一数量的像素点各自对应的编码值并对第一数量的像素点各自对应的编码值进行求和。求和结果可以作为目标特征点对应的像素特征值，以获得该子区域特征图所对应的区域特征值。该方法无需复杂的编码方式，可以简单快速地获取每个子区域特征图对应的区域特征值。
示例性地，基于多个子区域特征图各自对应的区域特征值，获得该第一分割区域所对应的新的待测区域特征图，可以包括：将多个子区域特征图各自对应的区域特征值进行合并，以获得该第一分割区域所对应的新的待测区域特征图。
在一个实施例中，对每个第一分割区域中的多个子区域特征图各自对应的区域特征值进行合并，可以获得该第一分割区域所对应的新的待测区域特征图。这样无需复杂的操作即可获得每个第一分割区域所对应的新的待测区域特征图，效率较高。
示例性地，在对于至少一个第一分割区域中的每个第一分割区域，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷之前，方法还可以包括：获取参考图像；将参考图像输入经训练的图像分割网络，以确定第二位置信息，第二位置信息用于指示参考图像中至少一个第二分割区域的位置，至少一个第二分割区域与至少一个目标图像位置一一对应；基于第二位置信息，利用特征提取网络提取至少一个第二分割区域中每个第二分割区域所对应的参考区域特征图；基于至少一个第二分割区域中每个第二分割区域所对应的参考区域特征图获取参考特征库。
在一个实施例中，参考图像的获取方式与待测图像的获取方式类似，在步骤S110已经对待测图像的获取方式进行了详细的描述，为了简洁，在此不再赘述。参考图像可以任意图像，可以与训练图像分割网络时的样本图像部分相同、全部相同或全部不同。“将参考图像输入经训练的图像分割网络，以确定第二位置信息；基于第二位置信息，利用特征提取网络提取至少一个第二分割区域中每个第二分割区域所对应的参考区域特征图”的实现方式与步骤S120以及步骤S130类似，本领域普通技术人员可以参照步骤S120以及步骤S130的相关描述，理解获取每个第二分割区域所对应的参考区域特征图的实现方式，为了简洁，在此不再赘述。可以通过任何现有或即将有的聚类算法，对至少一个第二分割区域中每个第二分割区域所对应的参考区域特征图进行聚类，以获取参考特征库。
根据上述技术方案，通过将参考图像输入经训练的图像分割网络，可以确定第二位置信息。基于第二位置信息，利用特征提取网络提取至少一个第二分割区域中每个第二分割区域所对应的参考区域特征图。然后基于至少一个第二分割区域中每个第二分割区域所对应的参考区域特征图获取参考特征库。该方法准确获得具有代表性的参考特征库，以为后续基于参考特征库进行缺陷检测提供保障。
示例性地，基于至少一个第二分割区域中每个第二分割区域所对应的参考区域特征图获取参考特征库，可以包括：对于至少一个第二分割区域中每个第二分割区域执行特征编码操作，以获得每个第二分割区域所对应的新的参考区域特征图；基于至少一个第二分割区域各自对应的新的参考区域特征图获取参考特征库。
在一个实施例中，可以对至少一个第二分割区域中每个第二分割区域执行特征编码操作，编码操作的实现方法可以参照前文实施例中对每个第一分割区域执行特征编码操作的相关描述，为了简洁，在此不再赘述。通过对每个第二分割区域执行特征编码操作，可以获得每个第二分割区域所对应的新的参考区域特征图。利用现有或即将的有的聚类算法，对每个第二分割区域所对应的新的参考区域特征图进行聚类，可以获得参考特征库。这样获得的参考特征库中包含丰富且具有代表性的参考区域特征图，以保证基于参考特征库进行缺陷检测的可靠性。
示例性地，参考特征库可以包括与多个位置区域组一一对应的参考特征描述库，多个位置区域组为至少一个目标图像位置和多个编码区域通过组合方式形成的组，不同位置区域组所对应的目标图像位置和编码区域中的至少一者不同，参考图像的数量为多个，其中，基于至少一个第二分割区域各自对应的新的参考区域特征图获取参考特征库，可以包括：将多个参考图像的与每个位置区域组对应的子区域特征图存储至与该位置区域组对应的参考特征描述库中。
在一个实施例中，若目标图像位置的数量为4，那么对于1000个参考图像，可以现分别提取1000个参考图像各自对应的4个第二分割区域。每个第二分割区域可以获得一个64×64的参考区域特征图。每个64×64大小的参考区域特征图可以进一步划分为64个8×8大小的编码区域（patch）。对于任一目标图像位置，64个8×8大小的编码区域中的每个编码区域可以对应1000个图像，进而可以获得1000个子区域特征图。这1000个子区域特征图可以构成一个参考特征描述库。将多个参考图像的与每个位置区域组对应的子区域特征图存储至与该位置区域组对应的参考特征描述库中。在一个实施例中，每个参考特征描述库可以使用patch_bit:《key，map》字典保存子区域特征图。当需要将1000个子区域特征图保存到参考特征库时，每个编码区域可以获得1000个64位数组成的字典。整个参考特征库可以通过memory_bit《idx，patch_bit》表示。
根据上述技术方案，参考特征库中可以包括与多个位置区域组一一对应的参考特征描述库。每个位置区域组对应的参考特征描述库中包括多个参考图像的与每个位置区域组对应的子区域特征图。这样可以保证充分检测出各种缺陷情况，避免漏检或误检。
示例性地，基于至少一个第二分割区域各自对应的新的参考区域特征图获取参考特征库，还可以包括：对于多个位置区域组中的任一位置区域组，若对应的参考特征描述库中存在彼此相同的子区域特征图，则在对应的参考特征描述库中保留彼此相同的子区域特征图中的任一子区域特征图并删除其他子区域特征图。
在一个实施例中，对于多个位置区域组中的任一位置区域组，当该区域特征组对应的参考特征描述库中的多个子区域特征图相同时，可以保留这些相同的子区域特征图中的任意一个子区域特征图并删除其他子区域特征图。在本发明一个实施例中，若任一区域特征组对应的参考特征描述库中的多个子区域特征图相同，可以在特征描述库中将这些相同的子区域特征图并为一个。在参考特征库中可以通过“memory_bit《（idx1，idx2....），patch_bit》”表示。这样可以增加参考特征库中的参考区域特征图的丰富性，以提高缺陷检测的准确性。
示例性地，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷，可以包括：对于多个编码区域中的每个编码区域，从与特定位置区域组对应的参考特征描述库中的各编码特征图中选择最大异常值所对应的编码特征图，特定位置区域组为特定目标图像位置与该编码区域组合形成的组；确定待测图像的与该编码区域对应的编码特征图的像素值与最大异常值所对应的编码特征图的像素值之间的差值，并将差值确定为该编码区域所对应的子异常特征图的像素值；将第一异常特征图或对第一异常特征图上采样获得的第二异常特征图中的每个像素的像素值与异常阈值进行对比，确定像素值大于异常阈值的像素为缺陷像素，其中，第一异常特征图包括多个编码区域一一对应的子异常特征图；将第一异常特征图或第二异常特征图中的缺陷像素映射至待测图像，以确定该第一分割区域内的缺陷区域。
在一个实施例中，对于多个编码区域中的每个编码区域，可以从与特定位置区域组对应的参考特征描述库中的各编码特征图中选择最大异常值所对应的编码特征图。特定位置区域组可以表示特定目标图像位置与该编码区域组合形成的组。特定图像位置为至少一个目标图像位置中的任意一个。对于任一分割区域，得到64个编码区域，每个编码区域具有对应有参考特征描述库。例如，每个参考特征描述库中包含1000个编码特征图（分别对应1000个参考图像）。对于当前编码区域Q1，可以从编码区域Q1对应的参考特征描述库中的1000个编码特征图中选出最大异常值对应的编码特征图。示例性地，将编码区域Q1对应的编码特征图分别与参考特征描述库中的1000个编码特征图相减，获得1000差值。1000个差值可以分别表示1000个异常值。将1000个异常值中数值最大的异常值作为最大异常值。将编码区域Q1对应的编码特征图与该编码区域对应的编码特征图的像素值与最大异常值对应的编码特征图求差值，可以获得第一差值图。第一差值图可以作为编码区域Q1所对应的子异常特征图。子异常特征图中的各像素的像素值等于第一差值图中对应的位置的差值。在获得64个编码区域各自对应的子异常特征图的像素值后，可以获得一个64×64大小的第一异常特征图。对第一异常特征图进行上采样，可以获得第二异常特征图。例如，第二异常特征图的大小可以是512×512。将第一异常特征图或第二异常特征图中的每个像素的像素值与异常阈值进行对比，在像素值大于异常阈值时们可以确定该像素点为缺陷像素。通过确定的一个或多个缺陷像素在待测图像中的位置，可以确定该分割区域内的缺陷区域。
每个第一分割区域所对应的异常阈值可以通过以下方法计算获得，下面以第一分割区域I1为例进行描述。在一个实施例中，例如，第一分割区域I1对应的参考特征库中包括1000个参考区域特征图。对于1000个参考区域特征图中的每个参考区域特征图，计算该参考区域特征图与其他999个参考区域特征图分别对应的第二差值图。计算999个第二差值图的第一平均值，作为该参考图像对应的初始异常值。在获得1000个参考图像分别对应的初始异常值后，计算1000个参考区域特征图各自对应的初始异常值的第二平均值，并将第二平均值作为第一分割区域I1对应的异常阈值。在另一个实施例中，可以在1000个参考特征图中随机选取2个参考特征图，并计算这两个参考特征图的第三差值图。然后将此操作重复进行1000次，以获得1000个第三差值图。每次所选择的两个参考特征图均为随机选择。计算1000个第三差值图的第三平均值，并将第三平均值作为第一分割区域I1对应的异常阈值。
根据上述技术方案，对于多个编码区域中的每个编码区域，基于待测图像的与该编码区域对应的编码特征图的像素值与最大异常值所对应的编码特征图的像素值之间的差值，可以确定该编码区域所对应的子异常特征图的像素值。基于每个编码区域对应的子异常特征图的像素值，可以确定第一异常特征图。通过将第一异常特征图或第二异常特征图中的每个像素的像素值与异常阈值进行对比，可以确定像素值大于异常阈值的像素为缺陷像素。进而，将缺陷像素映射至待测图像，以确定该第一分割区域内的缺陷区域。该方案通过对每个像素是否属于缺陷像素进行判断，可以提高对缺陷区域的检测精度，避免漏检。
示例性地，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷，可以包括：将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域所对应的待测区域特征图中的每个像素点是否属于缺陷区域；将待测区域特征图中的属于缺陷区域的像素点映射至待测图像上，以确定待测图像上位于该第一分割区域内的缺陷区域；在对于至少一个第一分割区域中的每个第一分割区域，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷之后，方法还可以包括：综合至少一个第一分割区域各自对应的缺陷区域，确定待测图像中的缺陷区域。
在一个实施例中，对于任一第一分割区域，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，例如对于第一分割区域I1可以选择参考图像中同样位于左上四分之一区域对应的参考区域特征图进行比较。若该第一分割区域所对应的待测区域特征图中存在像素值大于异常阈值的部分像素点，那么这部分像素点所在的区域则属于缺陷区域。将待测区域特征图中的属于缺陷区域的像素点映射至待测图像上，可以确定待测图像上位于该第一分割区域内的缺陷区域。通过类似的方法可以确定至少一个第一分割区域中的每个第一分割区域内的缺陷区域，为了简洁，在此不再赘述。将至少一个第一分割区域各自对应的缺陷区域综合起来可以确定待测图像中的缺陷区域。例如，如果第一分割区域I1内存在2个缺陷区域，第一分割区域I2中存在1个缺陷区域，第一分割区域I3和I4中不存在缺陷区域，那么可以确定待测图像中的缺陷区域的数量为3以及每个缺陷区域在待测图像中的位置。
根据上述技术方案，对于每个第一分割区域，可以将该第一分割区域所对应的待测区域特征图与对应的参考区域特征图进行比较，以确定该第一分割区域所对应的待测区域特征图中的每个像素点是否属于缺陷区域。进而将待测区域特征图中的属于缺陷区域的像素点映射至待测图像上，可以确定待测图像上位于该第一分割区域内的缺陷区域。综合至少一个第一分割区域各自对应的缺陷区域，可以确定待测图像中的缺陷区域。该方法可以对待测图像上的各第一分割区域进行缺陷检测，进而实现对待测图像的缺陷检测，检测精度较高且检测获得的缺陷区域也比较准确。
示例性地，在对于至少一个第一分割区域中的每个第一分割区域，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷之前，方法还可以包括：获取参考图像；将参考图像输入经训练的图像分割网络，以确定第二位置信息，第二位置信息用于指示参考图像中至少一个第二分割区域的位置，至少一个第二分割区域与至少一个目标图像位置一一对应；基于第二位置信息，利用特征提取网络提取至少一个第二分割区域中每个第二分割区域所对应的参考区域特征图；基于至少一个第二分割区域中每个第二分割区域所对应的参考区域特征图获取参考特征库。
在一个实施例中，基于参考图像确定参考图像中每个第二分割区域所对应的参考区域特征图获取参考特征库的实现方法在前文实施例中已经进行了详细地描述，本领域普通技术人员可以通过阅读前文的相关描述理解这里的实现方法及其有益效果，为了简洁，在此不再赘述。
根据本发明的另一方面，还提供一种缺陷检测装置。图3示出了根据本发明一个实施例的缺陷检测装置300的示意性框图，如图3所示，该缺陷检测装置300包括获取模块310、输入模块320、提取模块330和比较模块340。
获取模块310，用于获取待测图像。
输入模块320，用于将待测图像输入经训练的图像分割网络，以确定第一位置信息，第一位置信息用于指示待测图像中至少一个第一分割区域的位置，至少一个第一分割区域与至少一个目标图像位置一一对应。
提取模块330，用于基于第一位置信息，利用特征提取网络提取至少一个第一分割区域中每个第一分割区域所对应的待测区域特征图。
比较模块340，用于对于至少一个第一分割区域中的每个第一分割区域，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷，特定目标图像位置为与该第一分割区域对应的目标图像位置。
本领域普通技术人员通过阅读上述有关缺陷检测方法100的相关描述，可以理解上述缺陷检测装置的具体实现方案以及有益效果，为了简洁，在此不再赘述。
据本发明的又一方面，还提供一种电子设备。图4示出了根据本发明实施例的电子设备的示意性框图。如图4所示，该电子设备400包括处理器410和存储器420，存储器420中存储有计算机程序，计算机程序指令被处理器410运行时用于执行上述的缺陷检测方法。
根据本发明的再一方面，还提供一种存储介质，存储有计算机程序/指令，所述存储介质例如可以包括平板电脑的存储部件、个人计算机的硬盘、可擦除可编程只读存储器(EPROM)、便携式只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述存储介质可以是一个或多个计算机可读存储介质的任意组合。所述计算机程序/指令被处理器在运行时用于执行上述的缺陷检测方法。
本领域普通技术人员通过阅读上述有关缺陷检测方法的相关描述，可以理解上述电子设备和存储介质的具体实现方案，为了简洁，在此不再赘述。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书（包括伴随的权利要求、摘要和附图）中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书（包括伴随的权利要求、摘要和附图）中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器（DSP）来实现根据本发明实施例的缺陷检测装置中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序（例如，计算机程序和计算机程序产品）。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (18)

1.一种缺陷检测方法，其特征在于，所述方法包括：
获取待测图像；
将所述待测图像输入经训练的图像分割网络，以确定第一位置信息，所述第一位置信息用于指示所述待测图像中至少一个第一分割区域的位置，所述至少一个第一分割区域与至少一个目标图像位置一一对应；
基于所述第一位置信息，利用特征提取网络提取所述至少一个第一分割区域中每个第一分割区域所对应的待测区域特征图；
对于所述至少一个第一分割区域中的每个第一分割区域，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷，所述特定目标图像位置为与该第一分割区域对应的目标图像位置。
2.如权利要求1所述的方法，其特征在于，所述图像分割网络包括特征提取模块和分割头，所述特征提取模块用于提取所述待测图像的图像特征，所述分割头用于基于所述特征提取模块输出的图像特征确定所述第一位置信息，所述特征提取网络为经训练的所述图像分割网络中的所述特征提取模块。
3.如权利要求1所述的方法，其特征在于，所述基于所述第一位置信息，利用特征提取网络提取所述至少一个第一分割区域中每个第一分割区域所对应的待测区域特征图，包括：
对于所述至少一个第一分割区域中的每个第一分割区域，
基于所述第一位置信息所指示的该第一分割区域的位置，从所述待测图像中删除除该第一分割区域以外的图像区域的像素信息，以获得该第一分割区域所对应的区域图像，并将所述区域图像输入所述特征提取网络中，以获得该第一分割区域所对应的待测区域特征图；或者，
将所述第一位置信息以及所述待测图像输入所述特征提取网络中，以获得该第一分割区域所对应的待测区域特征图。
4.如权利要求1-3任一项所述的方法，其特征在于，所述图像分割网络通过以下方式进行训练：
获取样本数据集，其中，所述样本数据集包括多个样本图像和所述多个样本图像各自对应的标注位置信息，所述标注位置信息用于指示对应样本图像中至少一个样本分割区域的位置，所述至少一个样本分割区域与所述至少一个目标图像位置一一对应；
将所述多个样本图像输入待训练的所述图像分割网络，以获得所述多个样本图像各自对应的预测位置信息，所述预测位置信息用于指示对应样本图像中至少一个样本分割区域的位置；
基于所述预测位置信息和所述标注位置信息之间的误差，计算预测损失值；
基于所述预测损失值对待训练的所述图像分割网络中的参数进行优化，以获得经训练的所述图像分割网络。
5.如权利要求4所述的方法，其特征在于，所述获取样本数据集，包括：
获取初始模板图像以及所述初始模板图像对应的分区标注信息，其中，所述分区标注信息用于指示所述初始模板图像上的至少一个标注分区中每个标注分区的位置，所述至少一个标注分区与所述至少一个目标图像位置一一对应；
基于所述初始模板图像以及所述分区标注信息，生成与所述至少一个标注分区一一对应的至少一个分区模板图像，其中，每个分区模板图像包含对应标注分区内的像素信息且不包含其他标注分区内的像素信息；
获取所述多个样本图像；
对于所述多个样本图像中的每个样本图像，将该样本图像与所述至少一个分区模板图像分别进行匹配，以获取该样本图像所对应的标注位置信息，其中，所述至少一个样本分割区域为与所述至少一个标注分区一一匹配的图像区域。
6.如权利要求1-3任一项所述的方法，其特征在于，在所述基于所述第一位置信息，利用特征提取网络提取所述至少一个第一分割区域中每个第一分割区域所对应的待测区域特征图之后，所述方法还包括：
对于所述至少一个第一分割区域中每个第一分割区域，执行以下特征编码操作：
将该第一分割区域所对应的待测区域特征图按照预设大小进行分割，以获得与分割出的多个编码区域一一对应的多个子区域特征图；
确定所述多个子区域特征图各自对应的区域特征值；
基于所述多个子区域特征图各自对应的区域特征值，获得该第一分割区域所对应的新的待测区域特征图，所述新的待测区域特征图包括与所述多个子区域特征图一一对应的多个编码特征图，每个编码特征图的像素值与对应子区域特征图像的区域特征值一致；
其中，在执行所述将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较的操作时，将该第一分割区域所对应的新的待测区域特征图与参考特征库中的与所述特定目标图像位置对应的参考区域特征图进行比较。
7.如权利要求6所述的方法，其特征在于，所述确定所述多个子区域特征图各自对应的区域特征值，包括：
对于所述多个子区域特征图中的每个子区域特征图中的每个像素点，
将该像素点作为目标特征点，将所述目标特征点邻域内第一数量的像素点各自对应的像素值依次与所述目标特征点对应的像素值进行比较；
在任一像素点对应的像素值小于或等于所述目标特征点对应的像素值时，将该像素点对应的编码值确定为第一数值；
在任一像素点对应的像素值大于所述目标特征点对应的像素值时，将该像素点对应的编码值确定为第二数值；
将所述目标特征点邻域内所述第一数量的像素点各自对应的编码值进行求和，并将求和结果作为所述目标特征点对应的像素特征值，以获得该子区域特征图所对应的区域特征值，所述区域特征值包括该子区域特征图中的各像素点所对应的像素特征值。
8.如权利要求6所述的方法，其特征在于，所述基于所述多个子区域特征图各自对应的区域特征值，获得该第一分割区域所对应的新的待测区域特征图，包括：
将所述多个子区域特征图各自对应的区域特征值进行合并，以获得该第一分割区域所对应的新的待测区域特征图。
9.如权利要求6所述的方法，其特征在于，在所述对于所述至少一个第一分割区域中的每个第一分割区域，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷之前，所述方法还包括：
获取参考图像；
将所述参考图像输入经训练的所述图像分割网络，以确定第二位置信息，所述第二位置信息用于指示所述参考图像中至少一个第二分割区域的位置，所述至少一个第二分割区域与所述至少一个目标图像位置一一对应；
基于所述第二位置信息，利用所述特征提取网络提取所述至少一个第二分割区域中每个第二分割区域所对应的参考区域特征图；
基于所述至少一个第二分割区域中每个第二分割区域所对应的参考区域特征图获取所述参考特征库。
10.如权利要求9所述的方法，其特征在于，所述基于所述至少一个第二分割区域中每个第二分割区域所对应的参考区域特征图获取所述参考特征库，包括：
对于所述至少一个第二分割区域中每个第二分割区域执行所述特征编码操作，以获得每个第二分割区域所对应的新的参考区域特征图；
基于所述至少一个第二分割区域各自对应的新的参考区域特征图获取所述参考特征库。
11.如权利要求10所述的方法，其特征在于，所述参考特征库包括与多个位置区域组一一对应的参考特征描述库，所述多个位置区域组为所述至少一个目标图像位置和所述多个编码区域通过组合方式形成的组，不同位置区域组所对应的目标图像位置和编码区域中的至少一者不同，所述参考图像的数量为多个，其中，
所述基于所述至少一个第二分割区域各自对应的新的参考区域特征图获取所述参考特征库，包括：
将多个参考图像的与每个位置区域组对应的子区域特征图存储至与该位置区域组对应的参考特征描述库中。
12.如权利要求10所述的方法，其特征在于，所述基于所述至少一个第二分割区域各自对应的新的参考区域特征图获取所述参考特征库，还包括：
对于所述多个位置区域组中的任一位置区域组，若对应的参考特征描述库中存在彼此相同的子区域特征图，则在对应的参考特征描述库中保留所述彼此相同的子区域特征图中的任一子区域特征图并删除其他子区域特征图。
13.如权利要求10所述的方法，其特征在于，所述将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷，包括：
对于所述多个编码区域中的每个编码区域，
从与特定位置区域组对应的参考特征描述库中的各编码特征图中选择最大异常值所对应的编码特征图，所述特定位置区域组为所述特定目标图像位置与该编码区域组合形成的组；
确定所述待测图像的与该编码区域对应的编码特征图的像素值与所述最大异常值所对应的编码特征图的像素值之间的差值，并将差值确定为该编码区域所对应的子异常特征图的像素值；
将第一异常特征图或对所述第一异常特征图上采样获得的第二异常特征图中的每个像素的像素值与异常阈值进行对比，确定像素值大于所述异常阈值的像素为缺陷像素，其中，所述第一异常特征图包括所述多个编码区域一一对应的子异常特征图；
将所述第一异常特征图或所述第二异常特征图中的缺陷像素映射至所述待测图像，以确定该第一分割区域内的缺陷区域。
14.如权利要求1-3任一项所述的方法，其特征在于，
所述将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷，包括：
将该第一分割区域所对应的待测区域特征图与参考特征库中的与所述特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域所对应的待测区域特征图中的每个像素点是否属于缺陷区域；
将所述待测区域特征图中的属于缺陷区域的像素点映射至所述待测图像上，以确定所述待测图像上位于该第一分割区域内的缺陷区域；
在所述对于所述至少一个第一分割区域中的每个第一分割区域，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷之后，所述方法还包括：
综合所述至少一个第一分割区域各自对应的缺陷区域，确定所述待测图像中的缺陷区域。
15.如权利要求1-3任一项所述的方法，其特征在于，在所述对于所述至少一个第一分割区域中的每个第一分割区域，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷之前，所述方法还包括：
获取参考图像；
将所述参考图像输入经训练的所述图像分割网络，以确定第二位置信息，所述第二位置信息用于指示所述参考图像中至少一个第二分割区域的位置，所述至少一个第二分割区域与所述至少一个目标图像位置一一对应；
基于所述第二位置信息，利用所述特征提取网络提取所述至少一个第二分割区域中每个第二分割区域所对应的参考区域特征图；
基于所述至少一个第二分割区域中每个第二分割区域所对应的参考区域特征图获取所述参考特征库。
16.一种缺陷检测装置，其特征在于，所述装置包括：
获取模块，用于获取待测图像；
输入模块，用于将所述待测图像输入经训练的图像分割网络，以确定第一位置信息，所述第一位置信息用于指示所述待测图像中至少一个第一分割区域的位置，所述至少一个第一分割区域与至少一个目标图像位置一一对应；
提取模块，用于基于所述第一位置信息，利用特征提取网络提取所述至少一个第一分割区域中每个第一分割区域所对应的待测区域特征图；
比较模块，用于对于所述至少一个第一分割区域中的每个第一分割区域，将该第一分割区域所对应的待测区域特征图与参考特征库中的与特定目标图像位置对应的参考区域特征图进行比较，以确定该第一分割区域内是否存在缺陷，所述特定目标图像位置为与该第一分割区域对应的目标图像位置。
17.一种电子设备，包括处理器和存储器，其特征在于，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求1-15任一项所述的缺陷检测方法。
18.一种存储介质，存储有计算机程序/指令，其特征在于，所述计算机程序/指令在运行时用于执行如权利要求1-15任一项所述的缺陷检测方法。
CN202311813975.1A 2023-12-27 2023-12-27 缺陷检测方法和装置、电子设备以及存储介质 Pending CN117474917A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311813975.1A CN117474917A (zh) 2023-12-27 2023-12-27 缺陷检测方法和装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311813975.1A CN117474917A (zh) 2023-12-27 2023-12-27 缺陷检测方法和装置、电子设备以及存储介质

Publications (1)

Publication Number Publication Date
CN117474917A true CN117474917A (zh) 2024-01-30

Family

ID=89626006

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311813975.1A Pending CN117474917A (zh) 2023-12-27 2023-12-27 缺陷检测方法和装置、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN117474917A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210319561A1 (en) * 2020-11-02 2021-10-14 BeSTDR Infrastructure Hospital(Pingyu) Image segmentation method and system for pavement disease based on deep learning
CN114821062A (zh) * 2022-05-07 2022-07-29 有米科技股份有限公司 基于图像分割的商品识别方法及装置
CN115294033A (zh) * 2022-07-19 2022-11-04 上海大学 一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法
CN116385364A (zh) * 2023-03-06 2023-07-04 国网湖北省电力有限公司电力科学研究院 一种基于视差辅助语义分割的多级导地线缺陷识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210319561A1 (en) * 2020-11-02 2021-10-14 BeSTDR Infrastructure Hospital(Pingyu) Image segmentation method and system for pavement disease based on deep learning
CN114821062A (zh) * 2022-05-07 2022-07-29 有米科技股份有限公司 基于图像分割的商品识别方法及装置
CN115294033A (zh) * 2022-07-19 2022-11-04 上海大学 一种基于语义分割网络的轮胎带束层差级和错边缺陷检测方法
CN116385364A (zh) * 2023-03-06 2023-07-04 国网湖北省电力有限公司电力科学研究院 一种基于视差辅助语义分割的多级导地线缺陷识别方法

Similar Documents

Publication Publication Date Title
CN110569899B (zh) 坝面缺陷分类模型训练方法及装置
CN110610166B (zh) 文本区域检测模型训练方法、装置、电子设备和存储介质
CN109977191B (zh) 问题地图检测方法、装置、电子设备和介质
CN109343920B (zh) 一种图像处理方法及其装置、设备和存储介质
EP3605453A1 (en) Convolutional neural network based inspection of blade-defects of a wind turbine
CN116168351B (zh) 电力设备巡检方法及装置
CN110766027A (zh) 图像的区域定位方法和目标区域定位模型的训练方法
CN117474918B (zh) 异常检测方法和装置、电子设备以及存储介质
Adu-Gyamfi et al. Functional evaluation of pavement condition using a complete vision system
CN117372424B (zh) 一种缺陷检测方法、装置、设备及存储介质
CN114022804A (zh) 一种泄漏的检测方法、装置、系统及存储介质
KR102260556B1 (ko) 전역 정보와 지역 정보 통합을 통한 딥러닝 기반 주차구획 검출 방법 및 장치
CN105404682A (zh) 一种基于数字图像内容的图书检索方法
CN115713750B (zh) 一种车道线检测方法、装置、电子设备及存储介质
CN114529543B (zh) 一种航空发动机外周螺钉垫片的安装检测方法及装置
CN116246161A (zh) 领域知识引导下的遥感图像目标精细类型识别方法及装置
CN117474917A (zh) 缺陷检测方法和装置、电子设备以及存储介质
CN112990350B (zh) 目标检测网络训练方法及基于目标检测网络煤矸识别方法
CN114663760A (zh) 模型训练的方法、目标检测方法、存储介质及计算设备
JP6175904B2 (ja) 照合対象抽出システム、照合対象抽出方法、照合対象抽出プログラム
CN113392455A (zh) 基于深度学习的户型图比例尺检测方法、装置及电子设备
CN117456291B (zh) 缺陷分类方法和装置、电子设备以及存储介质
CN117456290B (zh) 缺陷分类方法和装置、电子设备以及存储介质
CN117456170B (zh) 目标检测方法和装置、电子设备以及存储介质
US20230401691A1 (en) Image defect detection method, electronic device and readable storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination