CN114913110A - 检测方法及系统、设备和存储介质 - Google Patents

检测方法及系统、设备和存储介质 Download PDF

Info

Publication number
CN114913110A
CN114913110A CN202110170994.1A CN202110170994A CN114913110A CN 114913110 A CN114913110 A CN 114913110A CN 202110170994 A CN202110170994 A CN 202110170994A CN 114913110 A CN114913110 A CN 114913110A
Authority
CN
China
Prior art keywords
image data
training
detected
network
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110170994.1A
Other languages
English (en)
Inventor
陈鲁
吕肃
张嵩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhongke Feice Technology Co Ltd
Original Assignee
Shenzhen Zhongke Feice Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhongke Feice Technology Co Ltd filed Critical Shenzhen Zhongke Feice Technology Co Ltd
Priority to CN202110170994.1A priority Critical patent/CN114913110A/zh
Publication of CN114913110A publication Critical patent/CN114913110A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

一种检测方法及系统、设备和存储介质，包括：进行学习训练，获得用于识别缺陷类别的学习模型；提供多个待测图像数据；选取部分待测图像数据并使被选取的待测图像数据包含的缺陷具有不同的已知类别；从被选取的待测图像数据中提取每种目标类别的缺陷的若干个目标样本作为第一支持样本；根据被选取的待测图像数据获取多个第一训练图像；利用第一支持样本和第一训练图像对网络进行学习训练，对学习模型进行模型迭代；根据剩余待测图像数据获取多个待测图像；从每种目标类别的第一支持样本中提取任意一个目标样本，与各个待测图像一同输入至网络中，对待测图像进行检测并识别缺陷类别。本发明确保检测精度、实现少样本的训练且提高学习模型的复用性。

Description

检测方法及系统、设备和存储介质
技术领域
本发明实施例涉及量测领域，尤其涉及一种检测方法及系统、设备和存储介质。
背景技术
缺陷检测是指检测产品中是否存在颗粒、划痕等缺陷以及缺陷位置，缺陷检测应用十分广泛，产品上存在缺陷将可能导致产品失效，因此在生产加工过程中，通常需要进行缺陷检测以确保产品合格率。
传统的缺陷检测通过人工检测的方式进行的，但人工检测存在精度低、效率低、劳动强度大等缺点。因此，缺陷检测从原来的人工检测逐渐向机器检测发展，基于深度学习的缺陷检测方法应运而生，即利用深度学习模型对缺陷进行识别，以实现自动化缺陷检测，具有精度高、效率高、连续检测速度快等优点。
发明内容
本发明实施例解决的问题是提供一种检测方法及系统、设备和存储介质，在保证检测精度的同时，实现少样本的训练，并提高检测方法的复用性。
为解决上述问题，本发明实施例提供一种检测方法，包括：进行学习训练，获得学习模型，所述学习模型用于识别缺陷类别；提供多个待测图像数据；选取部分的所述待测图像数据，并使被选取的所述待测图像数据包含的缺陷具有不同的已知类别；从被选取的所述待测图像数据中提取每种目标类别的缺陷的若干个目标样本，作为第一支持样本，所述目标类别为所述已知类别中的至少一种；根据所述被选取的待测图像数据获取多个第一训练图像；利用所述第一支持样本和第一训练图像对网络进行学习训练，对所述学习模型进行模型迭代；根据剩余未被选取的所述待测图像数据获取多个待测图像；对所述学习模型进行模型迭代、以及获取所述待测图像后，从每种所述目标类别的第一支持样本中提取任意一个目标样本，与各个所述待测图像一同输入至所述网络中，对所述待测图像进行检测，并识别缺陷类别。
相应的，本发明实施例还提供一种检测系统，包括：第一图像获取模块，用于提供多个待测图像数据；支持样本提取模块，用于从被选取的所述待测图像数据中提取每种目标类别的缺陷的若干个目标样本，作为第一支持样本，所述目标类别为所述已知类别中的至少一种；第三图像获取模块，用于根据被选取的待测图像数据获取多个第一训练图像，且还用于根据剩余未被选取的所述待测图像数据获取多个待测图像；网络模块，用于进行学习训练，获得学习模型，所述学习模型用于识别缺陷类别，所述网络模块还用于在获得学习模型后，利用所述第一支持样本和第一训练图像对网络进行学习训练，对所述学习模型进行模型迭代，且还用于在对所述学习模型进行模型迭代后，接收每种所述目标类别的第一支持样本中的任意一个目标样本、以及各个所述待测图像，对所述待测图像进行检测，并识别缺陷类别。
相应地，本发明实施例还提供一种设备，包括至少一个存储器和至少一个处理器，所述存储器存储有一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现本发明实施例所述的检测方法。
相应地，本发明实施例还提供一种存储介质，所述存储介质存储有一条或多条计算机指令，所述一条或多条计算机指令用于实现本发明实施例所述的检测方法。
与现有技术相比，本发明实施例的技术方案具有以下优点：
本发明实施例提供的检测方法中，进行学习训练以获得学习模型后，选取部分的待测图像数据，并使被选取的所述待测图像数据包含的缺陷具有不同的已知类别，从被选取的所述待测图像数据中提取每种目标类别的缺陷的若干个目标样本，作为第一支持样本，所述目标类别为所述已知类别中的至少一种，并根据所述被选取的待测图像数据获取多个第一训练图像，随后利用所述第一支持样本和第一训练图像对网络进行学习训练，对所述学习模型进行模型迭代，根据剩余未被选取的所述待测图像数据获取多个待测图像，并对所述学习模型进行模型迭代、以及获取所述待测图像后，从每种所述目标类别的第一支持样本中提取任意一个目标样本，与各个所述待测图像一同输入至所述网络中，对所述待测图像进行检测，并识别缺陷类别；其中，被选取的待测图像数据包含的缺陷的类别均是已知的，且所述第一支持样本中各目标样本的缺陷类别(即目标类别)也是已知的，在第一支持样本和第一训练图像的缺陷类别均是已知的情况下，更容易使学习模型能够对缺陷进行识别，因此，利用所述第一支持样本和第一训练图像对网络进行学习训练的过程中，利用少量的样本即可完成学习训练，从而在保证检测精度的同时，实现少样本的训练，而且，被选取的待测图像数据包含的缺陷均具有不同的已知类别，这使得所述检测方法能够对各个目标类别的缺陷进行训练和检测，且学习模型能够获得识别同类别缺陷的能力，相应的，当更换产品类型时，无需重新建立学习模型，仅需通过少量样本对所述学习模型进行模型迭代，以更新学习模型，从而减小产品间差异对检测精度的影响，相应提高了所述学习模型的复用性。
附图说明
图1是本发明检测方法一实施例的流程图；
图2是图1中步骤S1一实施例的流程图；
图3是图2中步骤S14一实施例的流程图；
图4是图1中步骤S6一实施例的流程图；
图5是本发明检测方法中网络的一实施例的功能框图；
图6是本发明检测系统一实施例的功能框图；
图7为本发明一实施例所提供的设备的硬件结构图。
具体实施方式
由背景技术可知，目前，逐渐采用基于深度学习的检测方法进行缺陷检测。
经研究发现，在同一产品中，缺陷种类一般类别繁多，同种缺陷的图像特征也具有多样性，导致目前检测方法难以获得较高的精度；此外，对于不同的产品，缺陷之间又存在明显的差异，导致目前基于深度学习的检测方法的复用性较弱，往往需要相关工作人员根据产品对检测模型进行调试并重新训练，整个检测流程的成本高昂。这相应导致为了训练深度学习模型，需要建立拥有大量样本的训练数据集。
为了解决所述技术问题，本发明实施例提供一种检测方法，包括：进行学习训练，获得学习模型，所述学习模型用于识别缺陷类别；提供多个待测图像数据；选取部分的所述待测图像数据，并使被选取的所述待测图像数据包含的缺陷具有不同的已知类别；从被选取的所述待测图像数据中提取每种目标类别的缺陷的若干个目标样本，作为第一支持样本，所述目标类别为所述已知类别中的至少一种；根据所述被选取的待测图像数据获取多个第一训练图像；利用所述第一支持样本和第一训练图像对网络进行学习训练，对所述学习模型进行模型迭代；根据剩余未被选取的所述待测图像数据获取多个待测图像；对所述学习模型进行模型迭代、以及获取所述待测图像后，从每种所述目标类别的第一支持样本中提取任意一个目标样本，与各个所述待测图像一同输入至所述网络中，对所述待测图像进行检测，并识别缺陷类别。
本发明实施例提供的检测方法中，被选取的待测图像数据包含的缺陷的类别均是已知的，且所述第一支持样本中各目标样本的缺陷类别也是已知的，在第一支持样本和第一训练图像的缺陷类别均是已知的情况下，更容易使学习模型能够对缺陷进行识别，因此，利用所述第一支持样本和第一训练图像对网络进行学习训练的过程中，利用少量的样本即可完成学习训练，实现对所述学习模型进行模型迭代，从而在保证检测精度的同时，实现少样本的训练，而且，被选取的待测图像数据包含的缺陷均具有不同的已知类别，这使得所述检测方法能够对各个目标类别的缺陷进行训练和检测，且学习模型能够获得识别同类别缺陷的能力，相应的，当更换产品类型时，无需重新建立学习模型，仅需通过少量样本对所述学习模型进行模型迭代，以更新学习模型，从而减小产品间差异对检测精度的影响，相应提高了学习模型的复用性。
参考图1，示出了本发明缺陷检测方法一实施例的流程图。
本实施例所述缺陷检测方法包括以下基本步骤：
步骤S1：进行学习训练，获得学习模型，所述学习模型用于识别缺陷类别；
步骤S2：提供多个待测图像数据；
步骤S3：选取部分的所述待测图像数据，并使被选取的所述待测图像数据包含的缺陷具有不同的已知类别；
步骤S4：从被选取的所述待测图像数据中提取每种目标类别的缺陷的若干个目标样本，作为第一支持样本，所述目标类别为所述已知类别中的至少一种；
步骤S5：根据所述被选取的待测图像数据获取多个第一训练图像；
步骤S6：利用所述第一支持样本和第一训练图像对网络进行学习训练，对所述学习模型进行模型迭代；
步骤S7：根据剩余未被选取的所述待测图像数据获取多个待测图像；
步骤S8：对所述学习模型进行模型迭代、以及获取所述待测图像后，从每种所述目标类别的第一支持样本中提取任意一个目标样本，与各个所述待测图像一同输入至所述网络中，对所述待测图像进行检测，并识别缺陷类别。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
参考图1，执行步骤S1，进行学习训练，获得学习模型，所述学习模型用于识别缺陷类别。
通过进行学习训练，获得学习模型，以便后续利用所述学习模型对待测图像进行检测，识别缺陷类别，或者，继续对所述学习模型进行模型迭代，以更新所述学习模型，从而提高所述学习模型的复用性和检测方法的检测精度。
具体地，结合参考图2，图2是图1中步骤S1一实施例的流程图，所述学习训练的步骤包括：执行步骤S11，提供多个缺陷图像数据，并使所述多个缺陷图像数据包含的缺陷具有不同的已知类别。
后续利用所述缺陷图像数据获得第二训练图像，还利用所述缺陷图像数据获得具有目标类别的缺陷的目标样本，所述目标样本用于作为第二支持样本。
本实施例中，所述多个缺陷图像数据包含的缺陷具有不同的已知类别，每一个缺陷图像数据中包含一种已知类别的缺陷，因此，所述多个缺陷图像数据中总共包含多种已知类别的缺陷。例如，部分缺陷为A型缺陷，部分缺陷为B型缺陷，剩余缺陷为C型缺陷，所述A型、B型和C型为不同的类别。在其他实施例中，所述已知类别的种类可以有更多种。
作为一种示例，所述已知类别可以包括颗粒(particle)缺陷、划痕(scratch)缺陷或污点(stain)缺陷等。
相应的，在所述学习训练的过程中，所述缺陷图像数据中的每一个缺陷均被标注了类别标签，这使得后续第二训练图像中缺陷的类别均是已知的，各目标样本中缺陷的类别相应也是已知的，在第二支持样本和第二训练图像的缺陷类别均是已知的情况下，更容易在学习训练的过程中实现缺陷识别，因此，利用少量的样本即可完成学习训练，以获得学习模型，从而在保证检测精度的同时，实现少样本的训练。
而且，所述多个缺陷图像数据包含的缺陷均具有不同的已知类别，这使得所述检测方法能够利用所获得的学习模型对各个目标类别的缺陷进行训练和检测，且学习模型能够获得识别同类别缺陷的能力，相应的，当更换产品类型时，无需重新建立学习模型，仅需通过少量样本对所述学习模型进行模型迭代，以更新学习模型，从而减小产品间差异对检测精度的影响，相应提高了所述学习模型的复用性。
需要说明的是，缺陷图像数据可以与实际检测的图像数据不完全相同，但是，所述已知类别与实际检测的图像数据中的缺陷类别相关，以便进行学习训练以获得所述学习模型后，能够利用所述学习模型对实际检测的图像数据中的缺陷进行识别。
本实施例中，使所述多个缺陷图像数据包含的缺陷具有不同的已知类别的步骤包括：对所述多个缺陷图像数据中的各个缺陷标注类别标签，使每个缺陷具有已知类别，从而能够对各个已知类别的缺陷进行训练。
具体地，通过人工标注的方式对所述多个缺陷图像数据中的各个缺陷标注类别标，且对所述多个缺陷图像数据中的各个缺陷标注类别标后，将完成标注的缺陷图像数据上传。
继续参考图2，执行步骤S12，从所述多个缺陷图像数据中提取若干个具有目标类别的缺陷的目标样本，作为第二支持样本，所述目标类别为所述已知类别中的至少一种。
所述目标类别为待训练的类别，所述第二支持样本用于作为待训练样本，从而后续通过对学习模型进行学习训练，使得训练后的学习模型能够对该目标类别的缺陷进行识别。
所述多个缺陷图像数据包含的缺陷具有不同的已知类别，因此，从所述多个已知类别中选取任意一个类别，作为所述目标类别。其中，当所述检测方法用于实现对多种目标类别的缺陷的检测时，则所述目标类别的种类也为多种。
相应的，通过分别将所述已知类别中的各个类别进行训练，从而使得所述检测方法能够识别各个不同目标类别的缺陷。例如，待训练的类别为A型、B型和C型，则目标类别包括A型、B型和C型，也就是说，针对A型缺陷、B型缺陷和C型缺陷，均要进行训练。
具体地，获得所述第二支持样本的步骤包括：截取所述缺陷图像数据中的感兴趣区域(regions of interest，ROI)，所述感兴趣区域中具有所述目标类别的缺陷；对所述感兴趣区域进行形状调整，获得满足网络输入要求的形状的第二支持样本。
通过截取所述感兴趣区域，从而减少非感兴趣区域中的缺陷的干扰，进而提高训练的精度和效率。
根据所述缺陷的形状和尺寸，所述感兴趣区域的形状非固定。例如，本实施例中，所述感兴趣区域的形状包括矩形。由于网络对输入图像的形状通常具有要求，因此，通过对所述感兴趣区域进行形状调整，使得第二支持样本的形状为网络输入要求的形状。
本实施例中，对所述感兴趣区域进行形状调整的步骤包括：利用白色(即“0”值)进行填充，改变所述感兴趣区域的轮廓，从而将所述感兴趣区域的形状调整至网络输入要求的形状。本实施例中，所述网络输入要求的形状包括正方形。
继续参考图2，执行步骤S13，根据所述缺陷图像数据获取多个第二训练图像。
所述第二训练图像和第二支持样本共同作为网络的输入，从而对网络进行学习训练。
其中，所述第二训练图像用于作为对比样本，所述第二训练图像中的缺陷包含各种已知的缺陷类别，从而提供正样本和负样本，而且，所述对比样本的缺陷类别是已知的，因此，在所述学习训练的过程中，更容易在学习训练的过程中实现缺陷识别，相应能够加快对学习模型的训练，且获得的学习模型对缺陷的识别精度更高。
常情况下，学习模型需要对正样本和负样本进行学习，正样本是正确分类出的类别所对应的样本(即与待训练的类别相同的样本)，负样本可以选取任何不是正确类别的其他样本(即与待训练的类别不同样本)。例如，待训练的缺陷为A型缺陷，则具有B型缺陷的样本和具有C型缺陷的样本为负样本。
本实施例中，根据所述缺陷图像数据获取多个第二训练图像的步骤包括：对所述多个缺陷图像数据进行尺寸规范化处理，获取多个符合网络输入要求的尺寸的第二训练图像。
网络对输入图像的尺寸通常也具有要求，且网络输入要求的尺寸通常是固定的，因此，通过进行尺寸规范化处理，使得第二训练图像的尺寸满足网络输入要求。例如，网络对输入图像的尺寸的要求为400像素×400像素。
本实施例中，所述尺寸规范化处理的步骤包括：对所述缺陷图像数据进行图像检测，获得图像尺寸；比较所述图像尺寸和网络输入要求的尺寸，当所述缺陷图像数据的图像尺寸大于网络输入要求的尺寸时，按照相同的尺寸对缺陷图像数据进行图像分割，将所述缺陷图像数据分割成多个尺寸相同的第二训练图像；当所述缺陷图像数据的图像尺寸小于网络输入要求的尺寸时，利用白色进行填充，使填充后的图像尺寸符合网络输入要求的尺寸，即将填充后的缺陷图像数据作为所述第二训练图像。
需要说明的是，在所述尺寸规范化处理后，所述第二训练图像的图像特征应当能够被识别。还需要说明的是，作为一种示例，所述第二训练图像和第二支持样本的图像尺寸相同。
继续参考图2，执行步骤S14，利用所述第二支持样本和第二训练图像对网络进行学习训练，获得学习模型，所述学习模型用于识别缺陷类别。
具体地，所述学习模型能够对目标类别的缺陷进行识别。
由前述记载可知，由于所述多个缺陷图像数据包含的缺陷的类别均是已知的，所述第二支持样本中各目标样本的缺陷类别(即目标类别)也是已知的，更容易在学习训练的过程中实现缺陷识别，因此，对网络进行学习训练时采用的样本数量较少，且检测精度仍能得到保证。
此外，由于所述多个缺陷图像数据包含的缺陷均具有已知类别，这使得所述检测方法能够对各个目标类别的缺陷进行训练和检测，即能够直接识别出各个目标类别的缺陷，而且，使得学习模型获得类比的能力，相应的，当更换产品类型时，无需重新建立学习模型，仅需通过少量样本对所述学习模型进行模型迭代即可，从而提高了所述检测方法的复用性。
结合参考图3，图3是图2中步骤S14一实施例的流程图，利用所述第二支持样本和第二训练图像对网络进行学习训练，获得学习模型的步骤包括：执行步骤S141，将所述第二支持样本和第二训练图像进行组合，形成第二输入组合；执行步骤S142，将所述第二输入组合输入至网络中并进行学习训练，获得学习模型。
具体地，将所述第二支持样本和第二训练图像随机组合，获得多个第二输入组合，所述多个第二输入组合构成一个数据向量，作为网络的输入，网络输出结果向量，用于表征每一个所述第二输入组合中，所述第二支持样本和第二训练图像中的缺陷类别的相关性，待训练结果的精度达到预设目标后，则学习训练结束，获得所述学习模型。
本实施例中，将所述第二支持样本和第二训练图像进行组合的步骤中，将每一类目标类别对应的第二支持样本中的任意一个目标样本，与任意一个所述第二训练图像进行组合，作为一个第二输入组合。
本实施例中，所述网络即为神经网络，所述网络包括卷积神经网络或全连接神经网络，所述卷积神经网络可以包括残差神经网络(residual neural network，ResNet)或密集卷积网络(dense convolutional network，DenseNet)。
本实施例中，所述网络包括特征抽取网络、通道注意力机制、空间注意力机制和网络头部。
结合参考图5，示出了本发明检测方法中网络的一实施例的功能框图。
如图5所示，向所述特征抽取网络输入支持样本和图像后，所述特征抽取网络提取所述支持样本和图像的图像特征，并输出相对应的支持样本特征图和图像特征图。
具体地，在所述在学习训练的过程中，所述支持样本为所述第二支持样本，所述图像为所述第二训练图像，所述特征抽取网络提取所述第二支持样本和第二训练图像的图像特征，从而输出相对应的第二支持样本的特征图以及第二训练图像的特征图。
向所述通道注意力机制输入所述支持样本特征图和图像特征图后，所述通道注意力机制输出分配给图像特征图中各个通道的权重，从而提高训练的准确性。例如，某一种已知类别的缺陷出现在图像特征图的中心区域的概率较高，相应的，可以给所述图像特征图中心区域的通道分配更高的权重，从而提供高精度的缺陷位置检测。
向所述空间注意力机制输入所述支持样本特征图和通道权重分配后的图像特征图后，所述空间注意力机制输出分配给图像特征图中各个像素单元的权重。
所述网络头部具有分类的功能，向所述网络头部输入所述通道注意力机制和空间注意力机制权重分配后的图像特征图，输出检测结果，即输出缺陷类别。
本实施例中，所述网络包括通道注意力机制，使得所述检测方法能够采用基于注意力机制的少样本学习技术，能够从少量的支持样本中提取特征来辅助深度学习网络的缺陷识别，从而能供高精度的缺陷位置检测和种类识别。
继续参考图1，本实施例中，在所述学习训练后，所述检测方法还包括：执行步骤S2，提供多个待测图像数据。
部分所述多个待测图像数据用于对前述学习训练获得的学习模型进行模型迭代，剩余的多个待测图像数据用于作为待测目标物。
继续参考图1，执行步骤S3，选取部分的所述待测图像数据，并使被选取的所述待测图像数据包含的缺陷也具有不同的所述已知类别。
在前述学习训练的过程中，利用具有已知类别的缺陷图像数据获取多个第二训练图像，因此，所述被选取的待测图像数据包含的缺陷也具有不同的所述已知类别，即所述被选取的待测图像数据中的缺陷类别属于所述已知类别。
本实施例中，使被选取的所述待测图像数据包含的缺陷也具有不同的所述已知类别的步骤包括：对被选取的所述待测图像数据中的各个缺陷标注类别标签，使每个缺陷具有所述已知类别。
具体地，人工对部分的所述待测图像数据中的各个缺陷标注类别标签，且在标注类别标签后，将完成标注的待测图像数据上传。
继续参考图1，执行步骤S4，从被选取的所述待测图像数据中提取每种所述目标类别的缺陷的若干个目标样本，作为第一支持样本，所述目标类别为所述已知类别中的至少一种。
所述第一支持样本用于作为对学习模型进行模型迭代过程中的待训练样本，从而后续对学习模型进行模型迭代后，利用迭代后的学习模型对剩余未标注的待测图像进行检测。
所述学习模型能够识别各个目标类别的缺陷，因此，通过提取每种所述目标类别的缺陷的若干个目标样本，作为第一支持样本，以获得不同目标类别的第一支持样本，也就是说，能够获得多个样本集，每一个样本集对应一种目标类别，且每一个样本集中含有多个第一支持样本。
相应的，后续通过所述多种目标类别的第一支持样本对所述学习模型进行模型迭代，使得迭代后的学习模型能够对剩余未标注的待测图像数据中各种类型的缺陷进行检测。例如，所述目标类别包括所述A型、B型或C型，则从被选取的所述待测图像数据中提取每种所述目标类别的缺陷的若干个目标样本后，所述第一支持样本共有3组，分别为目标类别为A型的第一支持样本、目标类别为B型的第一支持样本和目标类别为C型的第一支持样本。
具体地，获得所述第一支持样本的步骤包括：截取被选取的所述待测图像数据中的感兴趣区域，所述感兴趣区域中具有所述目标类别的缺陷；对所述感兴趣区域进行形状调整，获得满足网络输入要求的形状的第一支持样本。
通过截取所述感兴趣区域，从而减少非感兴趣区域中的缺陷的干扰，进而提高训练的精度和效率。
根据所述缺陷的形状和尺寸，所述感兴趣区域的形状非固定。例如，本实施例中，所述感兴趣区域的形状包括矩形。由于网络对输入图像的形状通常具有要求，因此，通过对所述感兴趣区域进行形状调整，使得第二支持样本的形状为网络输入要求的形状。
本实施例中，对所述感兴趣区域进行形状调整的步骤包括：利用白色(即“0”值)进行填充，改变所述感兴趣区域的轮廓，从而将所述感兴趣区域的形状调整至网络输入要求的形状。本实施例中，所述网络输入要求的形状包括正方形。
继续参考图1，执行步骤S5，根据所述被选取的待测图像数据获取多个第一训练图像。
所述第一训练图像和第一支持样本共同作为网络的输入，从而对所述学习模型进行模型迭代。其中，所述第一训练图像用于作为对比样本，所述第一训练图像中的缺陷包含各种已知的缺陷类别，从而提供正样本和负样本，而且，所述对比样本的缺陷类别是已知的，因此，在对所述学习模型进行模型迭代的过程中，能够加快迭代的速度，且对缺陷的检测和识别的精度更高。
本实施例中，根据所述被选取的待测图像数据获取多个第一训练图像的步骤包括：对所述被选取的待测图像数据进行尺寸规范化处理，获取多个符合网络输入要求的尺寸的第一训练图像。
网络对输入图像的尺寸通常也具有要求，且网络输入要求的尺寸通常是固定的，因此，通过进行尺寸规范化处理，使得第二训练图像的尺寸满足网络输入要求。例如，网络对输入图像的尺寸的要求为400像素×400像素。
本实施例中，所述尺寸规范化处理的步骤包括：对所述被选取的待测图像数据进行图像检测，获得图像尺寸；比较所述图像尺寸和网络输入要求的尺寸，当所述被选取的待测图像数据的图像尺寸大于网络输入要求的尺寸时，按照相同的尺寸对所述被选取的待测图像数据进行图像分割，所述被选取的待测图像数据分割成多个尺寸相同的第一训练图像；当所述被选取的待测图像数据的图像尺寸小于网络输入要求的尺寸时，利用白色进行填充，使填充后的图像尺寸符合网络输入要求的尺寸，即将填充后的待测图像数据作为所述第一训练图像。
需要说明的是，在所述尺寸规范化处理后，所述第一训练图像像的图像特征应当能够被识别。还需要说明的是，作为一种示例，所述第一训练图像和第一支持样本的图像尺寸相同。
此外，获取所述第一训练图像的方法与前述获取第二训练图像的方法相同，在此不再赘述。
继续参考图1，执行步骤S6，利用所述第一支持样本和第二训练对网络进行学习训练，对所述学习模型进行模型迭代。
被选取的待测图像数据包含的缺陷的类别均是已知的，且所述第一支持样本中各目标样本的缺陷类别也是已知的，在第一支持样本和第一训练图像的缺陷类别均是已知的情况下，更容易使学习模型能够对缺陷进行识别，因此，利用所述第一支持样本和第一训练图像对网络进行学习训练的过程中，利用少量的样本即可完成学习训练，实现对所述学习模型进行模型迭代，从而在保证检测精度的同时，实现少样本的训练。
而且，被选取的待测图像数据包含的缺陷均具有不同的已知类别，这使得所述检测方法能够对各个目标类别的缺陷进行训练和检测，且学习模型能够获得识别同类别缺陷的能力，相应的，当后续更换产品类型时，无需重新建立学习模型，仅需通过少量样本对所述学习模型进行模型迭代，以更新学习模型，从而减小产品间差异对检测精度的影响，相应提高了学习模型的复用性。
此外，通过前述的学习训练，使得学习模型获得识别同类别缺陷的能力，因此，仅需通过少量样本对所述学习模型进行模型迭代，即可获得精准的检测结果。
结合参考图4，图4是图1中步骤S6一实施例的流程图，利用所述第一支持样本和第二训练进行对网络学习训练，对所述学习模型进行模型迭代的步骤包括：执行步骤S61，将所述第一支持样本和第一训练图像进行组合，形成第一输入组合；执行步骤S62，将所述第一输入组合输入至网络中并进行学习训练，对所述学习模型进行模型迭代。
具体地，将所述第一支持样本和第一训练图像随机组合，获得多个第一输入组合，所述多个第一输入组合构成一个数据向量，作为网络的输入，网络输出结果向量，用于表征每一个所述第一输入组合中，所述第一支持样本和第一训练图像中的缺陷类别的相关性，待训练结果的精度达到预设目标后，则学习训练结束，获得所述学习模型。
本实施例中，将所述第一支持样本和第一训练图像进行组合的步骤中，将每一类目标类别对应的所述第一支持样本中的任意一个所述目标样本，与任意一个所述第一训练图像进行组合，作为一个第二输入组合。
本实施例中，所述学习训练时采用的网络和样本检测采用的网络相同，利用所述第一支持样本和第二训练对网络进行学习训练的过程，与前述利用所述第二支持样本和第二训练图像对网络进行学习训练的过程相同，在此不再赘述。
继续参考图1，执行步骤S7，根据剩余未被选取的所述待测图像数据获取多个待测图像。
后续利用迭代后的学习模型对剩余未标注的待测图像进行检测，从而对待测图像进行实际检测。
本实施例中，根据剩余未被选取的所述待测图像数据获取多个待测图像的步骤包括：对剩余未被选取的所述待测图像数据进行尺寸规范化处理，获取多个符合网络输入要求的尺寸的待测图像。
本实施例中，所述尺寸规范化处理的步骤包括：对剩余未被选取的所述待测图像数据进行图像检测，获得图像尺寸；比较所述图像尺寸和网络输入要求的尺寸，当剩余被选取的所述待测图像数据的图像尺寸大于网络输入要求的尺寸时，按照相同的尺寸对剩余未被选取的所述待测图像数据进行图像分割，将剩余未被选取的所述待测图像数据分割成多个尺寸相同的待测图像；当剩余未被选取的所述待测图像数据的图像尺寸小于网络输入要求的尺寸时，利用白色进行填充，使填充后的图像尺寸符合网络输入要求的尺寸，即将填充后的所述待测图像数据作为所述待测图像。
需要说明的是，获取所述待测图像的方法与前述获取第二训练图像的方法相同，在此不再赘述。
继续参考图1，执行步骤S8，对所述学习模型进行模型迭代、以及获取所述待测图像后，从每种所述目标类别的第一支持样本中提取任意一个目标样本，与各个所述待测图像一同输入至所述网络中，对所述待测图像进行检测，并识别缺陷类别。
在前述对网络进行学习训练时，需要同时输入支持样本和训练图像，因此，在实际检测时，需要从每种所述目标类别的第一支持样本中提取任意一个目标样本，与各个所述待测图像一同输入至所述网络中。
由前述记载可知，通过本实施例所述检测方法对所述待测图像进行检测后，能够获得较高的检测精度。
需要说明的是，在后续检测时，当更换产品类型时，无需重新建立学习模型，通过少量样本对学习模型进行模型迭代，更新学习模型即可，从而减小产品间差异对检测精度的影响，进一步提高检测精度。
相应的，本发明实施例还提供一种检测系统。参考图7，示出了本发明检测系统一实施例的功能框图。
所述检测系统包括：第一图像获取模块30，用于提供多个待测图像数据；第二图像获取模块50，用于选取部分的所述待测图像数据，并使被选取的所述待测图像数据包含的缺陷具有不同的已知类别；支持样本提取模块40，从被选取的所述待测图像数据中提取每种目标类别的缺陷的若干个目标样本，作为第一支持样本，所述目标类别为所述已知类别中的至少一种；第三图像获取模块70，用于根据所述被选取的待测图像数据获取多个第一训练图像，且还用于根据剩余未被选取的所述待测图像数据获取多个待测图像；网络模块60，用于进行学习训练，获得学习模型，所述学习模型用于识别缺陷类别，所述网络模块还用于在获得学习模型后，利用所述第一支持样本和第一训练图像对网络进行学习训练，对所述学习模型进行模型迭代，且还用于在对所述学习模型进行模型迭代后，接收每种所述目标类别的第一支持样本中的任意一个目标样本、以及各个所述待测图像，对所述待测图像进行检测，并识别缺陷类别。
被选取的待测图像数据包含的缺陷的类别均是已知的，且所述第一支持样本中各目标样本的缺陷类别(即目标类别)也是已知的，在第一支持样本和第一训练图像的缺陷类别均是已知的情况下，更容易使学习模型能够对缺陷进行识别，因此，通过本实施例所述检测系统，利用第一支持样本和第一训练图像对网络进行学习训练的过程中，利用少量的样本即可完成学习训练，从而在保证检测精度的同时，实现少样本的训练。而且，被选取的待测图像数据包含的缺陷均具有不同的已知类别，这使得所述检测系统能够对各个目标类别的缺陷进行训练和检测，且学习模型能够获得识别同类别缺陷的能力，相应的，当更换产品类型时，无需重新建立学习模型，仅需通过少量样本对所述学习模型进行模型迭代，以更新学习模型，从而减小产品间差异对检测精度的影响，相应提高了所述学习模型的复用性。
本实施例中，所述第二图像获取模块50还用于提供多个缺陷图像数据，并使所述多个缺陷图像数据包含的缺陷具有不同的已知类别；所述支持样本提取模块40还用于从所述多个缺陷图像数据中提取若干个具有目标类别的缺陷的目标样本，作为第二支持样本；所述第三图像获取模块70还用于根据所述缺陷图像数据获取多个第二训练图像；所述网络模块60用于利用所述第二支持样本和第二训练图像对网络进行学习训练，获得学习模型，所述学习模型用于识别缺陷类别。
在所述检测系统中，所述第二图像获取模块50、支持样本提取模块40、第三图像获取模块70和网络模块60用于进行学习训练，从而获得用于识别目标类别的缺陷的学习模型，以便后续利用所述学习模型对待测图像进行检测，以识别缺陷类别，或者，继续对所述学习模型进行模型迭代，以更新所述学习模型，从而提高所述学习模型的复用性和检测方法的检测精度。
其中，所述第二图像获取模块50用于提供多个缺陷图像数据，且所述多个缺陷图像数据包含的缺陷的类别均是已知的，所述支持样本提取模块40用于从所述多个缺陷图像数据中提取若干个具有目标类别的缺陷的目标样本，作为第二支持样本，所述第二支持样本中各目标样本的缺陷类别也是已知的，在第二支持样本和第二训练图像的缺陷类别均是已知的情况下，更容易在学习训练的过程中实现缺陷识别，因此，所述网络模块60利用第二支持样本和第二训练图像对网络进行学习训练的过程中，利用少量的样本即可完成学习训练，从而使得所述检测系统在保证检测精度的同时，实现少样本的训练。而且，所述多个缺陷图像数据包含的缺陷均具有不同的已知类别，这使得所述检测系统能够利用所获得的学习模型对各个目标类别的缺陷进行训练和检测识别，且学习模型能够获得识别同类别缺陷的能力，相应的，当更换产品类型时，无需重新建立学习模型，仅需通过少量样本对所述学习模型进行模型迭代，以更新学习模型，从而减小产品间差异对检测精度的影响，相应提高了学习模型的复用性。。
所述第二图像获取模块50用于提供多个缺陷图像数据，并使所述多个缺陷图像数据包含的缺陷具有不同的已知类别。
后续利用所述缺陷图像数据获得第二训练图像，还利用所述缺陷图像数据获得具有目标类别的缺陷的目标样本，所述目标样本用于作为第二支持样本。
本实施例中，所述多个缺陷图像数据包含的缺陷具有不同的已知类别，每一个缺陷图像数据中包含一种已知类别的缺陷，因此，所述多个缺陷图像数据中总共包含多种已知类别的缺陷。例如，部分缺陷为A型缺陷，部分缺陷为B型缺陷，剩余缺陷为C型缺陷，所述A型、B型和C型为不同的类别。在其他实施例中，所述已知类别的种类可以有更多种。
作为一种示例，所述已知类别可以包括颗粒(particle)缺陷、划痕(scratch)缺陷或污点(stain)缺陷等。
需要说明的是，所述缺陷图像数据可以与实际检测的图像数据不完全相同，但是，所述已知类别与实际检测的图像数据中的缺陷类别相关，以便进行学习训练以获得学习模型后，能够利用所述学习模型对实际检测的图像数据中的缺陷进行识别。
本实施例中，在所述第二图像获取模块50中，通过对所述多个缺陷图像数据中的各个缺陷标注类别标签，使每个缺陷具有已知类别，从而对各个已知类别的缺陷进行训练。具体地，在所述第二图像获取模块50中，通过人工标注的方式对所述多个缺陷图像数据中的各个缺陷标注类别标。
所述支持样本提取模块40用于从所述多个缺陷图像数据中提取若干个具有目标类别的缺陷的目标样本，作为第二支持样本。
所述目标类别为待训练的类别，所述第二支持样本用于作为待训练样本，从而通过对学习模型进行学习训练，使得训练后的学习模型能够对该目标类别的缺陷进行识别。
所述多个缺陷图像数据包含的缺陷具有不同的已知类别，因此，所述支持样本提取模块40从所述多个已知类别中选取任意一个类别，作为所述目标类别。其中，当所述检测系统用于实现对多种目标类别的缺陷的检测时，则所述目标类别的种类也为多种。
相应的，通过分别将所述已知类别中的各个类别进行训练，从而使得所述检测方法能够识别各个不同目标类别的缺陷。例如，待训练的类别为A型、B型和C型，则目标类别包括A型、B型和C型，也就是说，针对A型缺陷、B型缺陷和C型缺陷，均要进行训练。
具体地，所述支持样本提取模块40用于截取所述缺陷图像数据中的感兴趣区域，所述感兴趣区域中具有所述目标类别的缺陷，还用于对所述感兴趣区域进行形状调整，获得满足网络输入要求的形状的第二支持样本。
通过截取所述感兴趣区域，从而减少非感兴趣区域中的缺陷的干扰，进而提高训练的精度和效率。
根据所述缺陷的形状和尺寸，所述感兴趣区域的形状非固定。例如，本实施例中，所述感兴趣区域的形状包括矩形。由于网络对输入图像的形状通常具有要求，因此，通过对所述感兴趣区域进行形状调整，使得第二支持样本的形状为网络输入要求的形状。
本实施例中，所述支持样本提取模块40通过白色(即“0”值)对所述感兴趣区域进行填充，改变所述感兴趣区域的轮廓，从而将所述感兴趣区域的形状调整至网络输入要求的形状。本实施例中，所述网络输入要求的形状包括正方形。
所述第三图像获取模块70用于根据缺陷图像数据获取多个第二训练图像。
所述第二训练图像和第二支持样本共同作为网络的输入，从而对网络进行学习训练。其中，所述第二训练图像用于作为对比样本，所述第二训练图像中的缺陷包含各种已知的缺陷类别，从而提供正样本和负样本，而且，所述对比样本的缺陷类别是已知的，因此，在学习训练的过程中，更容易达到识别的目的，相应能够加快对学习模型的训练，且精度更高。
本实施例中，所述第三图像获取模块70用于对所述多个缺陷图像数据进行尺寸规范化处理，获取多个符合网络输入要求的尺寸的第二训练图像。网络对输入图像的尺寸通常也具有要求，且网络输入要求的尺寸通常是固定的，因此，通过进行尺寸规范化处理，使得第二训练图像的尺寸满足网络输入要求。例如，网络对输入图像的尺寸的要求为400像素×400像素。
具体地，所述第三图像获取模块70用于对所述缺陷图像数据进行图像检测，获得图像尺寸，还用于当所述缺陷图像数据的图像尺寸大于网络输入要求的尺寸时，按照相同的尺寸对缺陷图像数据进行图像分割，或者，当所述缺陷图像数据的图像尺寸小于网络输入要求的尺寸时，利用白色进行填充，使填充后的图像尺寸符合网络输入要求的尺寸。
也就是说，当所述缺陷图像数据的图像尺寸大于网络输入要求的尺寸时，所述第三图像获取模块70将所述缺陷图像数据分割成多个尺寸相同的第二训练图像，当所述缺陷图像数据的图像尺寸小于网络输入要求的尺寸时，所述第三图像获取模块70利用白色对所述缺陷图像数据进行填充，并将填充后的缺陷图像数据作为所述第二训练图像。
需要说明的是，作为一种示例，所述第二训练图像和第二支持样本的图像尺寸相同。
所述网络模块60用于利用第二支持样本和第二训练图像对网络进行学习训练，获得学习模型，所述学习模型用于识别缺陷类别。
本实施例中，所述网络模块60用于将所述第二支持样本和第二训练图像进行组合，形成第二输入组合，还用于将所述第二输入组合输入至网络中并进行学习训练，获得学习模型。
具体地，所述网络模块60将所述第二支持样本和第二训练图像随机组合，获得多个第二输入组合，所述多个第二输入组合构成一个数据向量，作为学习模型的输入，学习模输出结果向量，用于表征每一个所述第二输入组合中，所述第二支持样本和第二训练图像中的缺陷类别的相关性，待训练结果的精度达到预设目标后，则学习训练结束，获得所述学习模型。
本实施例中，所述网络模块60将每一类目标类别对应的所述第二支持样本中的任意一个所述目标样本，与任意一个所述第二训练图像进行组合，作为一个第二输入组合。
本实施例中，所述网络模块60包括网络，所述网络即为神经网络，所述网络包括卷积神经网络或全连接神经网络，所述卷积神经网络可以包括残差神经网络或密集卷积网络。
本实施例中，所述网络包括特征抽取网络、通道注意力机制、空间注意力机制和网络头部。
结合参考图5，示出了网络的一实施例的功能框图。
如图5所示，向所述特征抽取网络输入支持样本和图像后，所述特征抽取网络提取所述支持样本和图像的图像特征，并输出相对应的支持样本特征图和图像特征图。
具体地，在学习训练的过程中，所述支持样本为所述第二支持样本，所述图像为所述第二训练图像，所述特征抽取网络提取所述第二支持样本和第二训练图像的图像特征，从而输出相对应的第二支持样本的特征图以及第二训练图像的特征图。
向所述通道注意力机制输入所述支持样本特征图和图像特征图后，所述通道注意力机制输出分配给图像特征图中各个通道的权重，从而提高训练的准确性。例如，某一种已知类别的缺陷出现在图像特征图的中心区域的概率较高，相应的，可以给所述图像特征图中心区域的通道分配更高的权重，从而提供高精度的缺陷位置检测。
向所述空间注意力机制输入所述支持样本特征图和通道权重分配后的图像特征图后，所述空间注意力机制输出分配给图像特征图中各个像素单元的权重。
所述网络头部具有分类的功能，向所述网络头部输入所述通道注意力机制和空间注意力机制权重分配后的图像特征图，输出检测结果，即输出缺陷类别。
本实施例中，所述网络包括通道注意力机制，使得所述检测方法能够采用基于注意力机制的少样本学习技术，能够从少量的支持样本中提取特征来辅助深度学习网络的缺陷识别，从而能供高精度的缺陷位置检测和种类识别。
所述第一图像获取模块30、第二图像获取模块50、支持样本提取模块40、第三图像获取模块70和网络模块60用于在学习训练以获得学习模型后，后，进行样本检测。
其中，在进行样本检测的过程中，无需重新建立学习模型，通过少量样本对前述学习训练获得的学习模型进行模型迭代，更新学习模型即可，从而减小产品间差异对检测精度的影响，进一步提高检测精度。
所述第一图像获取模块30用于提供多个待测图像数据。
部分所述多个待测图像数据用于对前述学习训练获得的学习模型进行模型迭代，剩余的多个待测图像数据用于作为待测目标物。
所述第二图像获取模块50还用于选取部分的所述待测图像数据，并使被选取的所述待测图像数据包含的缺陷也具有不同的所述已知类别。
在学习训练的过程中，利用具有已知类别的缺陷图像数据获取多个第二训练图像，因此，所述被选取的待测图像数据包含的缺陷也具有不同的所述已知类别，即所述被选取的待测图像数据中的缺陷类别属于所述已知类别。
本实施例中，所述第二图像获取模块50用于对被选取的所述待测图像数据中的各个缺陷标注类别标签，使每个缺陷具有所述已知类别。具体地，在所述第二图像获取模块50中，人工对部分的所述待测图像数据中的各个缺陷标注类别标签。
所述支持样本提取模块40还用于从被选取的所述待测图像数据中提取每种所述目标类别的缺陷的若干个目标样本，作为第一支持样本，所述目标类别为所述已知类别中的至少一种。
所述第一支持样本用于作为对学习模型进行模型迭代过程中的待训练样本，从而对学习模型进行模型迭代后，利用迭代后的学习模型对剩余未标注的待测图像进行检测。
通过学习训练，使所述学习模型能够识别各个目标类别的缺陷，因此，通过提取每种所述目标类别的缺陷的若干个目标样本，作为第一支持样本，以获得不同已知类别的第一支持样本，也就是说，能够获得多个样本集，每一个样本集对应一种目标类别，且每一个样本集中含有多个第一支持样本。
相应的，后续通过所述多种目标类别的第一支持样本对所述学习模型进行模型迭代，使得迭代后的学习模型能够对剩余未标注的待测图像数据中各种类型的缺陷进行检测。例如，所述目标类别包括所述A型、B型或C型，则从被选取的所述待测图像数据中提取每种所述目标类别的缺陷的若干个目标样本后，所述第一支持样本共有3组，分别为目标类别为A型的第一支持样本、目标类别为B型的第一支持样本和目标类别为C型的第一支持样本。
具体地，支持样本提取模块40用于截取被选取的所述待测图像数据中的感兴趣区域，所述感兴趣区域中具有所述目标类别的缺陷，还用于对所述感兴趣区域进行形状调整，获得满足网络输入要求的形状的第一支持样本。
需要说明的是，利用所述支持样本提取模块40获取所述第一支持样本的方法与获取第二支持样本的方法相同，在此不再赘述。
所述第三图像获取模块70还用于根据所述被选取的待测图像数据获取多个第一训练图像。
所述第一训练图像和第一支持样本共同作为网络的输入，从而对所述学习模型进行模型迭代。其中，所述第一训练图像用于作为对比样本，所述第一训练图像中的缺陷包含各种已知的缺陷类别，从而提供正样本和负样本，而且，所述对比样本的缺陷类别是已知的，因此，在对所述学习模型进行模型迭代的过程中，能够加快迭代的速度，且对缺陷的检测和识别的精度更高。
本实施例中，所述第三图像获取模块70用于对所述被选取的待测图像数据进行尺寸规范化处理，获取多个符合网络输入要求的尺寸的第一训练图像。
需要说明的是，所述第三图像获取模块70对被选取的待测图像数据进行尺寸规范化处理的方法，与对缺陷图像数据进行尺寸规范化处理的方法相同，在此不再赘述。
所述网络模块60还用于在获得学习模型后，利用所述第一支持样本和第一训练图像对网络进行学习训练，对所述学习模型进行模型迭代。
通过学习训练，使得学习模型获得识别同类别缺陷的能力，因此，仅需通过少量样本对所述学习模型进行模型迭代，即可获得精准的检测结果。
本实施例中，所述网络模块60用于将所述第一支持样本和第一训练图像进行组合，形成第一输入组合，还用于将所述第一输入组合输入至网络中并进行学习训练，对所述学习模型进行模型迭代。
具体地，所述网络模块60将每一类目标类别对应的所述第一支持样本中的任意一个所述目标样本，与任意一个所述第一训练图像进行组合，作为一个第一输入组合。
所述第三图像获取模块70还用于根据剩余未被选取的所述待测图像数据获取多个待测图像。
后续利用迭代后的学习模型对剩余未标注的待测图像进行检测，从而进行实际检测。
本实施例中，所述第三图像获取模块70用于对剩余未被选取的所述待测图像数据进行尺寸规范化处理，获取多个符合网络输入要求的尺寸的待测图像。需要说明的是，所述第三图像获取模块70对剩余未被选取的所述待测图像数据进行尺寸规范化处理的方法，与对缺陷图像数据进行尺寸规范化处理的方法相同，在此不再赘述。
相应的，所述网络模块60还用于在对所述学习模型进行模型迭代后，接收每种所述目标类别的第一支持样本中的任意一个目标样本、以及各个所述待测图像，并对所述待测图像进行检测，并识别缺陷类别。
在对网络进行学习训练时，需要同时输入支持样本和训练图像，因此，在实际检测时，需要从每种所述目标类别的第一支持样本中提取任意一个目标样本，与各个所述待测图像一同输入至所述网络中。
由前述记载可知，对所述待测图像进行检测后，能够获得较高的检测精度。
本发明实施例还提供一种设备，该设备可以通过装载程序形式的上述检测方法，以实现本发明实施例提供的检测方法。
参考图7，示出了本发明一实施例所提供的设备的硬件结构图。本实施例所述设备包括：至少一个处理器01、至少一个通信接口02、至少一个存储器03和至少一个通信总线04。
本实施例中，所述处理器01、通信接口02、存储器03和通信总线04的数量均为至少一个，且所述处理器01、通信接口02以及存储器03通过所述通信总线04完成相互间的通信。
所述通信接口02可以为用于进行网络通信的通信模块的接口，例如为GSM模块的接口。
所述处理器01可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本实施例所述检测方法的一个或多个集成电路。
所述存储器03可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
其中，所述存储器03存储有一条或多条计算机指令，所述一条或多条计算机指令被所述处理器01执行以实现前述实施例提供的检测方法。
需要说明的是，上述的实现终端设备还可以包括与本发明实施例公开内容可能并不是必需的其他器件(未示出)；鉴于这些其他器件对于理解本发明实施例公开内容可能并不是必需，本发明实施例对此不进行逐一介绍。
本发明实施例还提供一种存储介质，所述存储介质存储有一条或多条计算机指令，所述一条或多条计算机指令用于实现前述实施例提供的检测方法。
本发明实施例的检测方法中，被选取的待测图像数据包含的缺陷的类别均是已知的，且所述第一支持样本中各目标样本的缺陷类别(即目标类别)也均为已知的，在第一支持样本和第一训练图像的缺陷类别均是已知的情况下，更容易使学习模型能够对缺陷进行识别，因此，利用所述第一支持样本和第一训练图像对网络进行学习训练的过程中，利用少量的样本即可完成学习训练，从而在保证检测精度的同时，实现少样本的训练，而且，被选取的待测图像数据包含的缺陷均具有不同的已知类别，这使得所述检测方法能够对各个已知类别的缺陷进行训练和检测，且学习模型能够获得识别同类别缺陷的能力，相应的，当更换产品类型时，无需重新建立学习模型，仅需通过少量样本对所述学习模型进行模型迭代，以更新学习模型，从而减小产品间差异对检测精度的影响，相应提高了所述学习模型的复用性。
上述本发明的实施方式是本发明的元件和特征的组合。除非另外提及，否则所述元件或特征可被视为选择性的。各个元件或特征可在不与其它元件或特征组合的情况下实践。另外，本发明的实施方式可通过组合部分元件和/或特征来构造。本发明的实施方式中所描述的操作顺序可重新排列。任一实施方式的一些构造可被包括在另一实施方式中，并且可用另一实施方式的对应构造代替。对于本领域技术人员而言明显的是，所附权利要求中彼此没有明确引用关系的权利要求可组合成本发明的实施方式，或者可在提交本申请之后的修改中作为新的权利要求包括。
本发明的实施方式可通过例如硬件、固件、软件或其组合的各种手段来实现。在硬件配置方式中，根据本发明示例性实施方式的方法可通过一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器等来实现。
在固件或软件配置方式中，本发明的实施方式可以模块、过程、功能等形式实现。软件代码可存储在存储器单元中并由处理器执行。存储器单元位于处理器的内部或外部，并可经由各种己知手段向处理器发送数据以及从处理器接收数据。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是符合与本文所公开的原理和新颖特点相一致的最宽的范围。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (17)

1.一种检测方法，其特征在于，包括：
进行学习训练，获得学习模型，所述学习模型用于识别缺陷类别；
提供多个待测图像数据；
选取部分的所述待测图像数据，并使被选取的所述待测图像数据包含的缺陷具有不同的已知类别；
从被选取的所述待测图像数据中提取每种目标类别的缺陷的若干个目标样本，作为第一支持样本，所述目标类别为所述已知类别中的至少一种；
根据所述被选取的待测图像数据获取多个第一训练图像；
利用所述第一支持样本和第一训练图像对网络进行学习训练，对所述学习模型进行模型迭代；
根据剩余未被选取的所述待测图像数据获取多个待测图像；
对所述学习模型进行模型迭代、以及获取所述待测图像后，从每种所述目标类别的第一支持样本中提取任意一个目标样本，与各个所述待测图像一同输入至所述网络中，对所述待测图像进行检测，并识别缺陷类别。
2.如权利要求1所述的检测方法，其特征在于，所述进行学习训练，获得学习模型的步骤包括：
提供多个缺陷图像数据，并使所述多个缺陷图像数据包含的缺陷具有不同的已知类别；
从所述多个缺陷图像数据中提取若干个具有目标类别的缺陷的目标样本，作为第二支持样本，所述目标类别为所述已知类别中的至少一种；
根据所述缺陷图像数据获取多个第二训练图像；
利用所述第二支持样本和第二训练图像对网络进行学习训练，获得学习模型，所述学习模型用于识别缺陷类别。
3.如权利要求1所述的检测方法，其特征在于，使被选取的所述待测图像数据包含的缺陷具有不同的已知类别的步骤包括：对被选取的所述待测图像数据中的各个缺陷标注类别标签，使每个缺陷具有所述已知类别。
4.如权利要求1所述的检测方法，其特征在于，从被选取的所述待测图像数据中提取每种所述目标类别的缺陷的若干个目标样本，作为第一支持样本的步骤包括：
截取被选取的所述待测图像数据中的感兴趣区域，所述感兴趣区域中具有所述目标类别的缺陷；
对所述感兴趣区域进行形状调整，获得满足网络输入要求的形状的第二支持样本。
5.如权利要求4所述的检测方法，其特征在于，所述感兴趣区域的形状包括矩形，所述网络输入要求的形状包括正方形。
6.如权利要求4所述的检测方法，其特征在于，对所述感兴趣区域进行形状调整的步骤包括：利用白色进行填充，将所述感兴趣区域的形状调整至网络输入要求的形状。
7.如权利要求1所述的检测方法，其特征在于，根据所述被选取的待测图像数据获取多个第一训练图像的步骤包括：对所述被选取的待测图像数据进行尺寸规范化处理，获取多个符合网络输入要求的尺寸的第一训练图像；
根据剩余未被选取的所述待测图像数据获取多个待测图像的步骤包括：对剩余未被选取的所述待测图像数据进行尺寸规范化处理，获取多个符合网络输入要求的尺寸的待测图像。
8.如权利要求7所述的检测方法，其特征在于，所述尺寸规范化处理的步骤包括：进行图像检测，获得图像尺寸；比较所述图像尺寸和网络输入要求的尺寸，当所述图像尺寸大于网络输入要求的尺寸时，按照相同的尺寸进行图像分割，当所述图像尺寸小于网络输入要求的尺寸时，利用白色进行填充，使填充后的图像尺寸符合网络输入要求的尺寸。
9.如权利要求1所述的检测方法，其特征在于，利用所述第一支持样本和第一训练图像对网络进行学习训练，对所述学习模型进行模型迭代的步骤包括：将所述第一支持样本和第一训练图像进行组合，形成第一输入组合；将所述第一输入组合输入至网络中并进行学习训练，对所述学习模型进行模型迭代。
10.如权利要求9所述的检测方法，其特征在于，将所述第一支持样本和第一训练图像进行组合的步骤中，将每一类目标类别对应的所述第一支持样本中的任意一个所述目标样本，与任意一个所述第一训练图像进行组合，作为一个第一输入组合。
11.如权利要求2所述的检测方法，其特征在于，利用所述第二支持样本和第二训练图像对网络进行学习训练，获得学习模型的步骤包括：将所述第二支持样本和第二训练图像进行组合，形成第二输入组合；将所述第二输入组合输入至网络中并进行学习训练，获得学习模型。
12.如权利要求1所述的检测方法，其特征在于，所述网络包括特征抽取网络、通道注意力机制、空间注意力机制和网络头部。
13.一种检测系统，其特征在于，包括：
第一图像获取模块，用于提供多个待测图像数据；
第二图像获取模块，用于选取部分的所述待测图像数据，并使被选取的所述待测图像数据包含的缺陷具有不同的已知类别；
支持样本提取模块，用于从被选取的所述待测图像数据中提取每种目标类别的缺陷的若干个目标样本，作为第一支持样本，所述目标类别为所述已知类别中的至少一种；
第三图像获取模块，用于根据所述被选取的待测图像数据获取多个第一训练图像，且还用于根据剩余未被选取的所述待测图像数据获取多个待测图像；
网络模块，用于进行学习训练，获得学习模型，所述学习模型用于识别缺陷类别，所述网络模块还用于在获得学习模型后，利用所述第一支持样本和第一训练图像对网络进行学习训练，对所述学习模型进行模型迭代，且还用于在对所述学习模型进行模型迭代后，接收每种所述目标类别的第一支持样本中的任意一个目标样本、以及各个所述待测图像，对所述待测图像进行检测，并识别缺陷类别。
14.如权利要求13所述的检测系统，其特征在于，所述第二图像获取模块还用于提供多个缺陷图像数据，并使所述多个缺陷图像数据包含的缺陷具有不同的已知类别；
所述支持样本提取模块还用于从所述多个缺陷图像数据中提取若干个具有目标类别的缺陷的目标样本，作为第二支持样本；
所述第三图像获取模块还用于根据所述缺陷图像数据获取多个第二训练图像；
所述网络模块用于利用所述第二支持样本和第二训练图像对网络进行学习训练，获得学习模型，所述学习模型用于识别缺陷类别。
15.如权利要求13或14所述的检测系统，其特征在于，所述网络模块包括网络，所述网络包括特征抽取网络、通道注意力机制、空间注意力机制和网络头部。
16.一种设备，其特征在于，包括至少一个存储器和至少一个处理器，所述存储器存储有一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现如权利要求1至12任一项所述的检测方法。
17.一种存储介质，其特征在于，所述存储介质存储有一条或多条计算机指令，所述一条或多条计算机指令用于实现如权利要求1至12任一项所述的检测方法。
CN202110170994.1A 2021-02-08 2021-02-08 检测方法及系统、设备和存储介质 Pending CN114913110A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110170994.1A CN114913110A (zh) 2021-02-08 2021-02-08 检测方法及系统、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110170994.1A CN114913110A (zh) 2021-02-08 2021-02-08 检测方法及系统、设备和存储介质

Publications (1)

Publication Number Publication Date
CN114913110A true CN114913110A (zh) 2022-08-16

Family

ID=82761633

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110170994.1A Pending CN114913110A (zh) 2021-02-08 2021-02-08 检测方法及系统、设备和存储介质

Country Status (1)

Country Link
CN (1) CN114913110A (zh)

Similar Documents

Publication Publication Date Title
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
US20210374940A1 (en) Product defect detection method, device and system
CN111160301B (zh) 基于机器视觉的隧道病害目标智能识别及提取方法
US11176650B2 (en) Data generation apparatus, data generation method, and data generation program
CN111340787B (zh) 输电线路的导线缺陷检测识别方法、装置及计算机设备
CN109886928B (zh) 一种目标细胞标记方法、装置、存储介质及终端设备
CN111753692B (zh) 目标对象提取方法、产品检测方法、装置、计算机和介质
CN112862770B (zh) 一种基于人工智能的缺陷分析诊断系统、方法、装置
CN108009567B (zh) 一种结合图像颜色及hog和svm的粪便性状的自动辨别方法
CN110059635B (zh) 一种皮肤瑕疵检测方法及装置
CN112348787A (zh) 物体缺陷检测模型的训练方法、物体缺陷检测方法及装置
US20220012884A1 (en) Image analysis system and analysis method
CN111340796A (zh) 一种缺陷检测方法、装置、电子设备及存储介质
CN112345534B (zh) 一种基于视觉的泡罩板中颗粒的缺陷检测方法及系统
CN110599453A (zh) 一种基于图像融合的面板缺陷检测方法、装置及设备终端
CN108615401B (zh) 基于深度学习的室内非均匀光线车位状况识别方法
CN113077416A (zh) 一种基于图像处理的焊点焊接缺陷检测方法与系统
CN115690670A (zh) 一种晶圆瑕疵智能识别方法和系统
KR20190114241A (ko) 딥러닝 기반의 독성조류 판별 및 셀카운팅 장치 및 그 방법
US6920241B1 (en) System and method for bundled location and regional inspection
CN109359683B (zh) 目标检测方法、装置、终端和计算机可读存储介质
CN114913110A (zh) 检测方法及系统、设备和存储介质
CN111709951B (zh) 目标检测网络训练方法及系统及网络及装置及介质
CN115082449A (zh) 一种电子元器件缺陷检测方法
CN113298166A (zh) 缺陷分类器和缺陷分类方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination