CN117689962B - 一种器件表面缺陷识别方法及识别系统 - Google Patents

一种器件表面缺陷识别方法及识别系统 Download PDF

Info

Publication number
CN117689962B
CN117689962B CN202410147614.6A CN202410147614A CN117689962B CN 117689962 B CN117689962 B CN 117689962B CN 202410147614 A CN202410147614 A CN 202410147614A CN 117689962 B CN117689962 B CN 117689962B
Authority
CN
China
Prior art keywords
defect type
defect
order
feature
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410147614.6A
Other languages
English (en)
Other versions
CN117689962A (zh
Inventor
杨登丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tgb Precision Technology Shenzhen Co ltd
Original Assignee
Tgb Precision Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tgb Precision Technology Shenzhen Co ltd filed Critical Tgb Precision Technology Shenzhen Co ltd
Priority to CN202410147614.6A priority Critical patent/CN117689962B/zh
Publication of CN117689962A publication Critical patent/CN117689962A/zh
Application granted granted Critical
Publication of CN117689962B publication Critical patent/CN117689962B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本申请提供一种器件表面缺陷识别方法及识别系统，拟检测器件对应的二阶缺陷类型的描述特征载体是基于代表图像信息确定得到的，由于代表图像信息可以代表二阶缺陷类型表征的图像缺陷语义，那么，基于二阶缺陷类型的代表图像信息确定二阶缺陷类型对应的描述特征载体、以及器件表面图像的图像嵌入特征，对拟检测器件进行二阶缺陷识别，获得的拟检测器件对应的目标二阶缺陷类型更加精准可靠，增加对拟检测器件的缺陷识别精度。

Description

一种器件表面缺陷识别方法及识别系统
技术领域
本申请涉及但不限于数据处理技术领域，尤其涉及一种器件表面缺陷识别方法及识别系统。
背景技术
随着电子产业的日益发展，各种电子器件的精密程度越来越高，器件的外观质量对消费者的购买决策至关重要。任何表面缺陷，如划痕、凹陷、污渍等，都可能影响器件的外观美观、功能性能和耐久性。因此，在器件制造过程中，需要对器件表面进行全面的质量控制，以确保每个器件都符合质量标准。器件表面缺陷识别是指利用计算机视觉和图像处理技术，对器件表面进行自动化检测和识别，以检测和分类器件表面的缺陷。这项技术在器件制造过程中起着重要作用，可以帮助提高生产效率、减少人工错误，并确保器件质量符合标准。传统上，器件表面缺陷的检测通常是通过人工目视进行的，这种方法费时费力且容易出错。而基于计算机视觉的器件表面缺陷识别技术可以实现自动化、高效率的检测，大大提高了检测的准确性和速度。而基于机器视觉的器件表面缺陷识别中，识别缺陷的上下级关系具有重要意义，不仅可以 提高分类准确性，通过识别类目标签的上下级关系，可以利用类别之间的层次结构信息来提高分类任务的准确性；此外，可以实现更细粒度的分类，上下级关系识别可以将分类任务从简单的一对多（one-vs-rest）扩展到多对多（many-to-many）的情况，通过建立层次结构，可以将大类别划分为更小的子类别，实现更细粒度的分类；另外，可以辅助数据标注和管理，层级关系识别可以帮助进行数据标注和管理，通过建立类别的层次结构，可以更好地组织和管理大规模的图像数据集。同时，对于新的未标注数据，可以利用已有的层次结构信息进行自动化的标注或辅助标注，减少人工标注的工作量。如何确保以上缺陷类型分级的准确可靠是需要考虑的技术问题。
发明内容
有鉴于此，本申请实施例至少提供一种器件表面缺陷识别方法及识别系统。
本申请实施例的技术方案是这样实现的：
一方面，本申请实施例提供一种器件表面缺陷识别方法，应用于缺陷识别系统，所述方法包括：
获取拟检测器件对应的器件表面图像，并基于缺陷类型识别网络的嵌入映射模块，对所述器件表面图像进行特征嵌入映射，得到所述器件表面图像对应的图像嵌入特征；
基于所述缺陷类型识别网络的第一缺陷识别模块，依据所述图像嵌入特征对所述拟检测器件进行初阶缺陷识别，得到所述拟检测器件在缺陷类型树状结构中对应的目标初阶缺陷类型；其中，所述缺陷类型树状结构包括不少于两个初阶缺陷类型和对所述不少于两个初阶缺陷类型进行划分获得的多个二阶缺陷类型，每个所述二阶缺陷类型包括一个或多个代表图像信息；
基于所述缺陷类型识别网络的第二缺陷识别模块，依据所述图像嵌入特征及各所述二阶缺陷类型的描述特征载体对所述拟检测器件进行二阶缺陷识别，得到所述拟检测器件对应的目标二阶缺陷类型；其中，所述描述特征载体基于相应二阶缺陷类型包括的代表图像信息确定得到，所述目标二阶缺陷类型隶属所述目标初阶缺陷类型。
在一些实施例中，所述第二缺陷识别模块包括整合模块及类型识别模块，所述基于所述缺陷类型识别网络的第二缺陷识别模块，依据所述图像嵌入特征及各所述二阶缺陷类型的描述特征载体对所述拟检测器件进行二阶缺陷识别，得到所述拟检测器件对应的目标二阶缺陷类型，包括：
基于所述整合模块，对所述图像嵌入特征及各所述二阶缺陷类型的描述特征载体进行整合，得到整合特征；
基于所述类型识别模块，依据所述整合特征对所述拟检测器件进行二阶缺陷识别，得到所述拟检测器件对应的目标二阶缺陷类型。
在一些实施例中，所述基于所述整合模块，对所述图像嵌入特征及各所述二阶缺陷类型的描述特征载体进行整合，得到整合特征，包括：
获取用于初次特征整合的整合数组，并基于所述整合模块，依据所述整合数组，对所述图像嵌入特征及各所述二阶缺陷类型的描述特征载体进行初次整合，得到初次整合特征；
获取用于再次特征整合的二次整合变量，并基于所述整合模块，依据所述二次整合变量对所述图像嵌入特征及各所述二阶缺陷类型的描述特征载体进行再次特征整合，得到二次整合特征；
基于所述整合模块，整合所述初次整合特征及所述二次整合特征，得到所述整合特征。
在一些实施例中，所述基于所述整合模块，对所述图像嵌入特征及各所述二阶缺陷类型的描述特征载体进行整合，得到整合特征，包括：
获取用于特征整合的参变量数组；
基于所述整合模块，依据所述参变量数组及二次多项式，对所述图像嵌入特征及各所述二阶缺陷类型的描述特征载体进行整合，得到整合特征。
在一些实施例中，所述基于所述整合模块，对所述图像嵌入特征及各所述二阶缺陷类型的描述特征载体进行整合，得到整合特征，包括：
对所述图像嵌入特征及各所述二阶缺陷类型的描述特征载体进行特征组合，得到组合特征；
获取用于特征整合的整合数组，并将所述组合特征乘以所述整合数组，得到所述整合特征。
在一些实施例中，所述基于所述缺陷类型识别网络的第一缺陷识别模块，依据所述图像嵌入特征对所述拟检测器件进行初阶缺陷识别之前，所述方法还包括：
获取所述缺陷类型树状结构中各所述二阶缺陷类型包括的代表图像信息；
对于各所述二阶缺陷类型，对所述二阶缺陷类型包括的各个代表图像信息分别进行嵌入映射，得到各所述代表图像信息对应的代表图像特征；
对各所述二阶缺陷类型包括的代表图像信息对应的代表图像特征，进行统计计算，得到相应二阶缺陷类型的描述特征载体。
在一些实施例中，对各所述二阶缺陷类型包括的代表图像信息对应的代表图像特征，进行统计计算，得到相应二阶缺陷类型的描述特征载体，包括：
对于各所述二阶缺陷类型，如果所述二阶缺陷类型包括的代表图像信息的数量不小于预设数量，将所述二阶缺陷类型包括的代表图像信息对应的代表图像特征进行均值计算，得到所述二阶缺陷类型的描述特征载体；
对于各所述二阶缺陷类型，如果所述二阶缺陷类型包括的代表图像信息的数量小于预设数量，将所述二阶缺陷类型包括的代表图像信息对应的代表图像特征进行相加，得到所述二阶缺陷类型的描述特征载体。
在一些实施例中，所述获取拟检测器件对应的器件表面图像之后，所述方法还包括：
对器件表面图像进行代表图像信息提取，得到所述器件表面图像包括的一个或多个表面代表图像；所述基于所述缺陷类型识别网络的嵌入映射模块，对所述器件表面图像进行特征嵌入映射，得到所述器件表面图像对应的图像嵌入特征，包括：
基于所述缺陷类型识别网络的嵌入映射模块，分别对所述器件表面图像包括的各表面代表图像进行特征嵌入映射，得到各所述表面代表图像对应的代表图像嵌入特征；
对获得的各所述代表图像嵌入特征进行特征组合，得到所述器件表面图像对应的图像嵌入特征；
所述基于所述缺陷类型识别网络的第一缺陷识别模块，依据所述图像嵌入特征对所述拟检测器件进行初阶缺陷识别，得到所述拟检测器件在缺陷类型树状结构中对应的目标初阶缺陷类型，包括：
获取所述缺陷类型树状结构包括的所述不少于两个初阶缺陷类型；
基于所述缺陷类型识别网络的第一缺陷识别模块，依据所述图像嵌入特征及不少于两个初阶缺陷类型，对所述拟检测器件进行所述不少于两个初阶缺陷类型的多缺陷类型识别，得到所述拟检测器件隶属各个所述初阶缺陷类型的置信度；
将最大置信度对应的初阶缺陷类型确定为所述拟检测器件对应的目标初阶缺陷类型。
在一些实施例中，所述基于所述缺陷类型识别网络的嵌入映射模块，对所述器件表面图像进行特征嵌入映射之前，所述方法还包括：
获取拟检测器件模板对应的器件表面图像模板，所述器件表面图像模板包括初阶缺陷类型指示信息和二阶缺陷类型指示信息；
基于所述嵌入映射模块，对所述器件表面图像模板进行特征嵌入映射，得到所述器件表面图像模板对应的目标图像嵌入特征；
基于所述第一缺陷识别模块，依据所述目标图像嵌入特征对所述拟检测器件模板进行初阶缺陷识别，得到初阶缺陷识别结果，所述初阶缺陷识别结果用于指示所述拟检测器件模板对应的初阶缺陷类型；
基于所述第二缺陷识别模块，依据所述目标图像嵌入特征及各所述二阶缺陷类型的描述特征载体对所述拟检测器件模板进行二阶缺陷识别，得到二阶缺陷识别结果，所述二阶缺陷识别结果用于指示所述拟检测器件模板对应的二阶缺陷类型；
获取所述初阶缺陷类型指示信息与所述初阶缺陷识别结果间的第一误差、所述二阶缺陷类型指示信息与所述二阶缺陷识别结果间的第二误差，并基于所述第一误差和所述第二误差，调节所述缺陷类型识别网络的网络内部配置变量；
所述基于所述第一误差和所述第二误差，调节所述缺陷类型识别网络的网络内部配置变量，包括：
获取所述第一缺陷识别模块对应的第一误差算法、所述第二缺陷识别模块对应的第二误差算法和监督算法；
基于所述第一误差算法、第二误差算法及所述监督算法，生成所述缺陷类型识别网络的误差算法；其中，所述监督算法用以使得所述二阶缺陷识别结果表征的二阶缺陷类型是所述初阶缺陷识别结果表征的初阶缺陷类型的下级缺陷类型；
基于所述第一误差和所述第二误差确定所述缺陷类型识别网络的误差算法的误差结果，并基于所述缺陷类型识别网络的误差算法的误差结果，调节所述缺陷类型识别网络的网络内部配置变量。
第二方面，本申请提供一种缺陷识别系统，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以上所述方法中的步骤。
本申请的有益效果至少包括：
本申请实施例提供的器件表面缺陷识别方法及识别系统，拟检测器件对应的二阶缺陷类型的描述特征载体是基于代表图像信息确定得到的，由于代表图像信息可以代表二阶缺陷类型表征的图像缺陷语义，那么，基于二阶缺陷类型的代表图像信息确定二阶缺陷类型对应的描述特征载体、以及器件表面图像的图像嵌入特征，对拟检测器件进行二阶缺陷识别，获得的拟检测器件对应的目标二阶缺陷类型更加精准可靠，增加对拟检测器件的缺陷识别精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请的技术方案。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
图1为本申请实施例提供的一种器件表面缺陷识别方法的实现流程示意图。
图2为本申请实施例提供的一种缺陷识别装置的组成结构示意图。
图3为本申请实施例提供的一种缺陷识别系统的硬件实体示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面结合附图和实施例对本申请的技术方案进一步详细阐述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。所涉及的术语“第一/第二/第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请的目的，不是旨在限制本申请。
本申请实施例提供一种器件表面缺陷识别方法，该方法可以由缺陷识别系统的处理器执行。其中，缺陷识别系统可以指的是服务器、笔记本电脑、平板电脑、台式计算机、智能电视、移动设备(例如移动电话、便携式视频播放器、个人数字助理、专用消息设备、便携式游戏设备)等具备数据处理能力的设备。
图1为本申请实施例提供的一种器件表面缺陷识别方法的实现流程示意图，如图1所示，该方法包括如下步骤：
步骤S110，获取拟检测器件对应的器件表面图像，并基于缺陷类型识别网络的嵌入映射模块，对器件表面图像进行特征嵌入映射，得到器件表面图像对应的图像嵌入特征。
本申请实施例中，器件表面图像可以包括目标器件的本体（背面、侧面）和屏幕的图像，可以通过摄像设备拍摄得到。
具体地，对拟检测器件进行缺陷识别的缺陷类型识别网络可以认为是一个缺陷类型层级识别网络，其是一个深度神经网络，具体的，缺陷类型识别网络包括嵌入映射模块、第一缺陷识别模块、第二缺陷识别模块，其中，嵌入映射模块用于对拟检测器件所对应的器件表面图像进行特征嵌入映射，即完成特征编码，通过特征嵌入映射得到器件表面图像对应的图像嵌入特征；第一缺陷识别模块用于对图像嵌入特征进行初阶缺陷识别（即进行初步的高层级的缺陷类型的识别），得到拟检测器件的对应的初阶缺陷类型（即初步的高层级的缺陷类型）；第二缺陷识别模块用于确定拟检测器件对应的目标二阶缺陷类型（即再次确定的低层级的缺陷类型），最终基于缺陷类型识别网络确定拟检测器件对应的初阶缺陷类型和对应的二阶缺陷类型。
例如，缺陷类型识别网络的嵌入映射模块可以基于多个滤波器单元（即卷积单元conv）组成，第一缺陷识别模块可以为仿射单元(即全连接网络)或者其他分类器，如softmax，第二缺陷识别模块可以包括级联的池化单元和仿射单元。
具体地，拟检测器件对应的缺陷类型指示信息存在从属联系，主缺陷类型是从缺陷类型的上一层级。例如，主缺陷类型为破坏性缺陷，从缺陷类型为划痕、破损、凹陷等；主缺陷类型为瑕疵类缺陷，从缺陷类型为毛边、气泡等；主缺陷类型为细微缺陷，从缺陷类型为污渍、灰尘颗粒等。
具体地，可以基于预先调试完成的语义挖掘网络对器件表面图像进行特征嵌入映射，即嵌入映射得到器件表面图像对应的缺陷语义特征（本质为一个表征缺陷语义的特征向量）。例如，将Transformer（转换器模型）、CNN（卷积神经网络模型）作为器件表面图像的嵌入映射模块。
作为一些实施方式，图像嵌入特征的获取过程可以包括以下步骤：
步骤S111，对器件表面图像进行代表图像信息提取，得到器件表面图像包括的一个或多个表面代表图像。
由于器件的外表面通常都是没有特殊纹理和复杂色彩的单色光滑界面，出现缺陷的位置通常具有较大突兀，将具有突兀的图像块作为表面代表图像。例如可以采用ORB（Oriented FAST and Rotated BRIEF）特征提取算法，获取器件表面图像的表面代表图像。
步骤S112，基于缺陷类型识别网络的嵌入映射模块，分别对器件表面图像包括的各表面代表图像进行特征嵌入映射，得到各表面代表图像对应的代表图像嵌入特征。
如上所述，对各表面代表图像进行语义特征嵌入映射，获得各个表面代表图像对应的代表图像嵌入特征。
步骤S113，对获得的各代表图像嵌入特征进行特征组合，得到器件表面图像对应的图像嵌入特征。
具体地，对各代表图像嵌入特征进行特征组合的方式，是将特征对应的向量进行拼接，以获得表征器件表面图像语义的图像嵌入特征。
步骤S120，基于缺陷类型识别网络的第一缺陷识别模块，依据图像嵌入特征对拟检测器件进行初阶缺陷识别，得到拟检测器件在缺陷类型树状结构中对应的目标初阶缺陷类型。
其中，对于缺陷类型识别网络的缺陷类型树状结构包括不少于两个初阶缺陷类型和对不少于两个初阶缺陷类型进行划分获得的多个二阶缺陷类型，每个二阶缺陷类型包括一个或多个代表图像信息。作为一些实施方式，可以基于如下过程确定拟检测器件对应的目标初阶缺陷类型：获取缺陷类型树状结构包括的不少于两个初阶缺陷类型；基于缺陷类型识别网络的第一缺陷识别模块，依据图像嵌入特征及不少于两个初阶缺陷类型，对拟检测器件进行不少于两个初阶缺陷类型的多缺陷类型识别，得到拟检测器件隶属各个初阶缺陷类型的置信度；将最大置信度对应的初阶缺陷类型确定为拟检测器件对应的目标初阶缺陷类型。
具体地，基于缺陷类型识别网络的第一缺陷识别模块，可以为一个仿射单元，确定图像嵌入特征属于缺陷类型树状结构中各初阶缺陷类型的置信度，将最大置信度对应的初阶缺陷类型确定为拟检测器件的初阶缺陷类型。
作为一些实施方式，二阶缺陷类型对应描述特征载体，描述特征载体用于描述二阶缺陷类型的特征信息，其具体可以表现为特征向量或者矩阵，其获取过程具体可以包括以下步骤：
步骤S11，获取缺陷类型树状结构中各二阶缺陷类型包括的代表图像信息。
具体地，对于各二阶缺陷类型，可以基于Fisher's 精确检验获取每个二阶缺陷类型对应的代表图像信息，这些代表图像信息代表二阶缺陷类型要表征的图像缺陷语义信息。其中，代表图像信息的个数不做限制，如果代表图像信息为一个，则基于该一个代表图像信息表征二阶缺陷类型，如果代表图像信息的个数为不少于两个，则可以为每个代表图像信息分配不同的权重，一起表征二阶缺陷类型。
例如，二阶缺陷类型包括“划痕”、“气泡”、“凹陷”、“污渍”等，其中，表征“划痕”的代表图像信息包括（P1、P2、P3），表征“气泡”的代表图像信息包括（P4、P5、P6）等。
步骤S12，对于各二阶缺陷类型，对二阶缺陷类型包括的各个代表图像信息分别进行嵌入映射，得到各代表图像信息对应的代表图像特征。
具体地，基于缺陷类型识别网络的嵌入映射模块，对各二阶缺陷类型包括的各代表图像信息进行嵌入映射（如上利用transformer实现）得到代表图像特征。
步骤S13，对各二阶缺陷类型包括的代表图像信息对应的代表图像特征，进行统计计算，得到相应二阶缺陷类型的描述特征载体。
具体地，因为代表图像信息可以代表二阶缺陷类型表征的图像缺陷语义，那么将二阶缺陷类型包括的多个代表图像信息的缺陷语义特征进行均值计算或相加得到表征二阶缺陷类型语义的描述特征载体。以C（n）表示各二阶缺陷类型，C（n）＝μ(F1，F2，……，Fm)，(F1，F2，……，Fm)为各二阶缺陷类型对应的m个代表图像特征，m≥1，μ代表均值计算。
作为一些实施方式，可以基于如下方式确定二阶缺陷类型的描述特征载体：对于各二阶缺陷类型，如果二阶缺陷类型包括的代表图像信息的数量不小于预设数量，将二阶缺陷类型包括的代表图像信息对应的代表图像特征进行均值计算，得到二阶缺陷类型的描述特征载体；对于各二阶缺陷类型，如果二阶缺陷类型包括的代表图像信息的数量小于预设数量，将二阶缺陷类型包括的代表图像信息对应的代表图像特征进行相加，得到二阶缺陷类型的描述特征载体。
具体地，可以基于各二阶缺陷类型的代表图像信息的数量，确定对于代表图像信息的计算方式，如果代表图像信息数量小于预设数量，则可以对代表图像特征进行相加，将相加结果（即和向量）确定为二阶缺陷类型的描述特征载体，如果代表图像信息数量不小于预设数量，则对各代表图像特征进行均值计算，将得到的平均结果（即均值向量）确定为二阶缺陷类型的描述特征载体，其中，均值计算可以是将各代表图像特征求和后平均，或者获取每个代表图像特征分别对应的权值，对各代表图像特征进行加权平均的结果。
以上通过不同情况下确定二阶缺陷类型的描述特征载体的方式，可以增加二阶缺陷类型确定的精度。
步骤S130，基于缺陷类型识别网络的第二缺陷识别模块，依据图像嵌入特征及各二阶缺陷类型的描述特征载体对拟检测器件进行二阶缺陷识别，得到拟检测器件对应的目标二阶缺陷类型。
具体地，二阶缺陷类型的描述特征载体通过相应二阶缺陷类型包括的代表图像信息确定得到，且目标二阶缺陷类型隶属目标初阶缺陷类型。换言之，目标二阶缺陷类型是对目标初阶缺陷类型进行划分获得的不少于两个下级缺陷类型中的一个，初阶缺陷类型是二阶缺陷类型的上一级缺陷类型。
作为一些实施方式，第二缺陷识别模块包括整合模块和类型识别模块，那么，步骤S130具体可以包括步骤S131~步骤S132。
步骤S131，基于整合模块对图像嵌入特征及各二阶缺陷类型的描述特征载体进行整合，得到整合特征。
具体地，基于缺陷类型识别网络的整合模块，对表征器件表面图像的图像嵌入特征和各二阶缺陷类型的描述特征载体进行多次整合，得到整合特征(表现为一个整合向量)。此处多次整合可以是对图像嵌入特征和各二阶缺陷类型的描述特征载体进行初次整合，或者是对图像嵌入特征和各二阶缺陷类型的描述特征载体进行二次整合，抑或是对图像嵌入特征和各二阶缺陷类型的描述特征载体进行初次整合再进行二次整合。
例如，初次整合的过程例如是将图像嵌入特征与各二阶缺陷类型的描述特征载体，与整合特征进行线性投影，例如，通过线性函数k＝ag+c，g为图像嵌入特征与各二阶缺陷类型的描述特征载体进行相加获得，k为整合特征。二次整合即将图像嵌入特征与各二阶缺陷类型的描述特征载体，与整合特征进行二次多项式计算，例如为k＝gAv+c，其中，g为图像嵌入特征，v为各二阶缺陷类型的描述特征载体，A为参变量数组，k为整合特征，c为调节变量，为一预设的常数。
作为一些实施方式，整合的过程具体可以包括以下步骤：
步骤S21，获取用于初次特征整合的整合数组，并基于整合模块，依据整合数组对图像嵌入特征及各二阶缺陷类型的描述特征载体进行初次整合，得到初次整合特征。
具体地，可以通过下述的初次整合公式对图像嵌入特征和各二阶缺陷类型的描述特征载体进行初次整合。
F1=B[Fp:Fc]+c
其中，图像嵌入特征通过Fp表示，各二阶缺陷类型的描述特征载体通过Fc表示，B为预设的整合数组，其可以为一个一维的数组（向量）或者二维的数组（矩阵），具体不做限定，B[Fp:Fc]为图像嵌入特征及各二阶缺陷类型的描述特征载体进行初次整合后的整合特征。例如，假设Fp的维度为1×i，Fc的维度为j×1，[Fp:Fc]为Fp和Fc拼接后维度为(i+j)×1的特征向量，B是一个维度为s×(i+j)的特征向量，那么获得的B[Fp:Fc]的维度为1×s，c为预设的调节变量，为一个预设的常数。
步骤S22，获取用于再次特征整合的二次整合变量，并基于整合模块，依据二次整合变量对图像嵌入特征及各二阶缺陷类型的描述特征载体进行再次特征整合，得到二次整合特征。
具体地，对图像嵌入特征与各二阶缺陷类型的描述特征载体进行再次特征整合，得到二次整合特征的方式可以参照如下公式：
F2＝Fp×A[1:s]×Fc+c
其中，图像嵌入特征通过Fp表示，各二阶缺陷类型的描述特征载体通过Fc表示，Fp为器件表面图像的图像嵌入特征，s为代表图像嵌入特征的维度，A为整合模块的参变量数组，c为预设的调节变量，为一个预设的常数。
例如，Fp的维度为1×i，Fc的维度为j×1，A为i×j×s的张量，那么F2为维度为1×s的特征向量。
步骤S23，基于整合模块对初次整合特征和二次整合特征进行整合，得到整合特征。
具体地，基于缺陷类型识别网络的整合模块，将步骤S21得到的初次整合特征和步骤S22得到的二次整合特征进行整合，得到整合特征。
作为一种实施方式，可以基于整合模块对初次整合特征和二次整合特征直接相加得到整合特征。作为另一种实施方式，可以获取对应初次整合特征的第一权值、二次整合特征的第二权值；通过第一权值和第二权值分别对初次整合特征和二次整合特征进行加权，然后将加权结果相加得到整合特征。第一权值和第二权值可以是预先设置的，具体根据实际情况进行设置，本申请对此不做限定。
作为一些实施方式，还可以获取用于特征整合的参变量数组；基于整合模块，依据参变量数组和二次多项式对图像嵌入特征及各二阶缺陷类型的描述特征载体进行整合，得到整合特征。具体地，可以基于缺陷类型识别网络的整合模块，根据二次多项式和预设的用于特征整合的参变量数组，对图像嵌入特征及各二阶缺陷类型的描述特征载体进行整合，得到整合特征。
例如，上述公式F2＝Fp×A[1:s]×Fc，可以看作二次多项式的变种情况。其中，A为用于特征整合的参变量数组，s为输出特征向量的维度，F2为整合特征。
作为一些实施方式，还可以对图像嵌入特征和各二阶缺陷类型的描述特征载体进行特征组合（即将对应的特征向量进行拼接起来），得到组合特征；获取用于特征整合的整合数组，将组合特征乘以整合数组，得到整合特征。具体地，可以基于缺陷类型识别网络的整合模块，根据二次多项式和预设的用于特征整合的参变量数组对图像嵌入特征及各二阶缺陷类型的描述特征载体进行整合，得到整合特征。
例如，F2＝Fp×A[1:s]×Fc为二次多项式的其他形态表达，A为用于特征整合的参变量数组，s为输出的特征向量的维度，F2为整合特征。
步骤S132，基于类型识别模块，依据整合特征对拟检测器件进行二阶缺陷识别，得到拟检测器件对应的目标二阶缺陷类型。
具体地，基于类型识别模块，对拟检测器件进行二阶缺陷识别，即进行二阶缺陷类型的多缺陷类型识别，得到拟检测器件隶属各个二阶缺陷类型的置信度，并将置信度最大的二阶缺陷类型作为目标二阶缺陷类型。
例如，将上述各个公式计算得到的整合结果连接仿射单元，以获得推理的二阶缺陷类型分布，即拟检测器件隶属各二阶缺陷类型的置信度。
作为一些实施方式，对于缺陷类型识别网络，本申请还提供一种其调试的具体流程，那么，在基于调试完成的缺陷类型识别网络对拟检测器件进行缺陷识别之前，还包括对缺陷类型识别网络进行调试的步骤，具体包括：
步骤S31，获取拟检测器件模板对应的器件表面图像模板，器件表面图像模板包括初阶缺陷类型指示信息和二阶缺陷类型指示信息。
具体地，器件表面图像模板中包括的初阶缺陷类型指示信息用于指示拟检测器件模板在缺陷类型树状结构中对应的初阶缺陷类型，器件表面图像模板中包括的二阶缺陷类型指示信息用于指示拟检测器件模板在缺陷类型树状结构中对应的二阶缺陷类型。器件表面图像模板为用于训练用的模板样本，指示信息为训练样本的真实标签。
步骤S32，基于嵌入映射模块对器件表面图像模板进行特征嵌入映射，得到器件表面图像模板对应的目标图像嵌入特征。
具体地，基于缺陷类型识别网络的嵌入映射模块，获取器件表面图像模板的图像嵌入特征，嵌入映射模块可以基于通用的多缺陷类型识别网络，将器件表面图像模板作为嵌入映射模块的输入，获得对应的图像嵌入特征。
步骤S33，基于第一缺陷识别模块，依据目标图像嵌入特征对拟检测器件模板进行初阶缺陷识别，得到初阶缺陷识别结果，
具体地，初阶缺陷识别结果用于指示拟检测器件模板对应的初阶缺陷类型。将步骤S32获得的图像嵌入特征输入第一缺陷识别模块，得到拟检测器件模板的初阶缺陷识别结果，例如基于softmax或SVM等多分类器为缺陷类型识别网络的第一缺陷识别模块。
步骤S34，基于第二缺陷识别模块，依据目标图像嵌入特征及各二阶缺陷类型的描述特征载体对拟检测器件模板进行二阶缺陷识别，得到二阶缺陷识别结果。
具体地，二阶缺陷识别结果用于指示拟检测器件模板对应的二阶缺陷类型。基于缺陷类型树状结构中，各二阶缺陷类型以及各二阶缺陷类型对应的一个或多个代表图像信息，确定各二阶缺陷类型对应的描述特征载体，并基于上述提供的各种整合方式中的一种或多种，整合目标图像嵌入特征和各二阶缺陷类型的描述特征载体，完成对拟检测器件模板的二阶缺陷识别，得到相应的二阶缺陷识别结果。
步骤S35，获取初阶缺陷类型指示信息与初阶缺陷识别结果间的第一误差、二阶缺陷类型指示信息与二阶缺陷识别结果间的第二误差，基于第一误差和第二误差调节缺陷类型识别网络的网络内部配置变量。
具体地，根据初阶缺陷类型指示信息与初阶缺陷识别结果间的第一误差、二阶缺陷类型指示信息与二阶缺陷识别结果间的第二误差调节缺陷类型识别网络的网络内部配置变量，对缺陷类型识别网络进行调试，在缺陷类型识别网络收敛时停止，得到调试好的缺陷类型识别网络。收敛的条件例如是调试的次数达到最大次数，或者误差小于预设的误差。
作为一些实施方式，步骤S35可以包括S351~S353，具体地：
步骤S351，获取第一缺陷识别模块对应的第一误差算法、第二缺陷识别模块对应的第二误差算法和监督算法。
具体地，监督算法用以使得二阶缺陷识别结果表征的二阶缺陷类型是初阶缺陷识别结果表征的初阶缺陷类型的下级缺陷类型。第一误差算法和第二误差算法均可以为交叉熵误差算法。监督算法为一种约束函数，用于限制一二阶缺陷类型的统一性，也就是确保推理获得的目标二阶缺陷类型隶属目标初阶缺陷类型中的二阶缺陷类型。监督算法具体可以为最大间隔目标（max-margin objective）
步骤S352，基于第一误差算法、第二误差算法及监督算法，生成缺陷类型识别网络的误差算法。
例如，将确定的第一误差算法、第二误差算法以及监督算法乘以各自分配的权值，将加权后的结果进行相加，得到缺陷类型识别网络的误差算法。
步骤S353，基于第一误差和第二误差确定缺陷类型识别网络的误差算法的误差结果，并基于缺陷类型识别网络的误差算法的误差结果，调节缺陷类型识别网络的网络内部配置变量。
具体地，根据初阶缺陷类型指示信息与初阶缺陷识别结果间的第一误差、二阶缺陷类型指示信息与二阶缺陷识别结果间的第二误差调节缺陷类型识别网络的网络内部配置变量，对缺陷类型识别网络进行调试，直至缺陷类型识别网络收敛，得到调试完成的缺陷类型识别网络。
作为一种实施方式，对于缺陷类型识别网络的调试方法，可以包括：
步骤S41，获取拟检测器件模板对应的器件表面图像模板，器件表面图像模板包括初阶缺陷类型指示信息和二阶缺陷类型指示信息；
步骤S42，基于缺陷类型识别网络的嵌入映射模块，对器件表面图像模板进行特征嵌入映射，得到器件表面图像模板对应的目标图像嵌入特征。
步骤S43，基于缺陷类型识别网络的第一缺陷识别模块，依据目标图像嵌入特征对拟检测器件模板进行初阶缺陷识别，得到拟检测器件模板在缺陷类型树状结构中对应的初阶缺陷类型。
其中，缺陷类型树状结构包括不少于两个初阶缺陷类型和对不少于两个初阶缺陷类型进行划分获得的多个二阶缺陷类型，每个所述二阶缺陷类型包括一个或多个代表图像信息。
步骤S44，基于缺陷类型识别网络的第二缺陷识别模块，依据目标图像嵌入特征及各二阶缺陷类型的描述特征载体对拟检测器件模板进行二阶缺陷识别，得到拟检测器件模板对应的二阶缺陷类型。
其中，描述特征载体基于相应二阶缺陷类型包括的代表图像信息确定得到，拟检测器件模板对应的二阶缺陷类型是拟检测器件所属初阶缺陷类型的下级缺陷类型。
步骤S45，获取初阶缺陷类型指示信息与得到的拟检测器件模板对应的初阶缺陷类型间的第一误差、二阶缺陷类型指示信息与得到的拟检测器件模板对应的二阶缺陷类型间的第二误差，并基于第一误差和第二误差，调节缺陷类型识别网络的网络内部配置变量。
循环以上步骤S41~S45，对缺陷类型识别网络进行调试，在缺陷类型识别网络收敛时停止，得到调试完成的缺陷类型识别网络。
本申请实施例提供的器件表面缺陷识别方法中，拟检测器件对应的二阶缺陷类型的描述特征载体是基于代表图像信息确定得到的，由于代表图像信息可以代表二阶缺陷类型表征的图像缺陷语义，那么，基于二阶缺陷类型的代表图像信息确定二阶缺陷类型对应的描述特征载体、以及器件表面图像的图像嵌入特征，对拟检测器件进行二阶缺陷识别，获得的拟检测器件对应的目标二阶缺陷类型更加精准可靠，增加对拟检测器件的缺陷识别精度。
基于前述的实施例，本申请实施例提供一种缺陷识别装置，该装置所包括的各单元、以及各单元所包括的各模块，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(Central ProcessingUnit，CPU)、微处理器(Microprocessor Unit，MPU)、数字信号处理器(Digital SignalProcessor，DSP)或现场可编程门阵列(Field Programmable Gate Array，FPGA)等。
图2为本申请实施例提供的一种缺陷识别装置的组成结构示意图，如图2所示，缺陷识别装置200包括：
图像特征提取模块210，用于获取拟检测器件对应的器件表面图像，并基于缺陷类型识别网络的嵌入映射模块，对所述器件表面图像进行特征嵌入映射，得到所述器件表面图像对应的图像嵌入特征；
缺陷初步识别模块220，用于基于所述缺陷类型识别网络的第一缺陷识别模块，依据所述图像嵌入特征对所述拟检测器件进行初阶缺陷识别，得到所述拟检测器件在缺陷类型树状结构中对应的目标初阶缺陷类型；其中，所述缺陷类型树状结构包括不少于两个初阶缺陷类型和对所述不少于两个初阶缺陷类型进行划分获得的多个二阶缺陷类型，每个所述二阶缺陷类型包括一个或多个代表图像信息；
缺陷二次识别模块230，用于基于所述缺陷类型识别网络的第二缺陷识别模块，依据所述图像嵌入特征及各所述二阶缺陷类型的描述特征载体对所述拟检测器件进行二阶缺陷识别，得到所述拟检测器件对应的目标二阶缺陷类型；其中，所述描述特征载体基于相应二阶缺陷类型包括的代表图像信息确定得到，所述目标二阶缺陷类型隶属所述目标初阶缺陷类型。
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。在一些实施例中，本申请实施例提供的装置具有的功能或包含的模块可以用于执行上述方法实施例描述的方法，对于本申请装置实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
需要说明的是，本申请实施例中，如果以软件功能模块的形式实现上述的器件表面缺陷识别方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ReadOnly Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本申请实施例不限制于任何特定的硬件、软件或固件，或者硬件、软件、固件三者之间的任意结合。
本申请实施例提供一种缺陷识别系统，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的部分或全部步骤。
本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。所述计算机可读存储介质可以是瞬时性的，也可以是非瞬时性的。
本申请实施例提供一种计算机程序，包括计算机可读代码，在所述计算机可读代码在计算机设备中运行的情况下，所述计算机设备中的处理器执行用于实现上述方法中的部分或全部步骤。
本申请实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述方法中的部分或全部步骤。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一些实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一些实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
这里需要指出的是：上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考。以上设备、存储介质、计算机程序及计算机程序产品实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请设备、存储介质、计算机程序及计算机程序产品实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。
图3为本申请实施例提供的一种缺陷识别系统的硬件实体示意图，如图3所示，该缺陷识别系统1000的硬件实体包括：处理器1001和存储器1002，其中，存储器1002存储有可在处理器1001上运行的计算机程序，处理器1001执行程序时实现上述任一实施例的方法中的步骤。
存储器1002存储有可在处理器上运行的计算机程序，存储器1002配置为存储由处理器1001可执行的指令和应用，还可以缓存待处理器1001以及缺陷识别系统1000中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(FLASH)或随机访问存储器(Random Access Memory，RAM)实现。
处理器1001执行程序时实现上述任一项的器件表面缺陷识别方法的步骤。处理器1001通常控制缺陷识别系统1000的总体操作。
本申请实施例提供一种计算机存储介质，计算机存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现如上任一实施例的器件表面缺陷识别方法的步骤。
这里需要指出的是：以上存储介质和设备实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节，请参照本申请方法实施例的描述而理解。上述处理器可以为目标用途集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(DigitalSignal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(Programmable Logic Device，PLD)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)、中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地，实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。
上述计算机存储介质/存储器可以是只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器；也可以是包括上述存储器之一或任意组合的各种终端，如移动电话、计算机、平板设备、个人数字助理等。
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各步骤/过程的序号的大小并不意味着执行顺序的先后，各步骤/过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (8)

1.一种器件表面缺陷识别方法，其特征在于，应用于缺陷识别系统，所述方法包括：
获取拟检测器件对应的器件表面图像，并基于缺陷类型识别网络的嵌入映射模块，对所述器件表面图像进行特征嵌入映射，得到所述器件表面图像对应的图像嵌入特征；
基于所述缺陷类型识别网络的第一缺陷识别模块，依据所述图像嵌入特征对所述拟检测器件进行初阶缺陷识别，得到所述拟检测器件在缺陷类型树状结构中对应的目标初阶缺陷类型；其中，所述缺陷类型树状结构包括不少于两个初阶缺陷类型和对所述不少于两个初阶缺陷类型进行划分获得的多个二阶缺陷类型，每个所述二阶缺陷类型包括一个或多个代表图像信息；
基于所述缺陷类型识别网络的第二缺陷识别模块，依据所述图像嵌入特征及各所述二阶缺陷类型的描述特征载体对所述拟检测器件进行二阶缺陷识别，得到所述拟检测器件对应的目标二阶缺陷类型；其中，所述描述特征载体基于相应二阶缺陷类型包括的代表图像信息确定得到，所述目标二阶缺陷类型隶属所述目标初阶缺陷类型；
其中，所述基于所述缺陷类型识别网络的第一缺陷识别模块，依据所述图像嵌入特征对所述拟检测器件进行初阶缺陷识别之前，所述方法还包括：
获取所述缺陷类型树状结构中各所述二阶缺陷类型包括的代表图像信息；
对于各所述二阶缺陷类型，对所述二阶缺陷类型包括的各个代表图像信息分别进行嵌入映射，得到各所述代表图像信息对应的代表图像特征；
对各所述二阶缺陷类型包括的代表图像信息对应的代表图像特征，进行统计计算，得到相应二阶缺陷类型的描述特征载体；
对各所述二阶缺陷类型包括的代表图像信息对应的代表图像特征，进行统计计算，得到相应二阶缺陷类型的描述特征载体，包括：
对于各所述二阶缺陷类型，如果所述二阶缺陷类型包括的代表图像信息的数量不小于预设数量，将所述二阶缺陷类型包括的代表图像信息对应的代表图像特征进行均值计算，得到所述二阶缺陷类型的描述特征载体；
对于各所述二阶缺陷类型，如果所述二阶缺陷类型包括的代表图像信息的数量小于预设数量，将所述二阶缺陷类型包括的代表图像信息对应的代表图像特征进行相加，得到所述二阶缺陷类型的描述特征载体。
2.根据权利要求1所述的方法，其特征在于，所述第二缺陷识别模块包括整合模块及类型识别模块，所述基于所述缺陷类型识别网络的第二缺陷识别模块，依据所述图像嵌入特征及各所述二阶缺陷类型的描述特征载体对所述拟检测器件进行二阶缺陷识别，得到所述拟检测器件对应的目标二阶缺陷类型，包括：
基于所述整合模块，对所述图像嵌入特征及各所述二阶缺陷类型的描述特征载体进行整合，得到整合特征；
基于所述类型识别模块，依据所述整合特征对所述拟检测器件进行二阶缺陷识别，得到所述拟检测器件对应的目标二阶缺陷类型。
3.根据权利要求2所述的方法，其特征在于，所述基于所述整合模块，对所述图像嵌入特征及各所述二阶缺陷类型的描述特征载体进行整合，得到整合特征，包括：
获取用于初次特征整合的整合数组，并基于所述整合模块，依据所述整合数组，对所述图像嵌入特征及各所述二阶缺陷类型的描述特征载体进行初次整合，得到初次整合特征；
获取用于再次特征整合的二次整合变量，并基于所述整合模块，依据所述二次整合变量对所述图像嵌入特征及各所述二阶缺陷类型的描述特征载体进行再次特征整合，得到二次整合特征；
基于所述整合模块，整合所述初次整合特征及所述二次整合特征，得到所述整合特征。
4.根据权利要求2所述的方法，其特征在于，所述基于所述整合模块，对所述图像嵌入特征及各所述二阶缺陷类型的描述特征载体进行整合，得到整合特征，包括：
获取用于特征整合的参变量数组；
基于所述整合模块，依据所述参变量数组及二次多项式，对所述图像嵌入特征及各所述二阶缺陷类型的描述特征载体进行整合，得到整合特征。
5.根据权利要求2所述的方法，其特征在于，所述基于所述整合模块，对所述图像嵌入特征及各所述二阶缺陷类型的描述特征载体进行整合，得到整合特征，包括：
对所述图像嵌入特征及各所述二阶缺陷类型的描述特征载体进行特征组合，得到组合特征；
获取用于特征整合的整合数组，并将所述组合特征乘以所述整合数组，得到所述整合特征。
6.根据权利要求1所述的方法，其特征在于，所述获取拟检测器件对应的器件表面图像之后，所述方法还包括：
对器件表面图像进行代表图像信息提取，得到所述器件表面图像包括的一个或多个表面代表图像；所述基于所述缺陷类型识别网络的嵌入映射模块，对所述器件表面图像进行特征嵌入映射，得到所述器件表面图像对应的图像嵌入特征，包括：
基于所述缺陷类型识别网络的嵌入映射模块，分别对所述器件表面图像包括的各表面代表图像进行特征嵌入映射，得到各所述表面代表图像对应的代表图像嵌入特征；
对获得的各所述代表图像嵌入特征进行特征组合，得到所述器件表面图像对应的图像嵌入特征；
所述基于所述缺陷类型识别网络的第一缺陷识别模块，依据所述图像嵌入特征对所述拟检测器件进行初阶缺陷识别，得到所述拟检测器件在缺陷类型树状结构中对应的目标初阶缺陷类型，包括：
获取所述缺陷类型树状结构包括的所述不少于两个初阶缺陷类型；
基于所述缺陷类型识别网络的第一缺陷识别模块，依据所述图像嵌入特征及不少于两个初阶缺陷类型，对所述拟检测器件进行所述不少于两个初阶缺陷类型的多缺陷类型识别，得到所述拟检测器件隶属各个所述初阶缺陷类型的置信度；
将最大置信度对应的初阶缺陷类型确定为所述拟检测器件对应的目标初阶缺陷类型。
7.根据权利要求1所述的方法，其特征在于，所述基于所述缺陷类型识别网络的嵌入映射模块，对所述器件表面图像进行特征嵌入映射之前，所述方法还包括：
获取拟检测器件模板对应的器件表面图像模板，所述器件表面图像模板包括初阶缺陷类型指示信息和二阶缺陷类型指示信息；
基于所述嵌入映射模块，对所述器件表面图像模板进行特征嵌入映射，得到所述器件表面图像模板对应的目标图像嵌入特征；
基于所述第一缺陷识别模块，依据所述目标图像嵌入特征对所述拟检测器件模板进行初阶缺陷识别，得到初阶缺陷识别结果，所述初阶缺陷识别结果用于指示所述拟检测器件模板对应的初阶缺陷类型；
基于所述第二缺陷识别模块，依据所述目标图像嵌入特征及各所述二阶缺陷类型的描述特征载体对所述拟检测器件模板进行二阶缺陷识别，得到二阶缺陷识别结果，所述二阶缺陷识别结果用于指示所述拟检测器件模板对应的二阶缺陷类型；
获取所述初阶缺陷类型指示信息与所述初阶缺陷识别结果间的第一误差、所述二阶缺陷类型指示信息与所述二阶缺陷识别结果间的第二误差，并基于所述第一误差和所述第二误差，调节所述缺陷类型识别网络的网络内部配置变量；
所述基于所述第一误差和所述第二误差，调节所述缺陷类型识别网络的网络内部配置变量，包括：
获取所述第一缺陷识别模块对应的第一误差算法、所述第二缺陷识别模块对应的第二误差算法和监督算法；
基于所述第一误差算法、第二误差算法及所述监督算法，生成所述缺陷类型识别网络的误差算法；其中，所述监督算法用以使得所述二阶缺陷识别结果表征的二阶缺陷类型是所述初阶缺陷识别结果表征的初阶缺陷类型的下级缺陷类型；
基于所述第一误差和所述第二误差确定所述缺陷类型识别网络的误差算法的误差结果，并基于所述缺陷类型识别网络的误差算法的误差结果，调节所述缺陷类型识别网络的网络内部配置变量。
8.一种缺陷识别系统，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7任一项所述方法中的步骤。
CN202410147614.6A 2024-02-02 2024-02-02 一种器件表面缺陷识别方法及识别系统 Active CN117689962B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410147614.6A CN117689962B (zh) 2024-02-02 2024-02-02 一种器件表面缺陷识别方法及识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410147614.6A CN117689962B (zh) 2024-02-02 2024-02-02 一种器件表面缺陷识别方法及识别系统

Publications (2)

Publication Number Publication Date
CN117689962A CN117689962A (zh) 2024-03-12
CN117689962B true CN117689962B (zh) 2024-04-19

Family

ID=90126900

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410147614.6A Active CN117689962B (zh) 2024-02-02 2024-02-02 一种器件表面缺陷识别方法及识别系统

Country Status (1)

Country Link
CN (1) CN117689962B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820471A (zh) * 2022-04-08 2022-07-29 成都上富智感科技有限公司 一种面向智能制造精微结构表面缺陷的视觉检测方法
CN115018764A (zh) * 2022-04-27 2022-09-06 长春理工大学 一种基于神经网络的飞轮盘半制品表面缺陷检测方法
CN116823793A (zh) * 2023-07-11 2023-09-29 广州亚信技术有限公司 设备缺陷检测方法、装置、电子设备和可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI788175B (zh) * 2022-01-03 2022-12-21 逢甲大學 皮革瑕疵檢測系統

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114820471A (zh) * 2022-04-08 2022-07-29 成都上富智感科技有限公司 一种面向智能制造精微结构表面缺陷的视觉检测方法
CN115018764A (zh) * 2022-04-27 2022-09-06 长春理工大学 一种基于神经网络的飞轮盘半制品表面缺陷检测方法
CN116823793A (zh) * 2023-07-11 2023-09-29 广州亚信技术有限公司 设备缺陷检测方法、装置、电子设备和可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"面向电力设备缺陷检测的多模态层次化分类;白艳峰 等;中国图象图形学报;20231101;第1-11页 *
基于扇区邻域特征工程的玻璃封装绝缘端子缺陷检测;蔡念 等;电子与信息学报;20220531;第44卷(第5期);第1548-1553页 *

Also Published As

Publication number Publication date
CN117689962A (zh) 2024-03-12

Similar Documents

Publication Publication Date Title
CN111882579B (zh) 基于深度学习和目标跟踪的大输液异物检测方法、系统、介质及设备
CN109242033B (zh) 晶片缺陷模式分类方法及装置、存储介质、电子设备
CN116188475B (zh) 一种外观缺陷自动光学检测的智慧控制方法、系统及介质
TW202013248A (zh) 車輛損壞識別方法及裝置
CN117173172B (zh) 一种基于机器视觉的硅胶成型效果检测方法及系统
CN113313712B (zh) 一种电池涂胶缺陷检测方法、装置、电子设备及存储介质
WO2024002187A1 (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN115880298A (zh) 一种基于无监督预训练的玻璃表面缺陷检测方法及系统
WO2018006631A1 (zh) 一种用户等级自动划分方法及系统
CN114372980A (zh) 一种工业缺陷检测方法及系统
CN115984662A (zh) 一种多模态数据预训练及识别方法、装置、设备及介质
CN113111804A (zh) 一种人脸检测的方法、装置、电子设备及存储介质
CN116774986A (zh) 软件开发工作量自动评估方法、装置、存储介质及处理器
CN112328869A (zh) 一种用户贷款意愿的预测方法、装置及计算机系统
CN117689962B (zh) 一种器件表面缺陷识别方法及识别系统
CN110458231B (zh) 一种陶瓷产品检测方法、装置和设备
CN111784053A (zh) 交易风险检测方法、设备及可读存储介质
CN116977271A (zh) 缺陷检测方法、模型训练方法、装置及电子设备
CN112668365A (zh) 一种物料入库识别方法、装置、设备及存储介质
CN117011216A (zh) 一种缺陷检测方法、装置、电子设备及存储介质
CN114743048A (zh) 检测异常秸秆图片的方法和检测装置
CN114240928A (zh) 板卡质量的分区检测方法、装置、设备及可读存储介质
CN116610806B (zh) 基于ai的rpa数字化业务处理方法及计算机设备
CN111832629A (zh) 一种基于FPGA的faster-RCNN目标检测方法
CN116109627B (zh) 基于迁移学习和小样本学习缺陷检测方法、装置及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant