CN115112661A - 一种缺陷检测方法、装置、计算机设备和存储介质 - Google Patents

一种缺陷检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN115112661A
CN115112661A CN202210515075.8A CN202210515075A CN115112661A CN 115112661 A CN115112661 A CN 115112661A CN 202210515075 A CN202210515075 A CN 202210515075A CN 115112661 A CN115112661 A CN 115112661A
Authority
CN
China
Prior art keywords
component image
component
information
information corresponding
defect detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210515075.8A
Other languages
English (en)
Inventor
张博深
李剑
蒋哲兴
王亚彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210515075.8A priority Critical patent/CN115112661A/zh
Publication of CN115112661A publication Critical patent/CN115112661A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0112—Apparatus in one mechanical, optical or electronic block
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本申请实施例公开了一种缺陷检测方法、装置、计算机设备和存储介质；本申请实施例可应用于工业检测、人工智能等各种场景。本申请实施例可以获取待检测元器件的多个元器件图像；对每个元器件图像进行特征提取，得到不同拍摄光源下的元器件图像对应的特征信息；对每个元器件图像对应的特征信息进行注意力提取，得到待检测元器件在不同拍摄光源下对应的注意力信息；将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息；基于每个元器件图像对应的融合后特征信息对待检测元器件进行缺陷检测，得到工业元器件的缺陷检测结果，从而提高对工业元器件进行缺陷检测的质量。

Description

一种缺陷检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，具体涉及一种缺陷检测方法、装置、计算机设备和存储介质。
背景技术
工业缺陷检测是指对生产制造过程中的工业元器件进行质量检测，传统的工业缺陷检测一般是由质检工人进行人工目检，近年来，随着人工智能技术(ArtificialIntelligence，AI)的兴起，利用人工智能技术对工业元器件进行检测可以大幅度地提升工业缺陷检测环节的准确率，节省人力成本。
人工智能技术是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。但是，在对现有技术的实践中，本申请的发明人发现现有的利用人工智能技术进行工业缺陷检测存在检出率低的问题，从而降低了工业检测的准确率。
发明内容
本申请实施例提出了一种缺陷检测方法、装置、计算机设备和存储介质，可以提高缺陷工业元器件的检出率，从而提高对工业元器件进行缺陷检测的质量。
本申请实施例提供了一种缺陷检测方法，包括：
获取待检测元器件的多个元器件图像，其中，一个元器件图像对应一种拍摄光源；
对每个元器件图像进行特征提取，得到不同拍摄光源下的元器件图像对应的特征信息；
对每个元器件图像对应的特征信息进行注意力提取，得到待检测元器件在不同拍摄光源下对应的注意力信息；
将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息，其中，所述第一元器件图像为所述多个元器件图像中的任意一个图像，所述第二元器件图像为所述多个元器件图像中除了所述第一元器件图像以外的图像；
基于每个元器件图像对应的融合后特征信息对所述待检测元器件进行缺陷检测，得到所述工业元器件的缺陷检测结果。
相应的，本申请实施例还提供了一种缺陷检测装置，包括：
获取单元，用于获取待检测元器件的多个元器件图像，其中，一个元器件图像对应一种拍摄光源；
特征提取单元，用于对每个元器件图像进行特征提取，得到不同拍摄光源下的元器件图像对应的特征信息；
注意力提取单元，用于对每个元器件图像对应的特征信息进行注意力提取，得到待检测元器件在不同拍摄光源下对应的注意力信息；
交叉融合单元，用于将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息，其中，所述第一元器件图像为所述多个元器件图像中的任意一个图像，所述第二元器件图像为所述多个元器件图像中除了所述第一元器件图像以外的图像；
缺陷检测单元，用于基于每个元器件图像对应的融合后特征信息对所述待检测元器件进行缺陷检测，得到所述工业元器件的缺陷检测结果。
在一实施例中，所述交叉融合单元，可以包括：
第一交叉融合子单元，用于将所述第一元器件图像和所述第二元器件图像在同一信息深度下对应的特征信息，以及所述第二元器件图像和所述第一元期间图像在同一信息深度下对应的注意力信息进行交叉融合，得到所述第一元器件图像在多个不同信息深度下的融合后特征信息。
在一实施例中，所述交叉融合单元，可以包括：
相乘子单元，用于将除了所述第一元器件图像以外的图像对应的注意力信息分别和所述第一元器件图像对应的特征信息进行相乘，得到多个相乘后特征信息；
相加子单元，用于将每个相乘后特征信息进行相加，得到所述第一元器件图像对应的特征信息。
在一实施例中，所述特征提取单元，可以包括：
窗口获取子单元，用于获取信息提取窗口，其中，所述信息提取窗口包括移动步长和运算参数；
提取子单元，用于利用所述信息提取窗口按照所述移动步长提取所述元器件图像的图像信息；
卷积子单元，用于将所述图像信息和所述运算参数进行卷积运算，得到所述元器件图像对应的特征信息。
在一实施例中，所述注意力提取单元，可以包括：
池化子单元，用于对元器件图像的特征信息进行池化操作，得到池化后特征信息；
特定定位子单元，用于对所述池化后特征信息进行特征定位，得到定位后特征信息；
逻辑回归子单元，用于对所述定位后特征信息进行逻辑回归，得到所述注意力信息。
在一实施例中，所述池化子单元，可以包括：
识别模块，用于识别所述特征信息的信息维度；
设置模块，用于根据所述信息维度，设置预设池化函数的参数维度，得到目标池化函数，其中，所述参数维度和所述信息维度相匹配；
池化模块，用于利用所述目标池化函数对所述元器件图像的特征信息进行池化操作，得到池化后特征信息。
在一实施例中，所述缺陷检测单元，可以包括：
分布识别子单元，用于对每个元器件图像对应的融合后特征信息进行分布识别，得到每个元器件图像对应的分布概率；
整合子单元，用于将每个元器件图像对应的分布概率进行整合，得到整合后分布概率；
对比单元，用于将所述整合后分布概率和预设分布概率条件进行对比，得到所述工业元器件的缺陷检测结果。
在一实施例中，所述特征提取单元，可以包括：
特征提取子单元，用于通过预设缺陷检测系统对每个元器件图像进行特征提取，得到不同拍摄光源下的元器件图像对应的特征信息。
在一实施例中，所述注意力提取单元，可以包括：
注意力提取子单元，用于通过所述预设缺陷检测系统对每个元器件图像对应的特征信息进行注意力提取，得到待检测元器件在不同拍摄光源下对应的注意力信息。
在一实施例中，所述交叉融合单元，可以包括：
第二交叉融合子单元，用于通过所述预设缺陷检测系统将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息。
在一实施例中，所述特征提取子单元，可以包括：
分配模块，用于将每个元器件图像分配给所述多个缺陷检测模型中对应的目标缺陷检测模型；
特征提取模块，用于利用所述目标缺陷检测模型中当前信息提取模块的特征提取层对元器件图像进行特征提取，得到元器件图像的特征信息；
在一实施例中，所述注意力提取子单元，可以包括：
注意力提取模块，用于通过所述目标缺陷检测模型中当前信息提取模块的注意力机制对元器件图像进行注意力提取，得到元器件图像的注意力信息。
在一实施例中，所述第二交叉融合子单元，可以包括：
交叉融合模块，用于将所述预设缺陷检测系统中当前信息提取模块生成的第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息。
在一实施例中，所述第二交叉融合子单元，还可以包括：
传递模块，用于将所述元器件图像的融合后特征信息传递到和所述当前信息提取模块关联的关联信息提取模块；
信息提取模块，用于通过所述关联信息提取模块对所述融合后特征信息进行信息提取。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述一方面的各种可选方式中提供的方法。
相应的，本申请实施例还提供一种存储介质，所述存储介质存储有指令，所述指令被处理器执行时实现本申请实施例任一提供的缺陷检测方法。
本申请实施例可以获取待检测元器件的多个元器件图像，其中，一个元器件图像对应一种拍摄光源；对每个元器件图像进行特征提取，得到不同拍摄光源下的元器件图像对应的特征信息；对每个元器件图像对应的特征信息进行注意力提取，得到待检测元器件在不同拍摄光源下对应的注意力信息；将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息，其中，第一元器件图像为多个元器件图像中的任意一个图像，第二元器件图像为多个元器件图像中除了第一元器件图像以外的图像；基于每个元器件图像对应的融合后特征信息对待检测元器件进行缺陷检测，得到工业元器件的缺陷检测结果，从而提高缺陷工业元器件的检出率，从而提高对工业元器件进行缺陷检测的质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的缺陷检测方法的场景示意图；
图2是本申请实施例提供的缺陷检测方法的流程示意图；
图3是本申请实施例提供的缺陷检测方法的又一场景示意图；
图4是本申请实施例提供的缺陷检测方法的又一流程示意图；
图5是本申请实施例提供的缺陷检测方法的又一场景示意图；
图6是本申请实施例提供的缺陷检测装置的结构示意图；
图7是本申请实施例提供的计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，然而，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提出了一种缺陷检测方法，该缺陷检测方法可以由缺陷检测装置执行，该缺陷检测装置可以集成在计算机设备中。其中，该计算机设备可以包括终端以及服务器等中的至少一个。即，本申请实施例提出的缺陷检测方法即可以由终端执行，还可以由服务器执行，还可以由能够进行互相通信的终端和服务器共同执行。
其中，终端可以包括但不限于智能手机、平板电脑、笔记本电脑、个人电脑(Personal Computer，PC)、智能家电、可穿戴电子设备、VR/AR设备、车载终端、智能语音交互设备等等。
服务器可以为多个异构系统之间的互通服务器或者后台服务器，还可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器等等。
需要说明的是，本申请实施例可应用于各种场景，包括但不限于云技术、人工智能、工业检测等。
在一实施例中，如图1所述，缺陷检测装置可以集成在终端或服务器等计算机设备上，以实施本申请实施例提出的缺陷检测方法。具体地，计算机设备可以获取待检测元器件的多个元器件图像，其中，一个元器件图像对应一种拍摄光源；对每个元器件图像进行特征提取，得到不同拍摄光源下的元器件图像对应的特征信息；对每个元器件图像对应的特征信息进行注意力提取，得到待检测元器件在不同拍摄光源下对应的注意力信息；将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息，其中，第一元器件图像为多个元器件图像中的任意一个图像，第二元器件图像为多个元器件图像中除了第一元器件图像以外的图像；基于每个元器件图像对应的融合后特征信息对待检测元器件进行缺陷检测，得到工业元器件的缺陷检测结果。
以下分别进行详细说明，需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本申请实施例将从缺陷检测装置的角度进行描述，该缺陷检测装置可以集成在计算机设备中，该计算机设备可以是服务器，也可以是终端等设备。
如图2所述，提供了一种缺陷检测方法，具体流程包括：
101、获取待检测元器件的多个元器件图像，其中，一个元器件图像对应一种拍摄光源。
其中，待检测元器件可以包括电子元件和机器、仪器的组成部分。例如，待检测元器件可以包括电器、无线电、仪表等工业的零件。例如，工业元器件可以包括电阻、电容、电感、电位器、电子管、继电器、集成电路、各类电路、晶体、电子化学材料，等等。
其中，元器件图像可以指记录了元器件外观或内部结构等的图像。
在一实施例中，为了提高对缺陷工业元器件的检出率，从而提高对工业元器件进行缺陷检测的质量，本申请实施例对于同一个待检测元器件，会基于不同的拍摄光源采集该待检测元器件的多个元器件图像，其中，一个元器件图像对应一种拍摄光源。
例如，如图3所示，可以采用3个光源对同一个待检测元器件进行拍摄，得到该待检测元器件的3个元器件图像。
在一实施例中，通过采用不同的拍摄光源对同一元器件图像进行拍摄，可以使得拍摄光源不同的元器件图像反应待检测元器件不同的细节特征。
譬如，如图3所示，图中的光源1是暗场图像，对于局部纹理的成像效果更好，而光源3则是亮场图像，对于对比度较低的缺陷成像效果更好。
102、对每个元器件图像进行特征提取，得到不同拍摄光源下的元器件图像对应的特征信息。
在一实施例中，在获取待检测元器件的多个元器件图像之后，可以对每个元器件图像进行特征提取，得到不同拍摄光源下的元器件图像对应的特征信息。其中，不同拍摄光源下的元器件图像对应的特征信息可以反应出待检测元器件在不同拍摄光源下的细节特征。
例如，当元器件图像是暗场图像时，其特征信息可以反映出待检测元器件的局部纹理特征。
又例如，当元器件图像是亮场图像时，其特征信息可以反映出待检测元器件的对比度特征。
在一实施例中，为了可以更好地实施本申请提出的方法，本申请实施例提出了一个缺陷检测系统，可以利用该缺陷检测系统对待检测元器件进行缺陷检测。
例如，可以利用该缺陷检测系统对每个元器件图像进行特征提取，得到不同拍摄光源下的元器件图像对应的特征信息。
具体的，步骤“对每个元器件图像进行特征提取，得到不同拍摄光源下的元器件图像对应的特征信息”，可以包括：
通过预设缺陷检测系统对每个元器件图像进行特征提取，得到不同拍摄光源下的元器件图像对应的特征信息。
其中，该预设缺陷检测系统可以包括多个缺陷检测模型，每个缺陷检测模型分布对元器件图像进行缺陷检测，得到元器件图像的缺陷检测结果。
例如，如图3所示，假设用3个光源对同一个待检测元器件进行拍摄，得到该待检测元器件的3个元器件图像。预设缺陷检测系统可以包括3个缺陷检测模型，每个元器件图像都可以通过对应的缺陷检测模型进行缺陷检测。
其中，缺陷检测模型可以包括深度学习或者机器学习等的人工智能模型。
其中，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
其中，机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
例如，该缺陷检测模型可以是卷积神经网络(Convolutional Neural Networks,CNN)、反卷积神经网络(De-Convolutional Networks,DN)、深度神经网络(Deep NeuralNetworks，DNN)、深度卷积逆向图网络(Deep Convolutional Inverse GraphicsNetworks,DCIGN)、基于区域的卷积网络(Region-based Convolutional Networks，RCNN)、基于区域的快速卷积网络(Faster Region-based Convolutional Networks，FasterRCNN)和双向编解码(Bidirectional Encoder Representations from Transformers，BERT)模型等等中的至少一种。
在一实施例中，缺陷检测模型可以包括多个信息提取深度不同的信息提取模块。
其中，信息提取模块可以用于对元器件图像进行信息提取。例如，信息提取模块可以对元器件图像进行特征提取，得到元器件图像的特征信息。又例如，信息提取模块可以对元器件图像的特征信息进行注意力提取，得到待检测元器件的注意力信息。
在一实施例中，信息提取模块中可以包括至少一个特征提取层和注意力机制。
其中，特征提取层可以用于对元器件图像进行特征提取，得到元器件图像的特征信息。
其中，注意力机制可以用于对特征信息进行注意力提取，得到待检测元器件的注意力信息。
在一实施例中，特征提取层可以是一个小型的神经网络结构。例如，该特征提取层可以是小型的CNN网络，等等。
在一实施例中，信息提取模块的组成结构不同，会导致不同的信息提取模块的信息提取深度不同。
例如，每个信息提取模块可以包括特征提取层和注意力机制。其中，不同的信息提取模块所包括的特征提取层和注意力机制的数量会不同，从而导致不同的信息提取模块之间的信息提取深度不同。
例如，若信息提取模块包括的特征提取层和注意力机制的数量会比较多，则该信息提取模块的信息提取深度会比较深。若信息提取模块包括的特征提取层和注意力机制的数量比较少，则该信息提取模块的信息提取深度则比较浅。
例如，如图3所示，图3中的001和002可以是信息提取模块的示意例。通过图3可以看出，由于信息提取模块002中特征提取层和注意力机制的数量比信息提取模块001多，所以信息提取模块002的信息提取深度比信息提取模块001要深。
在一实施例中，缺陷检测系统中包含的多个缺陷检测模型之间可以用于一样的网络结构和参数量。
例如，多个缺陷检测模型之间拥有的数量相同的信息提取模块。且多个缺陷检测模型之间的信息提取模块的参数量相同。
在一实施例中，多个缺陷检测模型之间的参数值可以不同，从而使得每个缺陷检测模型可以针对性地对某个光源下的元器件图像进行缺陷检测，提高检测的准确性。
因此，在利用预设缺陷检测系统对每个元器件图像进行特征提取时，可以首先确定每个元器件图像对应的目标缺陷检测模型，然后，再利用目标缺陷检测模型中当前信息提取模块的特征提取层对元器件图像进行特征提取，得到元器件图像的特征信息。
具体的，步骤“通过预设缺陷检测系统对每个元器件图像进行特征提取，得到不同拍摄光源下的元器件图像对应的特征信息”，包括：
将每个元器件图像分配给多个缺陷检测模型中对应的目标缺陷检测模型；
利用目标缺陷检测模型中当前信息提取模块的特征提取层对元器件图像进行特征提取，得到元器件图像的特征信息。
在一实施例中，每个元器件图像可以携带光源标识，以使得缺陷检测模型可以识别出元器件图像是否是属于自身处理的图像。因此，可以基于每个元器件图像的光源标识，将元器件图像分配给对应的目标缺陷检测模型。
在一实施例中，在确定了每个元器件对应的目标缺陷检测模型之后，可以利用目标缺陷检测模型中当前信息提取模块的特征提取层对元器件图像进行特征提取，得到元器件图像的特征信息。
例如，待检测元器件在3个不同的拍摄光源下拍摄得到元器件图像a、元器件图像b和元器件c。预设缺陷检测系统包括缺陷检测模型A、缺陷检测模型B和缺陷检测模型C。
通过元器件图像的光源将元器件图像a分配给缺陷检测模型A。其中，缺陷检测模型A包括3个信息提取模块。
然后，可以利用缺陷检测模型A中信息提取模块中的特征提取层对元器件图像a进行特征提取。
例如，当首先利用缺陷检测模型A中第一个信息提取模块对元器件图像a进行特征提取时，该第一个信息提取模块为当前信息提取模块。
当利用缺陷检测模型A中第二个信息提取模块对元器件图像a进行特征提取时，该第二个信息提取模块为当前信息提取模块。
例如，假设有3个拍摄光源，该3个拍摄光源可以表示为i∈[0,1,2]。然后，通过该3个拍摄光源拍摄得到的3个元器件图像，该3个元器件图像可以表示为xi,i∈[0,1,2]。
然后，可以使用三组具有相同层数以及参数量的CNN结构分别对3个元器件图像进行特征处理，可以由浅到深分别得到T组对应的特征三元组，这个过程可以表示为：
Figure BDA0003639183860000111
其中，T可以表示一个CNN结构中的总层数。t可以表示一个CNN结构中的第t层。θi可以表示第i个CNN结构对应的结构参数。
Figure BDA0003639183860000121
可以表示第i个CNN结构中的第t层对第i个元器件图像进行特征提取得到的特征信息。
在一实施例中，除了通过上述方式对元器件图像进行特征提取，还可以利用其他的方式对元器件图像进行特征提取。具体的，步骤“对每个元器件图像进行特征提取，得到不同拍摄光源下的元器件图像对应的特征信息”，可以包括：
获取信息提取窗口，其中，信息提取窗口包括移动步长和运算参数；
利用信息提取窗口按照移动步长提取元器件图像的图像信息；
将图像信息和运算参数进行卷积运算，得到元器件图像对应的特征信息。
其中，信息提取窗口用于提取元器件图像中的图像信息。例如，该信息提取窗口可以是3×3大小的窗口。当利用3×3大小的窗口提取元器件图像中的图像信息时，每次可以提取到3×3大小的图像信息。
其中，图像的图像信息可以包括图像的像素值。
其中，移动步长可以指信息提取窗口在提取元器件图像的图像信息时，每次移动的距离。
在一实施例中，由于元器件图像的尺寸一般大于信息提取窗口，所以，信息提取窗口可以按照移动步长进行移动，从而将元器件图像中的图像信息都提取到。
在一实施例中，当信息提取窗口提取到元器件图像的图像信息之后，可以将元器件图像的图像信息和运算参数进行卷积运算，得到元器件图像对应的特征信息。
例如，3×3大小的信息提取窗口中可以包括9个运算参数。当信息提取窗口提取出3×3大小的图像信息时，该图像信息可以包括9个像素值。然后，可以将该9个像素值和该9个运算参数进行卷积运算，得到运算后的信息。然后，可以将运算后的信息进行整合，得到元器件图像对应的特征信息。
103、对每个元器件图像对应的特征信息进行注意力提取，得到待检测元器件在不同拍摄光源下对应的注意力信息。
在一实施例中，本申请实施例是针对待检测元器件的多个元器件图像检测待检测元器件是否是具有缺陷的元器件。其中，该多个元器件图像的区别点是待检测元器件在不同拍摄光源下拍摄得到图像。但是，元器件图像之间的关联是十分大的，若直接基于元器件图像的特征信息判断待检测元器件是否是具有缺陷的元器件，可能会无法关注到元器件图像之间的关联性，从而降低了对元器件图像进行检测的准确度。
因此，为了提高对对元器件图像进行检测的准确度，在得到不同拍摄光源下的元器件图像的特征信息之后，可以对每个元器件图像对应的特征信息进行注意力提取，得到待检测元器件在不同拍摄光源下对应的注意力信息。
在一实施例中，可以利用本申请提出的缺陷检测系统对元器件图像对应的特征信息进行注意力提取，得到注意力信息。具体的，步骤“对每个元器件图像对应的特征信息进行注意力提取，得到待检测元器件在不同拍摄光源下对应的注意力信息”，可以包括：
通过预设缺陷检测系统对每个元器件图像对应的特征信息进行注意力提取，得到待检测元器件在不同拍摄光源下对应的注意力信息。
在一实施例中，更具体的，可以利用预设缺陷检测系统中的缺陷检测模型对元器件图像的特征信息进行注意力提取，得到元器件图像的注意力信息。
具体的，步骤“通过预设缺陷检测系统对每个元器件图像对应的特征信息进行注意力提取，得到待检测元器件在不同拍摄光源下对应的注意力信息”，可以包括：
通过目标缺陷检测模型中当前信息提取模块的注意力机制对元器件图像进行注意力提取，得到元器件图像的注意力信息。
例如，待检测元器件在3个不同的拍摄光源下拍摄得到元器件图像a、元器件图像b和元器件c。预设缺陷检测系统包括缺陷检测模型A、缺陷检测模型B和缺陷检测模型C。
通过元器件图像的光源将元器件图像a分配给缺陷检测模型A。其中，缺陷检测模型A包括3个信息提取模块。
然后，可以利用缺陷检测模型A中信息提取模块中的特征提取层对元器件图像a进行特征提取。
例如，可以首先利用缺陷检测模型A中第一个信息提取模块中的特征提取层对元器件图像a进行特征提取，得到元器件图像a对应的特征信息。然后，可以利用该第一信息提取模块中的注意力机制对元器件图像a的特征信息进行注意力提取，得到元器件图像a的注意力信息，此时，该第一信息提取模块为当前信息提取模块。
例如，可以利用大小为H*W的池化操作将3个元器件图像的特征信息降维到1*1*C的大小，分别表示为
Figure BDA0003639183860000141
和
Figure BDA0003639183860000142
然后，可以利用具有注意力机制的小型神经网络f1(·)、f2(·)和f3(·)分别对
Figure BDA0003639183860000143
和
Figure BDA0003639183860000144
注意力提取，得到每个元器件图像的特征信息对应的注意力信息。具体的，如下所示：
Figure BDA0003639183860000145
Figure BDA0003639183860000146
Figure BDA0003639183860000147
其中，
Figure BDA0003639183860000148
和
Figure BDA0003639183860000149
可以分别表示每个具有注意力机制的小型神经网络的可训练参数。
Figure BDA00036391838600001410
和
Figure BDA00036391838600001411
可以表示注意力信息。其中，若注意力信息越大，可以说明注意力图像对应的通道的特征的重要程度。
在一实施例中，除了通过上述方式对元器件图像的特征信息进行注意力提取，还可以通过其他的方式对元器件图像的特征信息进行注意力提取，得到注意力信息。具体的，步骤“对每个元器件图像对应的特征信息进行注意力提取，得到待检测元器件在不同拍摄光源下对应的注意力信息”，可以包括：
对元器件图像的特征信息进行池化操作，得到池化后特征信息；
对所述池化后特征信息进行特征定位，得到定位后特征信息；
对所述定位后特征信息进行逻辑回归，得到所述注意力信息。
池化(Pooling)是卷积神经网络中的一个重要的概念，它实际上是一种形式的降采样。有多种不同形式的非线性池化函数，而其中“最大池化(Max pooling)”是最为常见的。它是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。除了最大池化之外，池化层也可以使用其他池化函数，例如“平均池化”甚至“L2-范数池化”等。
在一实施例中，可以根据特征信息的信息维度设置预设池化函数的参数维度，具体的，步骤“对元器件图像的特征信息进行池化操作，得到池化后特征信息”，可以包括：
识别特征信息的信息维度；
根据信息维度，设置预设池化函数的参数维度，得到目标池化函数，其中，参数维度和信息维度相匹配；
利用目标池化函数对元器件图像的特征信息进行池化操作，得到池化后特征信息。
其中，特征信息的信息维度可以为H*W*C。其中，H和W可以表示特征信息的维度，C可以表示通道数量。
在一实施例中，可以根据信息维度，设置预设池化函数的参数维度，得到目标池化函数，其中，参数维度和信息维度相匹配。
例如，特征信息的信息维度可以为H*W*C，则可以令预设池化函数的参数维度为H*W，得到目标池化函数。
其中，预设池化函数可以是放大池化函数或平均池化函数，等等。
然后，可以利用目标池化函数对元器件图像的特征信息进行池化操作，得到池化后特征信息。
例如，可以利用大小为H*W的池化操作将3个元器件图像的特征信息降维到1*1*C的大小。
在一实施例中，可以对池化后特征信息进行特征定位，得到定位后特征信息。其中，对池化后特征进行特征定位，可以指关注池化后特征中的重点信息。例如，可以利用三角函数对池化后特征进行定位，得到定位后特征信息。
在一实施例中，在得到定位后特征信息之后，可以对定位后特征信息进行逻辑回归，得到注意力信息。例如，可以利用逻辑回归函数对定位后特征信息进行逻辑回归，得到注意力信息。例如，可以利用softmax函数等对定位后特征信息进行逻辑回归，得到注意力信息。
104、将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息，其中，第一元器件图像为多个元器件图像中的任意一个图像，第二元器件图像为多个元器件图像中除了第一元器件图像以外的图像。
例如，假设有3个拍摄光源，该3个拍摄光源可以表示为i∈[0,1,2]。然后，通过该3个拍摄光源拍摄得到的3个元器件图像，该3个元器件图像可以表示为xi,i∈[0,1,2]。
例如，第一元器件图像可以是3个元器件图像中的任意一个。
譬如，当第一元器件图像是元器件图像x1时，第二元器件图像可以是元器件图像x2和元器件图像x3。
又譬如，第一元器件图像是元器件图像x2时，第二元器件图像可以是元器件图像x1和元器件图像x3。
在一实施例中，有多种方式可以将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息。
例如，可以将第一元器件图像的特征信息和第二元器件图像的注意力信息进行线性融合。具体的，步骤“将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息，其中，第一元器件图像为多个元器件图像中的任意一个图像，第二元器件图像为多个元器件图像中除了第一元器件图像以外的图像”，可以包括：
将除了第一元器件图像以外的图像对应的注意力信息分别和第一元器件图像对应的特征信息进行相乘，得到多个相乘后特征信息；
将每个相乘后特征信息进行相加，得到第一元器件图像对应的特征信息。
例如，可以将元器件图像x1对应的特征信息分别与元器件图像x2以及元器件图像x3的注意力信息进行相乘，得到多个相乘后特征信息。然后，将每个相乘后特征信息进行相加，得到元器件图像x1对应的融合后特征信息。具体的，元器件图像x1对应的融合后特征信息可以表示如下：
Figure BDA0003639183860000161
其中，
Figure BDA0003639183860000162
可以表示元器件图像x1对应的特征信息。
Figure BDA0003639183860000163
可以表示元器件图像x2的注意力信息。
Figure BDA0003639183860000164
可以表示元器件图像x3的注意力信息。
例如，可以将元器件图像x2对应的特征信息分别与元器件图像x1以及元器件图像x3的注意力信息进行相乘，得到多个相乘后特征信息。然后，将每个相乘后特征信息进行相加，得到元器件图像x2对应的融合后特征信息。具体的，元器件图像x2对应的融合后特征信息可以表示如下：
Figure BDA0003639183860000171
其中，
Figure BDA0003639183860000172
可以表示元器件图像x2对应的特征信息。
Figure BDA0003639183860000173
可以表示元器件图像x1的注意力信息。
同理，可以得到元器件图像x3对应的融合后特征信息。
又例如，可以利用双线性融合方式将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息。其中，双线性融合方式的原理可以如下所示：
F′＝F*W*A
其中，F可以表示第一元器件图像对应的特征信息，A可以表示第二元器件图像的注意力信息，W可以是一个三维张量，F′可以表示融合后特征信息。
在一实施例中，为了提高对元器件图像进行缺陷检测的准确度，在对元器件图像进行特征提取时，可以对元器件图像在多个不同信息深度下进行多次特征提取，得到多个不同信息深度的特征信息。类似的，可以对元器件图像的特征信息在多个不同的信息深度下进行多次特征提取，得到多个不同信息深度的注意力信息。
因此，每个元器件图像对应的特征信息包括多个不同信息深度的特征信息。每个元器件图像对应的注意力信息包括多个不同信息深度的注意力信息。
在一实施例中，在将第一元器件图像的特征信息和第二元器件图像的注意力信息进行交叉融合时，可以将在同一信息深度下的第一元器件图像的特征信息以及第二元器件图像的注意力信息进行交叉融合。
具体的，步骤“将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息”，可以包括：
将第一元器件图像和所述第二元器件图像在同一信息深度下对应的特征信息，以及第二元器件图像和第一元期间图像在同一信息深度下对应的注意力信息进行交叉融合，得到第一元器件图像在多个不同信息深度下的融合后特征信息。
例如，元器件图像x1在三个不同信息深度下的特征信息分别是
Figure BDA0003639183860000181
和
Figure BDA0003639183860000182
其中，特征信息
Figure BDA0003639183860000183
对应的注意力信息是
Figure BDA0003639183860000184
特征信息
Figure BDA0003639183860000185
对应的注意力信息是
Figure BDA0003639183860000186
特征信息
Figure BDA0003639183860000187
对应的注意力信息是
Figure BDA0003639183860000188
例如，元器件图像x2在三个不同信息深度下的特征信息分别是
Figure BDA0003639183860000189
和
Figure BDA00036391838600001810
其中，特征信息
Figure BDA00036391838600001811
对应的注意力信息是
Figure BDA00036391838600001812
特征信息
Figure BDA00036391838600001813
对应的注意力信息是
Figure BDA00036391838600001814
特征信息
Figure BDA00036391838600001815
对应的注意力信息是
Figure BDA00036391838600001816
例如，元器件图像x3在三个不同信息深度下的特征信息分别是
Figure BDA00036391838600001817
和
Figure BDA00036391838600001818
其中，特征信息
Figure BDA00036391838600001819
对应的注意力信息是
Figure BDA00036391838600001820
特征信息
Figure BDA00036391838600001821
对应的注意力信息是
Figure BDA00036391838600001822
特征信息
Figure BDA00036391838600001823
对应的注意力信息是
Figure BDA00036391838600001824
其中，不同的元器件图像在同一个信息深度下的特征信息是
Figure BDA00036391838600001825
和
Figure BDA00036391838600001826
特征信息对应的注意力信息是
Figure BDA00036391838600001827
和
Figure BDA00036391838600001828
因此，可以将
Figure BDA00036391838600001829
和
Figure BDA00036391838600001830
以及
Figure BDA00036391838600001831
进行交叉融合，得到元器件图像x1在该信息深度下的融合后特征信息。同理，可以将
Figure BDA00036391838600001832
和
Figure BDA00036391838600001833
以及
Figure BDA00036391838600001834
进行交叉融合，得到元器件图像x2在该信息深度下的融合后特征信息。
又例如，不同的元器件图像在同一个信息深度下的特征信息是
Figure BDA00036391838600001835
和
Figure BDA00036391838600001836
特征信息对应的注意力信息是
Figure BDA00036391838600001837
和
Figure BDA00036391838600001838
因此，可以将
Figure BDA00036391838600001839
和
Figure BDA00036391838600001840
以及
Figure BDA00036391838600001841
进行交叉融合，得到元器件图像x1在该信息深度下的融合后特征信息。同理，可以将
Figure BDA00036391838600001842
和
Figure BDA00036391838600001843
以及
Figure BDA00036391838600001844
进行交叉融合，得到元器件图像x2在该信息深度下的融合后特征信息。
在一实施例中，还可以利用预设缺陷检测系统将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息。具体的，步骤“将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息”，可以包括：
通过预设缺陷检测系统将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息。
更具体的，可以将预设缺陷检测系统中当前信息提取模块生成的第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息。
具体的，步骤“通过预设缺陷检测系统将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息”，可以包括：
将预设缺陷检测系统中当前信息提取模块生成的第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息。
在一实施例中，在得到每个元器件图像在当前信息提取模块中的融合后特征信息之后，还可以将元器件图像的融合后特征信息传递到和当前信息提取模块关联的关联信息提取模块中。然后，利用该关联信息提取模块对融合后特征信息继续进行信息提取，直至缺陷检测模型中的信息提取模块都对融合后特征信息进行了信息提取。
例如，如图3所示，当前的信息提模块001生成元器件图像的融合后特征信息之后，可以将该融合后特征信息传递给信息提取模块002。然后，信息提取模块002会对融合后特征信息进行特征提取、注意力提取和交叉融合等操作，得到元器件图像在信息提取模块002中的融合后特征信息。然后，信息提取模块002再将生成的融合后特征信息传递给下一个信息提取模块。通过不断地传递，使得缺陷检测系统可以从局部光源(单光源)和全局光源(多光源)对待检测元器件进行综合判定，从而提高对待检测元器件进行缺陷检测的准确性和鲁棒性。
本申请实施例通过对同一个元器件采集多个光源下的元器件图片作为算法输入，更好的对轻微缺陷进行成像捕捉，并针对性的设计了一种基于注意力机制的多光源输入的深度特征融合算法，能够对轻微缺陷的元器件的图像进行检测，克服了元器件图像缺陷检出率低的问题。
105、基于每个元器件图像对应的融合后特征信息对待检测元器件进行缺陷检测，得到工业元器件的缺陷检测结果。
在一实施例中，可以基于每个元器件图像对应的融合后特征信息对待检测元器件进行缺陷检测，得到工业元器件的缺陷检测结果。具体的，步骤“基于每个元器件图像对应的融合后特征信息对待检测元器件进行缺陷检测，得到所述工业元器件的缺陷检测结果”，可以包括：
对每个元器件图像对应的融合后特征信息进行分布识别，得到每个元器件图像对应的分布概率；
将每个元器件图像对应的分布概率进行整合，得到整合后分布概率；
将整合后分布概率和预设分布概率条件进行对比，得到工业元器件的缺陷检测结果。
在一实施例中，可以对每个元器件图像对应的融合后特征信息进行分布识别，得到每个元器件图像对应的分布概率。例如，可以利用概率计算的方式计算出融合后特征信息对应的分布概率。又例如，可以利用将融合后特征信息映射到预设概率空间中，并在该预设概率空间中确定融合后特征对应的分布概率。
然后，可以将每个元器件图像进行整合，得到整合后分布概率。例如，可以求多个元器件图像对应的分布概率的平均值。又例如，可以去多个元器件图像的分布概率中的最大值，等等。
然后，可以将整合后分布概率和预设分布概率条件进行对比，得到工业元器件的缺陷检测结果。
其中，预设分布概率条件可以用于判断待检测元器件是否是存在缺陷的元器件。例如，该分布概率条件可以是缺陷置信度。譬如，当整合后分布概率大于或等于预设分布概率条件时，说明待检测元器件存在缺陷。而当整合后分布概率小于预设分布概率条件时，说明待检测元器件不存在缺陷。
本申请实施例提出了一种缺陷检测方法，该缺陷检测方法包括：获取待检测元器件的多个元器件图像，其中，一个元器件图像对应一种拍摄光源；对每个元器件图像进行特征提取，得到不同拍摄光源下的元器件图像对应的特征信息；对每个元器件图像对应的特征信息进行注意力提取，得到待检测元器件在不同拍摄光源下对应的注意力信息；将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息，其中，第一元器件图像为多个元器件图像中的任意一个图像，第二元器件图像为多个元器件图像中除了第一元器件图像以外的图像；基于每个元器件图像对应的融合后特征信息对待检测元器件进行缺陷检测，得到工业元器件的缺陷检测结果。通过本申请实施例，可以在特征层面对不同拍摄光源下的元器件图像进行深度融合，融合之后的特征能够汇总各个拍摄光源下的元器件图像的特征并对待检测元器件进行综合判定。通过本申请实施例，可以从局部光源(单光源)和全局光源(多光源)对待检测元器件进行综合判定，从而提高对待检测元器件进行缺陷检测的准确性和鲁棒性。
根据上面实施例所描述的方法，以下将举例作进一步详细说明。
本申请实施例将以缺陷检测方法集成在计算机设备上为例来介绍本申请实施例方法。
在一实施例中，如图4所示，一种缺陷检测方法，具体流程如下：
201、计算机设备获取待检测元器件的多个元器件图像，其中，一个元器件图像对应一种拍摄光源。
例如，假设有3个拍摄光源，该3个拍摄光源可以表示为i∈[0,1,2]。然后，通过该3个拍摄光源拍摄得到的3个元器件图像，该3个元器件图像可以表示为xi,i∈[0,1,2]。
202、计算机设备对每个元器件图像进行特征提取，得到不同拍摄光源下的元器件图像对应的特征信息。
例如，可以使用三组具有相同层数以及参数量的CNN结构分别对3个元器件图像进行特征处理，可以由浅到深分别得到T组对应的特征三元组，这个过程可以表示为：
Figure BDA0003639183860000211
其中，T可以表示一个CNN结构中的总层数。t可以表示一个CNN结构中的第t层。θi可以表示第i个CNN结构对应的结构参数。
Figure BDA0003639183860000212
可以表示第i个CNN结构中的第t层对第i个元器件图像进行特征提取得到的特征信息。
203、计算机设备对每个元器件图像对应的特征信息进行注意力提取，得到待检测元器件在不同拍摄光源下对应的注意力信息。
例如，假设3个元器件图像的特征信息可以分别表示为
Figure BDA0003639183860000213
和
Figure BDA0003639183860000214
其中，3个元器件图像的特征信息的大小均为H*W*C。其中，H和W可以表示特征信息的维度，C可以表示通道数量。
然后，如图5所示，可以利用大小为H*W的池化操作将3个元器件图像的特征信息降维到1*1*C的大小，分别表示为
Figure BDA0003639183860000221
和
Figure BDA0003639183860000222
然后，如图5所示，可以利用具有注意力机制的小型神经网络f1(·)、f2(·)和f3(·)分别对
Figure BDA0003639183860000223
和
Figure BDA0003639183860000224
注意力提取，得到每个元器件图像的特征信息对应的注意力信息。具体的，如下所示：
Figure BDA0003639183860000225
Figure BDA0003639183860000226
Figure BDA0003639183860000227
其中，
Figure BDA0003639183860000228
和
Figure BDA0003639183860000229
可以分别表示每个具有注意力机制的小型神经网络的可训练参数。
Figure BDA00036391838600002210
和
Figure BDA00036391838600002211
可以表示注意力信息。其中，若注意力信息越大，可以说明注意力图像对应的通道的特征的重要程度。
204、计算机设备将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息，其中，第一元器件图像为多个元器件图像中的任意一个图像，第二元器件图像为多个元器件图像中除了第一元器件图像以外的图像。
例如，可以将第一个元器件图像对应的特征信息分别与第二个元器件图像以及第三个元器件图像的注意力信息进行交叉融合，得到第一个元器件图像对应的融合后特征信息。具体的，第一个元器件图像对应的融合后特征信息可以表示如下：
Figure BDA00036391838600002212
又例如，如图5所示，可以将第二个元器件图像对应的特征信息分别与第一个元器件图像以及第三个元器件图像的注意力信息进行交叉融合，得到第二个元器件图像对应的融合后特征信息。具体的，第二个元器件图像对应的融合后特征信息可以表示如下：
Figure BDA0003639183860000231
同理，可以得到第三个元器件图像对应的融合后特征信息。
然后，可以将融合后特征信息输入到下一个信息提取模块中进行再次的信息提取，直至最后一个信息提取模块输出融合后特征信息。
205、计算机设备基于每个元器件图像对应的融合后特征信息对所述待检测元器件进行缺陷检测，得到所述工业元器件的缺陷检测结果。
例如，三个CNN结构分别输出对于缺陷类别的概率判断p1、p2和p3，最终综合三者得到最后的输出结果：
p＝(p1+p2+p3)/3
然后，可以根据p判断待检测元器件是否存在缺陷。
在一实施例中，在对缺陷检测模型的训练阶段的损失函数使用监督损失来衡量输出概率值p和人工标签值y的差异，这里一般使用交叉熵函数进行计算：
L＝-[y*logp+(1-y)*log(1-p)]
最终L会对缺陷检测模型进行梯度反传更新参数。训练结束之后，得到的缺陷检测模型的权重。在测试阶段，则只需要训练好的缺陷检测模型的权重即可，输入单张图片，输出其对应的缺陷的置信度，最后使用阈值判断输出当前图像是否是缺陷图像的判断结果。
本申请实施例中，计算机设备获取待检测元器件的多个元器件图像，其中，一个元器件图像对应一种拍摄光源；计算机设备对每个元器件图像进行特征提取，得到不同拍摄光源下的元器件图像对应的特征信息；计算机设备对每个元器件图像对应的特征信息进行注意力提取，得到待检测元器件在不同拍摄光源下对应的注意力信息；计算机设备将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息，其中，所述第一元器件图像为所述多个元器件图像中的任意一个图像，所述第二元器件图像为所述多个元器件图像中除了所述第一元器件图像以外的图像；计算机设备基于每个元器件图像对应的融合后特征信息对所述待检测元器件进行缺陷检测，得到所述工业元器件的缺陷检测结果。通过本申请实施例，可以在特征层面对不同拍摄光源下的元器件图像进行深度融合，融合之后的特征能够汇总各个拍摄光源下的元器件图像的特征并对待检测元器件进行综合判定。通过本申请实施例，可以从局部光源(单光源)和全局光源(多光源)对待检测元器件进行综合判定，从而提高对待检测元器件进行缺陷检测的准确性和鲁棒性。
为了更好地实施本申请实施例提供的缺陷检测方法，在一实施例中还提供了一种缺陷检测装置，该缺陷检测装置可以集成于计算机设备中。其中名词的含义与上述缺陷检测方法中相同，具体实现细节可以参考方法实施例中的说明。
在一实施例中，提供了一种缺陷检测装置，该缺陷检测装置具体可以集成在计算机设备中，如图6所示，该缺陷检测装置包括：获取单元301、特征提取单元302、注意力提取单元303、交叉融合单元304和缺陷检测单元305，具体如下：
获取单元301，用于获取待检测元器件的多个元器件图像，其中，一个元器件图像对应一种拍摄光源；
特征提取单元302，用于对每个元器件图像进行特征提取，得到不同拍摄光源下的元器件图像对应的特征信息；
注意力提取单元303，用于对每个元器件图像对应的特征信息进行注意力提取，得到待检测元器件在不同拍摄光源下对应的注意力信息；
交叉融合单元304，用于将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息，其中，所述第一元器件图像为所述多个元器件图像中的任意一个图像，所述第二元器件图像为所述多个元器件图像中除了所述第一元器件图像以外的图像；
缺陷检测单元305，用于基于每个元器件图像对应的融合后特征信息对所述待检测元器件进行缺陷检测，得到所述工业元器件的缺陷检测结果。
在一实施例中，所述交叉融合单元304，可以包括：
第一交叉融合子单元，用于将所述第一元器件图像和所述第二元器件图像在同一信息深度下对应的特征信息，以及所述第二元器件图像和所述第一元期间图像在同一信息深度下对应的注意力信息进行交叉融合，得到所述第一元器件图像在多个不同信息深度下的融合后特征信息。
在一实施例中，所述交叉融合单元304，可以包括：
相乘子单元，用于将除了所述第一元器件图像以外的图像对应的注意力信息分别和所述第一元器件图像对应的特征信息进行相乘，得到多个相乘后特征信息；
相加子单元，用于将每个相乘后特征信息进行相加，得到所述第一元器件图像对应的特征信息。
在一实施例中，所述特征提取单元302，可以包括：
窗口获取子单元，用于获取信息提取窗口，其中，所述信息提取窗口包括移动步长和运算参数；
提取子单元，用于利用所述信息提取窗口按照所述移动步长提取所述元器件图像的图像信息；
卷积子单元，用于将所述图像信息和所述运算参数进行卷积运算，得到所述元器件图像对应的特征信息。
在一实施例中，所述注意力提取单元303，可以包括：
池化子单元，用于对元器件图像的特征信息进行池化操作，得到池化后特征信息；
特定定位子单元，用于对所述池化后特征信息进行特征定位，得到定位后特征信息；
逻辑回归子单元，用于对所述定位后特征信息进行逻辑回归，得到所述注意力信息。
在一实施例中，所述池化子单元，可以包括：
识别模块，用于识别所述特征信息的信息维度；
设置模块，用于根据所述信息维度，设置预设池化函数的参数维度，得到目标池化函数，其中，所述参数维度和所述信息维度相匹配；
池化模块，用于利用所述目标池化函数对所述元器件图像的特征信息进行池化操作，得到池化后特征信息。
在一实施例中，所述缺陷检测单元305，可以包括：
分布识别子单元，用于对每个元器件图像对应的融合后特征信息进行分布识别，得到每个元器件图像对应的分布概率；
整合子单元，用于将每个元器件图像对应的分布概率进行整合，得到整合后分布概率；
对比单元，用于将所述整合后分布概率和预设分布概率条件进行对比，得到所述工业元器件的缺陷检测结果。
在一实施例中，所述特征提取单元302，可以包括：
特征提取子单元，用于通过预设缺陷检测系统对每个元器件图像进行特征提取，得到不同拍摄光源下的元器件图像对应的特征信息。
在一实施例中，所述注意力提取单元303，可以包括：
注意力提取子单元，用于通过所述预设缺陷检测系统对每个元器件图像对应的特征信息进行注意力提取，得到待检测元器件在不同拍摄光源下对应的注意力信息。
在一实施例中，所述交叉融合单元304，可以包括：
第二交叉融合子单元，用于通过所述预设缺陷检测系统将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息。
在一实施例中，所述特征提取子单元，可以包括：
分配模块，用于将每个元器件图像分配给所述多个缺陷检测模型中对应的目标缺陷检测模型；
特征提取模块，用于利用所述目标缺陷检测模型中当前信息提取模块的特征提取层对元器件图像进行特征提取，得到元器件图像的特征信息；
在一实施例中，所述注意力提取子单元，可以包括：
注意力提取模块，用于通过所述目标缺陷检测模型中当前信息提取模块的注意力机制对元器件图像进行注意力提取，得到元器件图像的注意力信息。
在一实施例中，所述第二交叉融合子单元，可以包括：
交叉融合模块，用于将所述预设缺陷检测系统中当前信息提取模块生成的第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息。
在一实施例中，所述第二交叉融合子单元，还可以包括：
传递模块，用于将所述元器件图像的融合后特征信息传递到和所述当前信息提取模块关联的关联信息提取模块；
信息提取模块，用于通过所述关联信息提取模块对所述融合后特征信息进行信息提取。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
通过上述的缺陷检测装置可以提高对元器件进行缺陷检测的准确度。
本申请实施例还提供一种计算机设备，该计算机设备可以包括终端或服务器，比如，计算机设备可以作为缺陷检测终端，该终端可以为手机、平板电脑等等；又比如计算机设备可以为服务器，如缺陷检测服务器等。如图7所示，其示出了本申请实施例所涉及的终端的结构示意图，具体来讲：
该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图7中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行计算机设备的各种功能和处理数据。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户页面和应用程序等，调制解调处理器主要处理无线通讯。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
计算机设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该计算机设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
获取待检测元器件的多个元器件图像，其中，一个元器件图像对应一种拍摄光源；
对每个元器件图像进行特征提取，得到不同拍摄光源下的元器件图像对应的特征信息；
对每个元器件图像对应的特征信息进行注意力提取，得到待检测元器件在不同拍摄光源下对应的注意力信息；
将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息，其中，所述第一元器件图像为所述多个元器件图像中的任意一个图像，所述第二元器件图像为所述多个元器件图像中除了所述第一元器件图像以外的图像；
基于每个元器件图像对应的融合后特征信息对所述待检测元器件进行缺陷检测，得到所述工业元器件的缺陷检测结果。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中各种可选实现方式中提供的方法。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成，或通过计算机程序控制相关的硬件来完成，该计算机程序可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例还提供一种存储介质，其中存储有计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种缺陷检测方法中的步骤。例如，该计算机程序可以执行如下步骤：
获取待检测元器件的多个元器件图像，其中，一个元器件图像对应一种拍摄光源；
对每个元器件图像进行特征提取，得到不同拍摄光源下的元器件图像对应的特征信息；
对每个元器件图像对应的特征信息进行注意力提取，得到待检测元器件在不同拍摄光源下对应的注意力信息；
将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息，其中，所述第一元器件图像为所述多个元器件图像中的任意一个图像，所述第二元器件图像为所述多个元器件图像中除了所述第一元器件图像以外的图像；
基于每个元器件图像对应的融合后特征信息对所述待检测元器件进行缺陷检测，得到所述工业元器件的缺陷检测结果。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种缺陷检测方法中的步骤，因此，可以实现本申请实施例所提供的任一种缺陷检测方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种缺陷检测方法、装置、计算机设备和存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种缺陷检测方法，其特征在于，包括：
获取待检测元器件的多个元器件图像，其中，一个元器件图像对应一种拍摄光源；
对每个元器件图像进行特征提取，得到不同拍摄光源下的元器件图像对应的特征信息；
对每个元器件图像对应的特征信息进行注意力提取，得到待检测元器件在不同拍摄光源下对应的注意力信息；
将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息，其中，所述第一元器件图像为所述多个元器件图像中的任意一个图像，所述第二元器件图像为所述多个元器件图像中除了所述第一元器件图像以外的图像；
基于每个元器件图像对应的融合后特征信息对所述待检测元器件进行缺陷检测，得到所述工业元器件的缺陷检测结果。
2.根据权利要求1所述的方法，其特征在于，所述每个元器件图像对应的特征信息包括多个不同信息深度的特征信息；所述每个元器件图像对应的注意力信息包括多个不同信息深度的注意力信息；
所述将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息，包括：
将所述第一元器件图像和所述第二元器件图像在同一信息深度下对应的特征信息，以及所述第二元器件图像和所述第一元期间图像在同一信息深度下对应的注意力信息进行交叉融合，得到所述第一元器件图像在多个不同信息深度下的融合后特征信息。
3.根据权利要求1所述的方法，其特征在于，所述将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息，其中，所述第一元器件图像为所述多个元器件图像中的任意一个图像，所述第二元器件图像为所述多个元器件图像中除了所述第一元器件图像以外的图像，包括：
将除了所述第一元器件图像以外的图像对应的注意力信息分别和所述第一元器件图像对应的特征信息进行相乘，得到多个相乘后特征信息；
将每个相乘后特征信息进行相加，得到所述第一元器件图像对应的特征信息。
4.根据权利要求1所述的方法，其特征在于，所述对每个元器件图像进行特征提取，得到不同拍摄光源下的元器件图像对应的特征信息，包括：
获取信息提取窗口，其中，所述信息提取窗口包括移动步长和运算参数；
利用所述信息提取窗口按照所述移动步长提取所述元器件图像的图像信息；
将所述图像信息和所述运算参数进行卷积运算，得到所述元器件图像对应的特征信息。
5.根据权利要求1所述的方法，其特征在于，所述对每个元器件图像对应的特征信息进行注意力提取，得到待检测元器件在不同拍摄光源下对应的注意力信息，包括：
对元器件图像的特征信息进行池化操作，得到池化后特征信息；
对所述池化后特征信息进行特征定位，得到定位后特征信息；
对所述定位后特征信息进行逻辑回归，得到所述注意力信息。
6.根据权利要求5所述的方法，其特征在于，所述对元器件图像的特征信息进行池化操作，得到池化后特征信息，包括：
识别所述特征信息的信息维度；
根据所述信息维度，设置预设池化函数的参数维度，得到目标池化函数，其中，所述参数维度和所述信息维度相匹配；
利用所述目标池化函数对所述元器件图像的特征信息进行池化操作，得到池化后特征信息。
7.根据权利要求1所述的方法，其特征在于，所述基于每个元器件图像对应的融合后特征信息对所述待检测元器件进行缺陷检测，得到所述工业元器件的缺陷检测结果，包括：
对每个元器件图像对应的融合后特征信息进行分布识别，得到每个元器件图像对应的分布概率；
将每个元器件图像对应的分布概率进行整合，得到整合后分布概率；
将所述整合后分布概率和预设分布概率条件进行对比，得到所述工业元器件的缺陷检测结果。
8.根据权利要求1所述的方法，其特征在于，所述对每个元器件图像进行特征提取，得到不同拍摄光源下的元器件图像对应的特征信息，包括：
通过预设缺陷检测系统对每个元器件图像进行特征提取，得到不同拍摄光源下的元器件图像对应的特征信息；
所述对每个元器件图像对应的特征信息进行注意力提取，得到待检测元器件在不同拍摄光源下对应的注意力信息，包括：
通过所述预设缺陷检测系统对每个元器件图像对应的特征信息进行注意力提取，得到待检测元器件在不同拍摄光源下对应的注意力信息；
所述将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息，包括：
通过所述预设缺陷检测系统将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息。
9.根据权利要求8所述的方法，其特征在于，所述预设缺陷检测系统包括多个缺陷检测模型，每个缺陷检测模型包括多个信息提取深度不同的信息提取模块，每个信息提取模块包括特征提取层和注意力机制；
所述通过预设缺陷检测系统对每个元器件图像进行特征提取，得到不同拍摄光源下的元器件图像对应的特征信息，包括：
将每个元器件图像分配给所述多个缺陷检测模型中对应的目标缺陷检测模型；
利用所述目标缺陷检测模型中当前信息提取模块的特征提取层对元器件图像进行特征提取，得到元器件图像的特征信息；
所述通过所述预设缺陷检测系统对每个元器件图像对应的特征信息进行注意力提取，得到待检测元器件在不同拍摄光源下对应的注意力信息，包括：
通过所述目标缺陷检测模型中当前信息提取模块的注意力机制对元器件图像进行注意力提取，得到元器件图像的注意力信息。
10.根据权利要求9所述的方法，其特征在于，所述通过所述预设缺陷检测系统将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息，包括：
将所述预设缺陷检测系统中当前信息提取模块生成的第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息。
11.根据权利要求10所述的方法，其特征在于，所述方法还包括：
将所述元器件图像的融合后特征信息传递到和所述当前信息提取模块关联的关联信息提取模块；
通过所述关联信息提取模块对所述融合后特征信息进行信息提取。
12.一种缺陷检测装置，其特征在于，包括：
获取单元，用于获取待检测元器件的多个元器件图像，其中，一个元器件图像对应一种拍摄光源；
特征提取单元，用于对每个元器件图像进行特征提取，得到不同拍摄光源下的元器件图像对应的特征信息；
注意力提取单元，用于对每个元器件图像对应的特征信息进行注意力提取，得到待检测元器件在不同拍摄光源下对应的注意力信息；
交叉融合单元，用于将第一元器件图像对应的特征信息和第二元器件图像的注意力信息进行交叉融合，得到第一元器件图像对应的融合后特征信息，其中，所述第一元器件图像为所述多个元器件图像中的任意一个图像，所述第二元器件图像为所述多个元器件图像中除了所述第一元器件图像以外的图像；
缺陷检测单元，用于基于每个元器件图像对应的融合后特征信息对所述待检测元器件进行缺陷检测，得到所述工业元器件的缺陷检测结果。
13.一种计算机设备，其特征在于，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行权利要求1至11任一项所述的缺陷检测方法中的操作。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至11任一项所述的缺陷检测方法中的步骤。
15.一种计算机程序产品，包括计算机程序或指令，其特征在于，该计算机程序或指令被处理器执行时实现权利要求1至11任一项所述的视频推荐方法中的步骤。
CN202210515075.8A 2022-05-11 2022-05-11 一种缺陷检测方法、装置、计算机设备和存储介质 Pending CN115112661A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210515075.8A CN115112661A (zh) 2022-05-11 2022-05-11 一种缺陷检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210515075.8A CN115112661A (zh) 2022-05-11 2022-05-11 一种缺陷检测方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN115112661A true CN115112661A (zh) 2022-09-27

Family

ID=83326860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210515075.8A Pending CN115112661A (zh) 2022-05-11 2022-05-11 一种缺陷检测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN115112661A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252822A (zh) * 2023-09-05 2023-12-19 广东奥普特科技股份有限公司 缺陷检测网络的构建及缺陷检测方法、装置和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200293830A1 (en) * 2018-04-03 2020-09-17 Alibaba Group Holding Limited Article damage detection
CN113570003A (zh) * 2021-09-23 2021-10-29 深圳新视智科技术有限公司 基于注意力机制的特征融合缺陷检测方法及装置
CN113850339A (zh) * 2021-09-30 2021-12-28 北京科技大学 一种基于多光源表面图像的粗糙度等级预测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200293830A1 (en) * 2018-04-03 2020-09-17 Alibaba Group Holding Limited Article damage detection
CN113570003A (zh) * 2021-09-23 2021-10-29 深圳新视智科技术有限公司 基于注意力机制的特征融合缺陷检测方法及装置
CN113850339A (zh) * 2021-09-30 2021-12-28 北京科技大学 一种基于多光源表面图像的粗糙度等级预测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BOZHEN HU ET AL.: "A Lightweight Spatial and Temporal Multi-feature Fusion Network for Defect Detection", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 30, 13 November 2020 (2020-11-13), pages 472 - 486, XP011822509, DOI: 10.1109/TIP.2020.3036770 *
张鋆等: "基于边缘智能的输电线路异常目标高效检测方法研究", 电网技术, 19 April 2022 (2022-04-19), pages 1 - 10 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117252822A (zh) * 2023-09-05 2023-12-19 广东奥普特科技股份有限公司 缺陷检测网络的构建及缺陷检测方法、装置和设备

Similar Documents

Publication Publication Date Title
CN109359592B (zh) 视频帧的处理方法、装置、电子设备及存储介质
CN109543714B (zh) 数据特征的获取方法、装置、电子设备及存储介质
CN111754396B (zh) 脸部图像处理方法、装置、计算机设备和存储介质
CN112001274B (zh) 人群密度确定方法、装置、存储介质和处理器
Ma et al. Shadow detection of moving objects based on multisource information in internet of things
CN110825968B (zh) 信息推送方法、装置、存储介质和计算机设备
CN111444826B (zh) 视频检测方法、装置、存储介质及计算机设备
CN110942456B (zh) 篡改图像检测方法、装置、设备及存储介质
CN111539353A (zh) 一种图像场景识别方法及装置、计算机设备以及存储介质
CN111046213B (zh) 一种基于图像识别的知识库构建方法
CN116778148A (zh) 目标检测方法、装置、电子设备及存储介质
Cheng et al. Water quality monitoring method based on TLD 3D fish tracking and XGBoost
CN109740527B (zh) 一种视频帧中图像处理方法
CN112734747B (zh) 一种目标检测方法、装置、电子设备和存储介质
CN114612531A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN113822144A (zh) 一种目标检测方法、装置、计算机设备和存储介质
CN113838134A (zh) 图像关键点检测方法、装置、终端和存储介质
CN116229188B (zh) 图像处理显示方法、分类模型的生成方法及其设备
CN111652073B (zh) 视频分类方法、装置、系统、服务器和存储介质
CN113128526A (zh) 图像识别方法、装置、电子设备和计算机可读存储介质
CN115112661A (zh) 一种缺陷检测方法、装置、计算机设备和存储介质
CN116977256A (zh) 缺陷检测模型的训练方法、装置、设备及存储介质
Kefeng et al. CNN Based No‐Reference HDR Image Quality Assessment
CN111709945B (zh) 一种基于深度局部特征的视频拷贝检测方法
CN114495214A (zh) 人脸识别装置、方法、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination