CN116523871A - 一种加工件缺陷检测方法、装置、电子设备及存储介质 - Google Patents

一种加工件缺陷检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116523871A
CN116523871A CN202310477163.8A CN202310477163A CN116523871A CN 116523871 A CN116523871 A CN 116523871A CN 202310477163 A CN202310477163 A CN 202310477163A CN 116523871 A CN116523871 A CN 116523871A
Authority
CN
China
Prior art keywords
image
detected
defect
distance
sample image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310477163.8A
Other languages
English (en)
Inventor
王志刚
冯京
赵笑蕊
孙红英
李军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anyang Institute of Technology
Original Assignee
Anyang Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anyang Institute of Technology filed Critical Anyang Institute of Technology
Priority to CN202310477163.8A priority Critical patent/CN116523871A/zh
Publication of CN116523871A publication Critical patent/CN116523871A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30136—Metal
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请涉及一种加工件缺陷检测方法、装置、电子设备及存储介质，应用于图像处理技术领域，所述方法包括：获取待检测图像，通过预先训练的神经网络模型对待检测图像进行特征提取，得到待检测图像的图像特征；从图像特征库中获取样本图像特征；其中，每个样本图像特征是将样本图像输入神经网络模型进行特征提取得到的；样本图像特征包括无缺陷类型的样本图像特征；根据无缺陷类型的样本图像特征，生成高斯分布函数；计算待检测图像的图像特征在高斯分布函数中的概率密度值；其中，概率密度值表示待检测图像为无缺陷图像的概率；根据概率密度值，判断待检测图像是否存在缺陷，本申请可以提高缺陷检测的准确性。

Description

一种加工件缺陷检测方法、装置、电子设备及存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种加工件缺陷检测方法、装置、电子设备及存储介质。
背景技术
在金属加工过程中，通过对金属加工件的表面图像进行缺陷检测，可以筛选出存在缺陷的金属加工件。相关技术中，可以基于深度学习的方法对金属加工件的表面图像进行缺陷检测。然而，该方法在训练阶段需要收集海量的样本图像，并且需要尽可能地覆盖所有可能出现的缺陷，这在实际场景中难以实现。而且缺陷的样式在出现以前是无法定义和采集的，因此基于该方法会造成漏检的问题，导致缺陷检测的准确性较低。
发明内容
为了解决上述技术问题，本申请提供了一种加工件缺陷检测方法、装置、电子设备及存储介质。
根据本申请的第一方面，提供了一种加工件缺陷检测方法，包括：
获取待检测图像，通过预先训练的神经网络模型对所述待检测图像进行特征提取，得到所述待检测图像的图像特征；
从图像特征库中获取样本图像特征；其中，每个所述样本图像特征是将样本图像输入所述神经网络模型进行特征提取得到的；所述样本图像特征包括无缺陷类型的样本图像特征；
根据所述无缺陷类型的样本图像特征，生成高斯分布函数；
计算所述待检测图像的图像特征在所述高斯分布函数中的概率密度值；其中，所述概率密度值表示所述待检测图像为无缺陷图像的概率；
根据所述概率密度值，判断所述待检测图像是否存在缺陷。
可选地，所述根据所述概率密度值，判断所述待检测图像是否存在缺陷，包括：
在所述概率密度值小于等于概率密度阈值的情况下，确定所述待检测图像存在缺陷；
在所述概率密度值大于所述概率密度阈值的情况下，确定所述待检测图像不存在缺陷，或者，
在所述概率密度值大于所述概率密度阈值的情况下，且所述样本图像特征包括有缺陷类型的样本图像特征，根据所述有缺陷类型的样本图像特征，判断所述待检测图像是否存在缺陷。
可选地，所述根据所述有缺陷类型的样本图像特征，判断所述待检测图像是否存在缺陷，包括：
计算所述待检测图像的图像特征与无缺陷类型的样本图像特征之间的第一距离；
计算所述待检测图像的图像特征与有缺陷类型的样本图像特征之间的第二距离；
根据所述第一距离和所述第二距离，判断所述待检测图像是否存在缺陷。
可选地，所述根据所述无缺陷类型的样本图像特征，生成高斯分布函数，包括：
根据所述无缺陷类型的样本图像特征，得到所述无缺陷类型的样本图像特征的均值μ，并生成以下高斯分布函数：
其中，∑为协方差，T为矩阵的转置，x为输入变量图像特征，p(x)为输入变量图像特征x对应的图像为无缺陷图像的概率，n表示样本图像特征的维度。
可选地，所述计算所述待检测图像的图像特征与无缺陷类型的样本图像特征之间的第一距离，包括：
计算所述待检测图像的图像特征与每个无缺陷类型的样本图像特征之间的距离，并从得到的距离中选取最小的距离作为第一距离；
所述计算所述待检测图像的图像特征与有缺陷类型的样本图像特征之间的第二距离，包括：
计算所述待检测图像的图像特征与每个有缺陷类型的样本图像特征之间的距离，并从得到的距离中选取最小的距离作为第二距离。
可选地，所述根据所述第一距离和所述第二距离，判断所述待检测图像是否存在缺陷，包括：
根据以下公式：
得到待检测图像的置信度f；其中，d1为第一距离，d2为第二距离；
在置信度f小于置信度阈值的情况下，确定待检测图像存在缺陷；
在置信度f大于等于置信度阈值的情况下，确定待检测图像不存在缺陷。
可选地，所述神经网络模型包括：编码模块和解码模块；
所述神经网络模型的训练方法包括：
获取多个训练图像与每个所述训练图像对应的实际图像分割结果；
通过编码模块对每个所述训练图像进行编码处理，得到训练图像特征；
通过解码模块对所述训练图像特征进行解码处理，得到预测图像分割结果；
根据所述预测图像分割结果和所述实际图像分割结果，得到损失函数值；
通过损失函数值对编码模块和解码模块中的网络参数进行更新，得到所述神经网络模型。
根据本申请的第二方面，提供了一种缺陷检测装置，包括：
待检测图像获取模块，用于获取待检测图像；
图像特征提取模块，用于通过预先训练的神经网络模型对所述待检测图像进行特征提取，得到所述待检测图像的图像特征；
样本图像特征获取模块，用于从图像特征库中获取样本图像特征；其中，每个所述样本图像特征是将样本图像输入所述神经网络模型进行特征提取得到的；所述样本图像特征包括无缺陷类型的样本图像特征；
高斯分布函数生成模块，用于根据所述无缺陷类型的样本图像特征，生成高斯分布函数；
概率密度值计算模块，用于计算所述待检测图像的图像特征在所述高斯分布函数中的概率密度值；其中，所述概率密度值表示所述待检测图像为无缺陷图像的概率；
缺陷判断模块，用于根据所述概率密度值，判断所述待检测图像是否存在缺陷。
可选地，所述缺陷判断模块，具体用于在所述概率密度值小于等于概率密度阈值的情况下，确定所述待检测图像存在缺陷；在所述概率密度值大于所述概率密度阈值的情况下，确定所述待检测图像不存在缺陷，或者，在所述概率密度值大于所述概率密度阈值的情况下，且所述样本图像特征包括有缺陷类型的样本图像特征，根据所述有缺陷类型的样本图像特征，判断所述待检测图像是否存在缺陷。
可选地，所述缺陷判断模块，具体用于通过下述步骤实现根据所述有缺陷类型的样本图像特征，判断所述待检测图像是否存在缺陷：
计算所述待检测图像的图像特征与无缺陷类型的样本图像特征之间的第一距离；
计算所述待检测图像的图像特征与有缺陷类型的样本图像特征之间的第二距离；
根据所述第一距离和所述第二距离，判断所述待检测图像是否存在缺陷。
可选地，所述高斯分布函数生成模块，具体用于根据所述无缺陷类型的样本图像特征，得到所述无缺陷类型的样本图像特征的均值μ，并生成以下高斯分布函数：
其中，Σ为协方差，T为矩阵的转置，x为输入变量图像特征，p(x)为输入变量图像特征x对应的图像为无缺陷图像的概率，n表示样本图像特征的维度。
可选地，所述缺陷判断模块，具体用于通过下述步骤实现计算所述待检测图像的图像特征与无缺陷类型的样本图像特征之间的第一距离：
计算所述待检测图像的图像特征与每个无缺陷类型的样本图像特征之间的距离，并从得到的距离中选取最小的距离作为第一距离；以及通过下述步骤实现计算所述待检测图像的图像特征与有缺陷类型的样本图像特征之间的第二距离：
计算所述待检测图像的图像特征与每个有缺陷类型的样本图像特征之间的距离，并从得到的距离中选取最小的距离作为第二距离。
可选地，所述缺陷判断模块，具体用于通过下述步骤实现根据所述第一距离和所述第二距离，判断所述待检测图像是否存在缺陷：
根据以下公式：
得到待检测图像的置信度f；其中，d1为第一距离，d2为第二距离；
在置信度f小于置信度阈值的情况下，确定待检测图像存在缺陷；
在置信度f大于等于置信度阈值的情况下，确定待检测图像不存在缺陷。
可选地，所述神经网络模型包括：编码模块和解码模块；
所述缺陷检测装置还包括：
模型训练模块，用于获取多个训练图像与每个所述训练图像对应的实际图像分割结果；通过编码模块对每个所述训练图像进行编码处理，得到训练图像特征；通过解码模块对所述训练图像特征进行解码处理，得到预测图像分割结果；根据所述预测图像分割结果和所述实际图像分割结果，得到损失函数值，并通过损失函数值对编码模块和解码模块中的网络参数进行更新，得到所述神经网络模型。
根据本申请的第三方面，提供了一种电子设备，包括：处理器，所述处理器用于执行存储于存储器的计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法。
根据本申请的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的方法。
根据本申请的第五方面，提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面所述的方法。
本申请实施例提供的技术方案与现有技术相比具有如下优点：
通过预先训练的神经网络模型提取待检测图像的图像特征，从图像特征库中获取样本图像特征，每个样本图像特征是将样本图像输入该神经网络模型进行特征提取得到的。图像特征库中的样本图像特征包括无缺陷类型的样本图像特征，这样，可以利用无缺陷类型的样本图像特征符合高斯分布的特性，生成高斯分布函数。计算待检测图像的图像特征在高斯分布函数中的概率密度值，概率密度值表示待检测图像为无缺陷图像的概率。进而，根据概率密度值，判断待检测图像是否存在缺陷。本申请实施例中，将神经网络模型作为工具来提取图像特征，并将待检测图像的图像特征和图像特征库中的样本图像特征进行比较，来检测图像是否存在缺陷，与直接通过神经网络模型判断图像是否存在缺陷相比，检测结果的准确性不受神经网络模型的准确性的影响。并且，利用无缺陷类型的样本图像特征的高斯分布特性检测图像是否存在缺陷，即在统计意义上检测图像是否存在缺陷，可以提高缺陷检测的准确性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例中加工件缺陷检测方法的一种流程图；
图2为本申请实施例中神经网络模型的一种结构示意图；
图3为本申请实施例中神经网络模型的训练方法的一种流程图；
图4为本申请实施例中加工件缺陷检测方法的一种示意图；
图5为本申请实施例中缺陷检测装置的一种结构示意图；
图6为本申请实施例中电子设备的一种结构示意图。
具体实施方式
为了能够更清楚地理解本申请的上述目的、特征和优点，下面将对本申请的方案进行进一步描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，但本申请还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本申请的一部分实施例，而不是全部的实施例。
参见图1，图1为本申请实施例中加工件缺陷检测方法的一种流程图，可以包括以下步骤：
步骤S110，获取待检测图像，通过预先训练的神经网络模型对待检测图像进行特征提取，得到待检测图像的图像特征。
待检测图像包括金属加工件的表面图像，金属加工件可以由同一模具加工生产，采集图像的像素特征在图像坐标系中并非完全一致，而是存在细微差异，这些差异使得直接使用传统图像处理算法(例如图像差分算法等)无法有效地提取到缺陷位置。另外，金属表面具有高反光和拉丝特性，容易造成虚警检测和漏检的问题。其中，虚警检测指图像中实际不存在缺陷，而在缺陷检测时检测出缺陷。因此，本申请实施例中，可以通过预先训练的神经网络模型来提取待检测图像中的图像特征，即通过更高层的特征来识别缺陷，以消除图像特征不对齐，以及金属表面反光、拉丝导致缺陷检测准确性较低的问题。
预先训练的神经网络模型可以是图像分类模型，也可以是图像分割模型。图像分类模型的输入是图像，输出为图像存在缺陷或图像不存在缺陷。图像分割模型的输入也是图像，输出是图像分割结果，即该图像中各个像素的标记，每个像素的标记可以指示该像素是否存在缺陷。
在一些实施例中，神经网络模型为图像分割模型，神经网络模型可以包括：编码模块和解码模块，本申请对编码模块和解码模块的网络结构不做具体限定。可选地，编码模块可以采用CNN(卷积神经网络)等。参见图2，图2为本申请实施例中神经网络模型的一种结构示意图。编码模块用于从输入的图像中提取图像特征，解码模块用于将图像特征还原为图像大小一致的图像，得到图像分割结果，即得到每个像素的标记。在神经网络模型为图像分割模型的情况下，神经网络模型的训练方法可参见图3，包括以下步骤：
步骤S310，获取多个训练图像与每个训练图像对应的实际图像分割结果。
训练图像可以包括有缺陷的图像和无缺陷的图像，训练图像对应的实际图像分割结果指的是训练图像中各个像素对应的标记结果。
步骤S320，通过编码模块对每个训练图像进行编码处理，得到训练图像特征。
步骤S330，通过解码模块对训练图像特征进行解码处理，得到预测图像分割结果。
步骤S340，根据预测图像分割结果和实际图像分割结果，得到损失函数值。
可以理解的是，在训练过程中，编码模块与解码模块中的网络参数是不断调整的，预测图像分割结果与实际图像分割结果通常是不同的。因此，可以通过建立损失函数，将预测图像分割结果和实际图像分割结果代入损失函数，得到损失函数值。
步骤S350，通过损失函数值对编码模块和解码模块中的网络参数进行更新，得到神经网络模型。
在迭代过程中，通过反向传播算法，更新编码模块和解码模块中网络参数的值。重复迭代直至满足收敛条件(例如损失函数值小于预设阈值)，求得模型中网络参数的值，从而完成训练，得到神经网络模型。
步骤S120，从图像特征库中获取样本图像特征。
本申请实施例中，图像特征库中存储有多个样本图像特征。每个样本图像特征是将样本图像输入神经网络模型进行特征提取得到的。也就是说，神经网络模型除了用于提取待检测图像的图像特征，还用于提取样本图像的图像特征，即样本图像特征。在金属加工过程中，无缺陷金属加工件的数量通常较多，有缺陷金属加工件的数量通常较少，因此，更容易获取到无缺陷金属加工件。无缺陷金属加工件的表面图像即为无缺陷类型的样本图像，图像特征库中的样本图像特征可以包括无缺陷类型的样本图像特征。图像特征库中样本图像特征可以是不断增加的。
步骤S130，根据无缺陷类型的样本图像特征，生成高斯分布函数。
对于无缺陷类型的样本图像特征，其样本分布通常服从高斯分布，因此，可以从统计意义上来判断待检测图像是否存在缺陷。即可以根据无缺陷类型的样本图像特征，生成高斯分布函数。可选地，根据无缺陷类型的样本图像特征，得到无缺陷类型的样本图像特征的均值μ，并生成以下高斯分布函数：
其中，Σ为协方差，T为矩阵的转置，x为输入变量图像特征，p(x)为输入变量图像特征x对应的图像为无缺陷图像的概率，n表示样本图像特征的维度。
假设样本图像特征是c×w×h的特征图，c表示通道数，h表示特征图的高度，w表示特征图的宽度。可以将样本图像特征拉伸为一个1×n的特征向量，n＝c×w×h，即样本图像特征的维度。
步骤S140，计算待检测图像的图像特征在高斯分布函数中的概率密度值。
类似地，待检测图像的图像特征也可以表示为一个1×n的特征向量，将该特征向量作为上述高斯分布函数的输入变量，可以得到对应的概率密度值，概率密度值表示待检测图像为无缺陷图像的概率。
步骤S150，根据概率密度值，判断待检测图像是否存在缺陷。
概率密度值越大，表示待检测图像越可能不存在缺陷。在一些实施例中，可以直接通过判断概率密度值是否大于概率密度阈值，来判断待检测图像是否存在缺陷。在概率密度值小于等于概率密度阈值的情况下，确定待检测图像存在缺陷；在概率密度值大于概率密度阈值的情况下，确定待检测图像不存在缺陷。
本申请实施例的加工件缺陷检测方法，可以利用无缺陷类型的样本图像特征符合高斯分布的特性，生成高斯分布函数。计算待检测图像的图像特征在高斯分布函数中的概率密度值，概率密度值表示待检测图像为无缺陷图像的概率。进而，根据概率密度值，判断待检测图像是否存在缺陷。本申请实施例中，将神经网络模型作为工具来提取图像特征，并将待检测图像的图像特征和图像特征库中的样本图像特征进行比较，来检测图像是否存在缺陷，与直接通过神经网络模型判断图像是否存在缺陷相比，检测结果的准确性不受神经网络模型的准确性的影响。并且，利用无缺陷类型的样本图像特征的高斯分布特性检测图像是否存在缺陷，即在统计意义上检测图像是否存在缺陷，可以提高缺陷检测的准确性。
在一些实施例中，为了提高缺陷检测的准确性，避免将存在缺陷的图像判定为不存在缺陷，在概率密度值大于概率密度阈值的情况下，且图像特征库中的样本图像特征包括有缺陷类型的样本图像特征，可以进一步根据有缺陷类型的样本图像特征，判断待检测图像是否存在缺陷。
由于有缺陷类型的样本图像特征无固定模式，其形状变化各异，因此其特征分布不服从高斯分布，无法直接通过建立高斯分布函数，判断待检测图像是否存在缺陷。因此，可以结合有缺陷类型的样本图像特征和无缺陷类型的样本图像特征，判断待检测图像是否存在缺陷。
假设无缺陷类型的样本图像特征的数量为N，有缺陷类型的样本图像特征的数量为M，分别按照1×n的特征向量的格式存入无缺陷样本库和有缺陷样本库。在M为0的情况下，也就是直接通过判断概率密度值是否大于概率密度阈值，来判断待检测图像是否存在缺陷。
可选地，可以将待检测图像的图像特征分别与无缺陷类型的样本图像特征、有缺陷类型的样本图像特征进行比较，根据比较结果，判断待检测图像是否存在缺陷。可以理解的是，N和M的值越大，缺陷检测的结果越准确，因此，N和M可以是一个较大的数值。N的值可以根据金属加工件的表面特征的复杂程度来选择，例如N为500以上的值。当检测结果的准确性较低时，可以提高N的数值，也就是可以获取更多的无缺陷类型的样本图像，并通过神经网络模型提取图像特征，以增加无缺陷类型的样本图像特征的数量。
在一些实施例中，可以计算待检测图像的图像特征与无缺陷类型的样本图像特征之间的第一距离；计算待检测图像的图像特征与有缺陷类型的样本图像特征之间的第二距离；根据第一距离和第二距离，判断待检测图像是否存在缺陷。
可选地，可以计算待检测图像的图像特征与每个无缺陷类型的样本图像特征之间的距离，并从得到的距离中选取最小的距离作为第一距离。第一距离d1可以表示如下：
x表示待检测图像的图像特征，xi表示第i个无缺陷类型的样本图像特征，||x-xi||表示待检测图像的图像特征x和第i个无缺陷类型的样本图像特征xi之间的距离。
除了可以将最小的距离作为第一距离，也可以将得到的所有距离的平均值作为第一距离。
计算待检测图像的图像特征与每个有缺陷类型的样本图像特征之间的距离，并从得到的距离中选取最小的距离作为第二距离。第二距离d2可以表示如下：
x表示待检测图像的图像特征，xj表示第j个有缺陷类型的样本图像特征，||x-xj||表示待检测图像的图像特征x和第j个有缺陷类型的样本图像特征xj之间的距离。
类似地，除了将最小的距离作为第二距离，也可以将得到的所有距离的平均值作为第二距离。
第一距离越小，且第二距离越大，待检测图像越可能不存在缺陷；反之，第一距离越大，第二距离越小，待检测图像越可能存在缺陷。可选地，可以直接将第一距离和第二距离分别与不同的预设距离阈值进行比较来判断待检测图像是否存在缺陷。例如，在第一距离小于第一预设距离阈值，且第二距离大于第二预设距离阈值的情况下，则确定待检测图像不存在缺陷；在第一距离大于等于第一预设距离阈值，或第二距离小于等于第二预设距离阈值的情况下，则确定待检测图像存在缺陷。
可选地，也可以将第一距离和第二距离代入预设公式，根据得到的值判断待检测图像是否存在缺陷。例如，可以根据以下公式：
得到待检测图像的置信度f；其中，d1为第一距离，d2为第二距离。置信度表示待检测图像不存在缺陷的可信程度，取值范围为[0,1]，当f为0时表示为存在缺陷，当f为1时表示为不存在缺陷。在置信度f小于置信度阈值(例如0.8等)的情况下，确定待检测图像存在缺陷；在置信度f大于等于置信度阈值的情况下，确定待检测图像不存在缺陷。
参见图4，图4为本申请实施例中加工件缺陷检测方法的一种示意图。将待检测图像输入神经网络模型后，可以提取到对应的图像特征。图像特征库包括：无缺陷类型的样本图像特征和有缺陷类型的样本图像特征。将无缺陷的样本图像输入神经网络模型进行特征提取，可以得到无缺陷类型的样本图像特征，将有缺陷的样本图像输入神经网络模型进行特征提取，可以得到有缺陷类型的样本图像特征。将待检测图像的图像特征和图像特征库中的样本图像特征进行特征比较，可以得到比较结果，根据比较结果判断待检测图像是否存在缺陷。
具体的，可以利用无缺陷类型的样本图像特征符合高斯分布的特性生成高斯分布函数，计算待检测图像的图像特征在高斯分布函数中的概率密度值。在概率密度值小于等于概率密度阈值的情况下，确定待检测图像存在缺陷；在概率密度值大于概率密度阈值的情况下，进一步根据待检测图像的图像特征和图像特征库中的无缺陷类型的样本图像特征和有缺陷类型的样本图像特征之间的距离，判断图像是否存在缺陷。
本申请实施例的加工件缺陷检测方法，与直接通过神经网络模型判断图像是否存在缺陷相比，检测结果的准确性不受神经网络模型的准确性的影响。利用无缺陷类型的样本图像特征的高斯分布特性检测图像是否存在缺陷，即在统计意义上检测图像是否存在缺陷，可以提高缺陷检测的准确性。并且，在概率密度值大于概率密度阈值的情况下，进一步计算待检测图像的图像特征和图像特征库中的无缺陷类型的样本图像特征之间的第一距离，待检测图像的图像特征和有缺陷类型的样本图像特征之间的第二距离，并根据第一距离和第二距离，判断待检测图像是否存在缺陷，可以避免漏检，进一步提高缺陷检测的准确性。
相应于上述方法实施例，本申请实施例还提供了一种缺陷检测装置，参见图5，缺陷检测装置500包括：
待检测图像获取模块510，用于获取待检测图像；
图像特征提取模块520，用于通过预先训练的神经网络模型对待检测图像进行特征提取，得到待检测图像的图像特征；
样本图像特征获取模块530，用于从图像特征库中获取样本图像特征；其中，每个样本图像特征是将样本图像输入神经网络模型进行特征提取得到的；样本图像特征包括无缺陷类型的样本图像特征；
高斯分布函数生成模块540，用于根据无缺陷类型的样本图像特征，生成高斯分布函数；
概率密度值计算模块550，用于计算待检测图像的图像特征在高斯分布函数中的概率密度值；其中，概率密度值表示待检测图像为无缺陷图像的概率；
缺陷判断模块560，用于根据概率密度值，判断待检测图像是否存在缺陷。
可选地，缺陷判断模块560，具体用于在概率密度值小于等于概率密度阈值的情况下，确定待检测图像存在缺陷；在概率密度值大于概率密度阈值的情况下，确定待检测图像不存在缺陷，或者，在概率密度值大于概率密度阈值的情况下，且样本图像特征包括有缺陷类型的样本图像特征，根据有缺陷类型的样本图像特征，判断待检测图像是否存在缺陷。
可选地，缺陷判断模块560，具体用于通过下述步骤实现根据有缺陷类型的样本图像特征，判断待检测图像是否存在缺陷：
计算待检测图像的图像特征与无缺陷类型的样本图像特征之间的第一距离；
计算待检测图像的图像特征与有缺陷类型的样本图像特征之间的第二距离；
根据第一距离和第二距离，判断待检测图像是否存在缺陷。
可选地，高斯分布函数生成模块540，具体用于根据无缺陷类型的样本图像特征，得到无缺陷类型的样本图像特征的均值μ，并生成以下高斯分布函数：
其中，∑为协方差，T为矩阵的转置，x为输入变量图像特征，p(x)为输入变量图像特征x对应的图像为无缺陷图像的概率，n表示样本图像特征的维度。
可选地，缺陷判断模块560，具体用于通过下述步骤实现计算待检测图像的图像特征与无缺陷类型的样本图像特征之间的第一距离：
计算待检测图像的图像特征与每个无缺陷类型的样本图像特征之间的距离，并从得到的距离中选取最小的距离作为第一距离；以及通过下述步骤实现计算待检测图像的图像特征与有缺陷类型的样本图像特征之间的第二距离：
计算待检测图像的图像特征与每个有缺陷类型的样本图像特征之间的距离，并从得到的距离中选取最小的距离作为第二距离。
可选地，缺陷判断模块560，具体用于通过下述步骤实现根据第一距离和第二距离，判断待检测图像是否存在缺陷：
根据以下公式：
得到待检测图像的置信度f；其中，d1为第一距离，d2为第二距离；
在置信度f小于置信度阈值的情况下，确定待检测图像存在缺陷；
在置信度f大于等于置信度阈值的情况下，确定待检测图像不存在缺陷。
可选地，神经网络模型包括：编码模块和解码模块；
缺陷检测装置500还包括：
模型训练模块，用于获取多个训练图像与每个训练图像对应的实际图像分割结果；通过编码模块对每个训练图像进行编码处理，得到训练图像特征；通过解码模块对训练图像特征进行解码处理，得到预测图像分割结果；根据预测图像分割结果和实际图像分割结果，得到损失函数值，并通过损失函数值对编码模块和解码模块中的网络参数进行更新，得到神经网络模型。
上述装置中各模块或单元的具体细节已经在对应的方法中进行了详细的描述，因此此处不再赘述。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本申请实施例中，还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行本示例实施方式中上述加工件缺陷检测方法。
图6为本申请实施例中电子设备的一种结构示意图。需要说明的是，图6示出的电子设备600仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，电子设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统操作所需的各种程序和数据。中央处理单元601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如局域网(LAN)卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元601执行时，执行本申请的装置中限定的各种功能。
本申请实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述加工件缺陷检测方法。
需要说明的是，本申请所示的计算机可读存储介质例如可以是—但不限于—电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器、只读存储器、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、射频等等，或者上述的任意合适的组合。
本申请实施例中，还提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述加工件缺陷检测方法。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种加工件缺陷检测方法，其特征在于，包括：
获取待检测图像，通过预先训练的神经网络模型对所述待检测图像进行特征提取，得到所述待检测图像的图像特征；
从图像特征库中获取样本图像特征；其中，每个所述样本图像特征是将样本图像输入所述神经网络模型进行特征提取得到的；所述样本图像特征包括无缺陷类型的样本图像特征；
根据所述无缺陷类型的样本图像特征，生成高斯分布函数；
计算所述待检测图像的图像特征在所述高斯分布函数中的概率密度值；其中，所述概率密度值表示所述待检测图像为无缺陷图像的概率；
根据所述概率密度值，判断所述待检测图像是否存在缺陷。
2.根据权利要求1所述的方法，其特征在于，所述根据所述概率密度值，判断所述待检测图像是否存在缺陷，包括：
在所述概率密度值小于等于概率密度阈值的情况下，确定所述待检测图像存在缺陷；
在所述概率密度值大于所述概率密度阈值的情况下，确定所述待检测图像不存在缺陷，或者，
在所述概率密度值大于所述概率密度阈值的情况下，且所述样本图像特征包括有缺陷类型的样本图像特征，根据所述有缺陷类型的样本图像特征，判断所述待检测图像是否存在缺陷。
3.根据权利要求2所述的方法，其特征在于，所述根据所述有缺陷类型的样本图像特征，判断所述待检测图像是否存在缺陷，包括：
计算所述待检测图像的图像特征与无缺陷类型的样本图像特征之间的第一距离；
计算所述待检测图像的图像特征与有缺陷类型的样本图像特征之间的第二距离；
根据所述第一距离和所述第二距离，判断所述待检测图像是否存在缺陷。
4.根据权利要求1所述的方法，其特征在于，所述根据所述无缺陷类型的样本图像特征，生成高斯分布函数，包括：
根据所述无缺陷类型的样本图像特征，得到所述无缺陷类型的样本图像特征的均值μ，并生成以下高斯分布函数：
其中，∑为协方差，T为矩阵的转置，x为输入变量图像特征，p(x)为输入变量图像特征x对应的图像为无缺陷图像的概率，n表示样本图像特征的维度。
5.根据权利要求3所述的方法，其特征在于，所述计算所述待检测图像的图像特征与无缺陷类型的样本图像特征之间的第一距离，包括：
计算所述待检测图像的图像特征与每个无缺陷类型的样本图像特征之间的距离，并从得到的距离中选取最小的距离作为第一距离；
所述计算所述待检测图像的图像特征与有缺陷类型的样本图像特征之间的第二距离，包括：
计算所述待检测图像的图像特征与每个有缺陷类型的样本图像特征之间的距离，并从得到的距离中选取最小的距离作为第二距离。
6.根据权利要求3所述的方法，其特征在于，所述根据所述第一距离和所述第二距离，判断所述待检测图像是否存在缺陷，包括：
根据以下公式：
得到待检测图像的置信度f；其中，d1为第一距离，d2为第二距离；
在置信度f小于置信度阈值的情况下，确定待检测图像存在缺陷；
在置信度f大于等于置信度阈值的情况下，确定待检测图像不存在缺陷。
7.根据权利要求1所述的方法，其特征在于，所述神经网络模型包括：编码模块和解码模块；
所述神经网络模型的训练方法包括：
获取多个训练图像与每个所述训练图像对应的实际图像分割结果；
通过编码模块对每个所述训练图像进行编码处理，得到训练图像特征；
通过解码模块对所述训练图像特征进行解码处理，得到预测图像分割结果；
根据所述预测图像分割结果和所述实际图像分割结果，得到损失函数值；
通过损失函数值对编码模块和解码模块中的网络参数进行更新，得到所述神经网络模型。
8.一种缺陷检测装置，其特征在于，所述装置包括：
待检测图像获取模块，用于获取待检测图像；
图像特征提取模块，用于通过预先训练的神经网络模型对所述待检测图像进行特征提取，得到所述待检测图像的图像特征；
样本图像特征获取模块，用于从图像特征库中获取样本图像特征；其中，每个所述样本图像特征是将样本图像输入所述神经网络模型进行特征提取得到的；所述样本图像特征包括无缺陷类型的样本图像特征；
高斯分布函数生成模块，用于根据所述无缺陷类型的样本图像特征，生成高斯分布函数；
概率密度值计算模块，用于计算所述待检测图像的图像特征在所述高斯分布函数中的概率密度值；其中，所述概率密度值表示所述待检测图像为无缺陷图像的概率；
缺陷判断模块，用于根据所述概率密度值，判断所述待检测图像是否存在缺陷。
9.一种电子设备，其特征在于，包括：处理器，所述处理器用于执行存储于存储器的计算机程序，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法。
CN202310477163.8A 2023-04-28 2023-04-28 一种加工件缺陷检测方法、装置、电子设备及存储介质 Pending CN116523871A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310477163.8A CN116523871A (zh) 2023-04-28 2023-04-28 一种加工件缺陷检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310477163.8A CN116523871A (zh) 2023-04-28 2023-04-28 一种加工件缺陷检测方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116523871A true CN116523871A (zh) 2023-08-01

Family

ID=87397062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310477163.8A Pending CN116523871A (zh) 2023-04-28 2023-04-28 一种加工件缺陷检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116523871A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894839A (zh) * 2023-09-07 2023-10-17 深圳市谱汇智能科技有限公司 芯片晶圆缺陷检测方法、装置、终端设备以及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894839A (zh) * 2023-09-07 2023-10-17 深圳市谱汇智能科技有限公司 芯片晶圆缺陷检测方法、装置、终端设备以及存储介质
CN116894839B (zh) * 2023-09-07 2023-12-05 深圳市谱汇智能科技有限公司 芯片晶圆缺陷检测方法、装置、终端设备以及存储介质

Similar Documents

Publication Publication Date Title
CN110148130B (zh) 用于检测零件缺陷的方法和装置
CN110264444B (zh) 基于弱分割的损伤检测方法及装置
CN114372968B (zh) 结合注意力机制与自适应记忆性融合网络的瑕疵检测方法
CN107784288A (zh) 一种基于深度神经网络的迭代定位式人脸检测方法
CN114155244B (zh) 缺陷检测方法、装置、设备及存储介质
CN113936132B (zh) 基于计算机视觉的化工厂水体污染检测方法与系统
CN113850749A (zh) 训练缺陷侦测器的方法
CN116523871A (zh) 一种加工件缺陷检测方法、装置、电子设备及存储介质
CN116952958B (zh) 缺陷检测方法、装置、电子设备及存储介质
CN115829995A (zh) 基于像素级的多尺度特征融合的布匹瑕疵检测方法及系统
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN117030129A (zh) 纸杯在线检漏方法及其系统
CN113421223B (zh) 基于深度学习和高斯混合的工业产品表面缺陷检测方法
CN111291712B (zh) 基于插值的cn和胶囊网络的森林火灾识别方法及装置
CN112258449A (zh) 一种基于结节特征的快速结节匹配方法
CN116030056A (zh) 一种钢表面裂缝的检测方法及系统
CN110751623A (zh) 基于联合特征的缺陷检测方法、装置、设备及存储介质
CN115330705A (zh) 一种基于自适应加权模板ncc的蒙皮漆面缺陷检测方法
CN114972871A (zh) 基于图像配准的少样本图像异常检测方法及系统
CN115330688A (zh) 一种考虑标签不确定性的图像异常检测方法
CN114841930A (zh) 一种基于平行多尺度融合网络的产品缺陷检测方法
CN113658125A (zh) 用于评估版图热点的方法、设备和存储介质
CN116385414B (zh) 零部件多尺度缺陷特征提取方法、计算设备及存储介质
CN114882298B (zh) 一种对抗互补学习模型的优化方法及装置
CN116883417B (zh) 基于机器视觉的工件质检方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination