CN116721098B - 工业检测中的缺陷检测方法、缺陷检测装置 - Google Patents

工业检测中的缺陷检测方法、缺陷检测装置 Download PDF

Info

Publication number
CN116721098B
CN116721098B CN202310993738.1A CN202310993738A CN116721098B CN 116721098 B CN116721098 B CN 116721098B CN 202310993738 A CN202310993738 A CN 202310993738A CN 116721098 B CN116721098 B CN 116721098B
Authority
CN
China
Prior art keywords
defect
optical surface
optical
detection
defects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310993738.1A
Other languages
English (en)
Other versions
CN116721098A (zh
Inventor
钱智明
赵何
潘正颐
侯大为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Weiyizhi Technology Co Ltd
Original Assignee
Changzhou Weiyizhi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Weiyizhi Technology Co Ltd filed Critical Changzhou Weiyizhi Technology Co Ltd
Priority to CN202310993738.1A priority Critical patent/CN116721098B/zh
Publication of CN116721098A publication Critical patent/CN116721098A/zh
Application granted granted Critical
Publication of CN116721098B publication Critical patent/CN116721098B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本发明涉及工业检测技术领域，提供一种工业检测中的缺陷检测方法、缺陷检测装置，所述方法包括：获取待检测工件的图像，采用光学面聚类算法输出待检测工件的光学面对应的缺陷检测模型，将待检测工件的图像输入对应的缺陷检测模型，以输出目标检测结果；将图像输入实例分割网络，以获取实例分割结果，通过异常检测网络给出实例分割目标的置信度，根据置信度输出异常检测结果；采用非极大值抑制方法对目标检测结果和异常检测结果进行多类别目标框融合，根据融合结果生成缺陷检测结果。本发明对工件图像的异常检测和实例分割结果进行置信度融合，并结合缺陷检测结果进行最终的目标融合，由此，可以有效解决缺陷样本被稀释和缺陷形态多样性的问题。

Description

工业检测中的缺陷检测方法、缺陷检测装置
技术领域
本发明涉及工业检测技术领域，具体涉及一种工业检测中的缺陷检测装置和一种工业检测中的缺陷检测方法。
背景技术
工业AI（Artificial Intelligence，人工智能）质检是当前传统制造企业数字化转型的重要一环，以机器视觉技术为基础的缺陷检测系统是其主要呈现形式。
然而，当前能够落地的缺陷检测系统基本上都是定制化开发的，其性能受到诸多因素的影响，比如工件位置的一致性、打光的稳定性、相机及镜头的匹配度、缺陷形态多样性以及缺陷检测算法有效性等。
为了应对上述问题，相关技术中，通常首先根据缺陷形态和分布进行人工光学面划分，使得各光学面的检测任务更加聚焦和轻量化；然后，采用不同模型分别对划分好的光学面图像进行缺陷检测；最后将不同光学面的检测结果进行统计分析。然而，光学面划分的好坏会受到检测算法人员的主观影响，且缺陷样本在被划分时同样被稀释，影响检测算法的准确性和鲁棒性。
发明内容
为解决上述技术问题，本发明的第一个目的在于提出一种工业检测中的缺陷检测方法。
本发明的第二个目的在于提出一种工业检测中的缺陷检测装置。
本发明采用的技术方案如下：
本发明第一方面的实施例提出了一种工业检测中的缺陷检测方法，包括以下步骤：获取待检测工件的图像，采用光学面聚类算法输出待检测工件的光学面对应的缺陷检测模型，将所述待检测工件的图像输入所述对应的缺陷检测模型，以通过输出缺陷检测模型输出目标检测结果，所述目标检测结果包括目标框和目标类别；将待检测工件的图像输入实例分割网络，以通过所述实例分割网络获取实例分割结果，通过异常检测网络对每个实例分割结果中属于该实例的每个像素的异常概率进行统计，给出实例分割目标的置信度，根据所述置信度输出异常检测结果；采用非极大值抑制方法对所述目标检测结果和异常检测结果进行多类别目标框融合，根据融合结果生成缺陷检测结果。
本发明上述提出的工业检测中的缺陷检测方法还可以具有如下附加技术特征：
根据本发明的一个实施例，所述光学面聚类算法包括以下步骤：获取工件的所有光学面的标注数据；根据所述标注数据提取缺陷特征；根据每个光学面缺陷数量分布计算每个缺陷特征的权重；根据所述缺陷特征计算各光学面中每种缺陷的特征均值和方差；根据所述每种缺陷的特征均值和方差、所述缺陷特征的权重计算两两光学面的相似性；根据所述相似性进行光学面合并；将缺陷总数少于第一阈值的光学面组合进行重新分配，重新分配时，搜索每个光学面在该组合外的最相似光学面，并将该光学面合并到最相似光学面所在组合中；对每个光学面组合进行缺陷类型过滤，将缺陷总数小于第二阈值的缺陷类型过滤掉；根据过滤后的光学面组合输出光学面聚类结果和所述光学面对应的缺陷类型；根据所述光学面对应的缺陷类型获取光学面对应的缺陷检测模型。
根据本发明的一个实施例，根据以下公式计算每个缺陷特征的权重：
；
其中，w d 为缺陷d的缺陷特征的权重，Z为归一化参数，p d 为缺陷d所在光学面中缺陷d的数量与所有光学面的缺陷d总数的比值，T p 为第三阈值，k d 为缺陷数量权重，n d 为缺陷d所在光学面中缺陷d的数量，r d 为缺陷d的数量在所述光学面缺陷总数中的占比权重，m d 为缺陷d的数量在所在光学面缺陷总数中的占比，T r 为第四阈值，T k 为第五阈值。
根据本发明的一个实施例，根据以下公式计算所述两两光学面的相似性：
，
；
其中，S(i,j)为光学面i和光学面j的相似性，w i,d 为光学面i缺陷d的缺陷特征的权重，w j,d 为光学面j缺陷d的缺陷特征的权重，v i,d 为光学面i缺陷d的缺陷特征向量，v j,d 为光学面j缺陷d的缺陷特征向量，μ i,d 为光学面i缺陷d的特征均值，μ j,d 为光学面j缺陷d的特征均值，为光学面i缺陷d的方差。
根据本发明一个实施例，所述实例分割网络包括：Mask R-CNN（Region-Convolutional Neural Networks，基于卷积神经网络的实力分割），所述异常检测网络包括：GANomaly（一种半监督异常检测生成对抗网络）。
本发明第二方面的实施例提出了一种工业检测中的缺陷检测装置，包括：目标检测模块，所述目标检测模块用于获取待检测工件的图像，采用光学面聚类算法输出待检测工件的光学面对应的缺陷检测模型，将所述待检测工件的图像输入所述对应的缺陷检测模型，以通过输出缺陷检测模型输出目标检测结果，所述目标检测结果包括目标框和目标类别；异常检测模块，所述异常检测模块用于将待检测工件的图像输入实例分割网络，以通过所述实例分割网络获取实例分割结果，通过异常检测网络对每个实例分割结果中属于该实例的每个像素的异常概率进行统计，给出实例分割目标的置信度，根据所述置信度输出异常检测结果；生成模块，所述生成模块用于采用非极大值抑制方法对所述目标检测结果和异常检测结果进行多类别目标框融合，根据融合结果生成缺陷检测结果。
本发明上述提出的工业检测中的缺陷检测装置还可以具有如下附加技术特征：
根据本发明的一个实施例，所述目标检测模块具体用：获取工件的所有光学面的标注数据；根据所述标注数据提取缺陷特征；根据每个光学面缺陷数量分布计算每个缺陷特征的权重；根据所述缺陷特征计算各光学面中每种缺陷的特征均值和方差；根据所述每种缺陷的特征均值和方差、所述缺陷特征的权重计算两两光学面的相似性；根据所述相似性进行光学面合并；将缺陷总数少于第一阈值的光学面组合进行重新分配，重新分配时，搜索每个光学面在该组合外的最相似光学面，并将该光学面合并到最相似光学面所在组合中；对每个光学面组合进行缺陷类型过滤，将缺陷总数小于第二阈值的缺陷类型过滤掉；根据过滤后的光学面组合输出光学面聚类结果和所述光学面对应的缺陷类型；根据所述光学面对应的缺陷类型获取光学面对应的缺陷检测模型。
根据本发明的一个实施例，所述目标检测模块具体根据以下公式计算每个缺陷特征的权重：
；
其中，w d 为缺陷d的缺陷特征的权重，Z为归一化参数，p d 为缺陷d所在光学面中缺陷d的数量与所有光学面的缺陷d总数的比值，T p 为第三阈值，k d 为缺陷数量权重，n d 为缺陷d所在光学面中缺陷d的数量，r d 为缺陷d的数量在所述光学面缺陷总数中的占比权重，m d 为缺陷d的数量在所在光学面缺陷总数中的占比，T r 为第四阈值，T k 为第五阈值。
根据本发明的一个实施例，所述目标检测模块具体根据以下公式计算所述两两光学面的相似性：
，
；
其中，S(i,j)为光学面i和光学面j的相似性，w i,d 为光学面i缺陷d的缺陷特征的权重，w j,d 为光学面j缺陷d的缺陷特征的权重，v i,d 为光学面i缺陷d的缺陷特征向量，v j,d 为光学面j缺陷d的缺陷特征向量，μ i,d 为光学面i缺陷d的特征均值，μ j,d 为光学面j缺陷d的特征均值，为光学面i缺陷d的方差。
根据本发明的一个实施例，所述实例分割网络包括： Mask R-CNN，所述异常检测网络包括：GANomaly。
本发明的有益效果：
本发明在进行工件表面的缺陷检测时，对其光学面图像的异常检测和实例分割结果进行置信度融合，并结合光学面聚类算法输出的缺陷检测模型的缺陷检测结果进行最终的目标融合，得到其缺陷检测结果，由此，可以有效解决光学面划分主观性、缺陷样本被稀释和缺陷形态多样性的问题，提高了光学面划分的稳定性和缺陷检测算法的鲁棒性。
附图说明
图1是根据本发明一个实施例的工业检测中的缺陷检测方法的流程图；
图2是根据本发明一个实施例的工业检测中的缺陷检测方法具体原理示意图；
图3是根据本发明一个实施例的光学面聚类算法的流程图；
图4是根据本发明一个实施例的工业检测中的缺陷检测装置的方框示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1是根据本发明一个实施例的工业检测中的缺陷检测方法的流程图。如图1所示，该方法包括以下步骤：
S1，获取待检测工件的图像，采用光学面聚类算法输出待检测工件的光学面对应的缺陷检测模型，将待检测工件的图像输入对应的缺陷检测模型，以通过输出缺陷检测模型输出目标检测结果，目标检测结果包括目标框和目标类别。
S2，将待检测工件的图像输入实例分割网络，以通过实例分割网络获取实例分割结果，通过异常检测网络对每个实例分割结果中属于该实例的每个像素的异常概率进行统计，给出实例分割目标的置信度，根据置信度输出异常检测结果。
具体地，可以采用低阈值输出实例分割结果，例如0.1。异常检测网络可以对每个实例分割结果中属于该实例的每个像素的异常概率进行统计，给出实例分割目标的置信度。此处的置信度计算方式按照实例分割区域的平均异常概率和高异常概率像素个数进行计算，若高异常概率的像素个数大于一定阈值，则将该区域的异常置信度设为一个较高的值，例如0.9，否则按平均异常概率给出异常置信度。对于如何确定高异常概率的像素个数阈值，则需根据不同缺陷统计而得。
S3，采用非极大值抑制方法对目标检测结果和异常检测结果进行多类别目标框融合，根据融合结果生成缺陷检测结果。
具体地，光学成像质量和缺陷检测算法是影响缺陷检测准确性的最重要的两个因素，而且这两者是相辅相成的，都与缺陷形态有着密切的相关性。本发明从缺陷形态分析出发，提出了一种基于光学面自动聚类和多模型融合的缺陷检测方法。该方法具体原理可参见图2所示，首先，为了解决缺陷检测系统中光学面划分的主观性问题，本发明提出了一种光学面聚类算法，其聚类特征主要由不同光学面的缺陷分布、各缺陷在不同光学面上的无监督缺陷特征和缺陷形态特征等组成；然后，根据光学面聚类结果进行优化，得到光学面划分结果及其所需检测的缺陷类型，并训练得到各光学面的缺陷检测模型。然后，分别根据缺陷标注数据训练得到全类别缺陷的实例分割网络和根据良品数据训练得到异常检测网络。
在实际推理阶段，给定一张工件的光学面的图像，对其异常检测结果和实例分割结果进行缺陷形态和目标置信度融合，输出异常检测结果，再结合光学面聚类算法的结果，将工件的图像输入其光学面对应的缺陷检测模型，最后将缺陷检测模型输出的目标检测结果与异常检测结果进行最终的目标融合，采用多类别的非极大值抑制方法剔除相同缺陷目标，从而得到最终缺陷检测结果。由此，可以有效解决光学面划分主观性、缺陷样本被稀释和缺陷形态多样性的问题，提高了光学面划分的稳定性和缺陷检测算法的鲁棒性。
在本发明的实施例中，实例分割网课采用基于Swin Tranformer的Mask R-CNN。异常检测网络采用GANomaly，在模型训练与推理过程中复用了实例分割模块的骨干网络，并继承其特征金字塔网络。对于光学面组合的缺陷检测模型，在骨干网络方面同样采用了Swin Tranformer，并继承实例分割模型权重，在训练时将其权重冻结，在推理时共享特征。在检测头设计上可以采用ATSS（(Adaptive Training Sample Selection，自适应样本选择方法）模型结构。
下面结合具体的实施例描述光学面聚类算法的具体实现方法。
根据本发明的一个实施例，如图3所示，光学面聚类算法包括以下步骤：
S11，获取工件的所有光学面的标注数据。
S12，根据标注数据提取缺陷特征。
具体地，缺陷特征包括：缺陷向量、宽、高、面积、宽高比、区域均值等，其中缺陷向量可以采用无监督预训练模型MAE进行提取的，特征维度为256维。
S13，根据每个光学面缺陷数量分布计算每个缺陷特征的权重。
进一步地，根据本发明的一个实施例，根据以下公式计算每个缺陷特征的权重：
；
其中，w d 为缺陷d的缺陷特征的权重，Z为归一化参数，p d 为缺陷d所在光学面中缺陷d的数量与所有光学面的缺陷d总数的比值，T p 为第三阈值，k d 为缺陷数量权重，n d 为缺陷d所在光学面中缺陷d的数量，r d 为缺陷d的数量在光学面缺陷总数中的占比权重，m d 为缺陷d的数量在所在光学面缺陷总数中的占比，T r 为第四阈值，T k 为第五阈值，T k 具体可以为20。Z具体为光学面的所有缺陷特征的权重的总和，其计算方式为：先把Z去掉计算缺陷特征的权重w，Z等于所有w的总和，最终w=w/Z。
S14，根据缺陷特征计算各光学面中每种缺陷的特征均值和方差。
具体地，通过对缺陷宽、高、面积、宽高比、区域均值等缺陷特征进行均值与方差计算，计算各光学面中每种缺陷的特征均值和方差。对于缺陷特征向量则仅计算其均值进行后续的光学面相似性计算。
S15，根据每种缺陷的特征均值和方差、缺陷特征的权重计算两两光学面的相似性。
对于缺陷向量，则直接采用余弦相似度函数计算。对于其他特征，采用高斯相似性函数进行度量。
进一步地，根据本发明的一个实施例，根据以下公式计算两两光学面的相似性：
，
；
其中，S(i,j)为光学面i和光学面j的相似性，w i,d 为光学面i缺陷d的缺陷特征的权重，w j,d 为光学面j缺陷d的缺陷特征的权重，v i,d 为光学面i缺陷d的缺陷特征向量，v j,d 为光学面j缺陷d的缺陷特征向量，μ i,d 为光学面i缺陷d的特征均值，μ j,d 为光学面j缺陷d的特征均值，为光学面i缺陷d的方差。
S16，根据相似性进行光学面合并。
具体地，根据光学面间相似性是否大于某一阈值进行合并与否的判断，这里可将阈值取为0.67，将相似性大于0.67的光学面进行合并。相似性计算包括缺陷向量的相似性计算和其他特征的相似性计算。
S17，将缺陷总数少于第一阈值的光学面组合进行重新分配，重新分配时，搜索每个光学面在该组合外的最相似光学面，并将该光学面合并到最相似光学面所在组合中。
具体地，将缺陷总数少于第一阈值的光学面组合进行重新分配，第一阈值可以设置为500。光学面重新分配时，搜索每个光学面在该组合外的最相似光学面，并将该光学面合并到最相似光学面所在组合中。
S18，对每个光学面组合进行缺陷类型过滤，将缺陷总数小于第二阈值的缺陷类型过滤掉。
具体地，对每个光学面组合进行缺陷类型过滤，过滤掉缺陷数小于第二阈值的缺陷类型，第二阈值可以取为10。
S19，根据过滤后的光学面组合输出光学面聚类结果和光学面对应的缺陷类型。
S20，根据光学面对应的缺陷类型获取光学面对应的缺陷检测模型。
综上所述，根据本发明实施例的工业检测中的缺陷检测方法，在进行工件表面的缺陷检测时，对其光学面图像的异常检测和实例分割结果进行置信度融合，并结合光学面聚类算法输出的缺陷检测模型的缺陷检测结果进行最终的目标融合，得到其缺陷检测结果，由此，可以有效解决光学面划分主观性、缺陷样本被稀释和缺陷形态多样性的问题，提高了光学面划分的稳定性和缺陷检测算法的鲁棒性。
与上述的工业检测中的缺陷检测方法相对应，本发明还提出一种工业检测中的缺陷检测装置。由于本发明的装置实施例与上述的方法实施例相对应，对于装置实施例中未披露的细节可参照上述的方法实施例，本发明不再进行赘述。
图4是根据本发明一个实施例的工业检测中的缺陷检测装置的方框示意图，如图4所示，该装置包括：目标检测模块1、异常检测模块2和生成模块3。
其中，目标检测模块1用于获取待检测工件的图像，采用光学面聚类算法输出待检测工件的光学面对应的缺陷检测模型，将待检测工件的图像输入对应的缺陷检测模型，以通过输出缺陷检测模型输出目标检测结果，目标检测结果包括目标框和目标类别；异常检测模块2用于将待检测工件的图像输入实例分割网络，以通过实例分割网络获取实例分割结果，通过异常检测网络对每个实例分割结果中属于该实例的每个像素的异常概率进行统计，给出实例分割目标的置信度，根据置信度输出异常检测结果；生成模块3用于采用非极大值抑制方法对目标检测结果和异常检测结果进行多类别目标框融合，根据融合结果生成缺陷检测结果。
根据本发明的一个实施例，目标检测模块1具体用于：获取工件的所有光学面的标注数据；根据标注数据提取缺陷特征；根据每个光学面缺陷数量分布计算每个缺陷特征的权重；根据缺陷特征计算各光学面中每种缺陷的特征均值和方差；根据每种缺陷的特征均值和方差、缺陷特征的权重计算两两光学面的相似性；根据相似性进行光学面合并；将缺陷总数少于第一阈值的光学面组合进行重新分配，重新分配时，搜索每个光学面在该组合外的最相似光学面，并将该光学面合并到最相似光学面所在组合中；对每个光学面组合进行缺陷类型过滤，将缺陷总数小于第二阈值的缺陷类型过滤掉；根据过滤后的光学面组合输出光学面聚类结果和光学面对应的缺陷类型；根据光学面对应的缺陷类型获取光学面对应的缺陷检测模型。
根据本发明的一个实施例，目标检测模块1具体根据以下公式计算每个缺陷特征的权重：
；
其中，w d 为缺陷d的缺陷特征的权重，Z为归一化参数，p d 为缺陷d所在光学面中缺陷d的数量与所有光学面的缺陷d总数的比值，T p 为第三阈值，k d 为缺陷数量权重，n d 为缺陷d所在光学面中缺陷d的数量，r d 为缺陷d的数量在光学面缺陷总数中的占比权重，m d 为缺陷d的数量在所在光学面缺陷总数中的占比，T r 为第四阈值。
根据本发明的一个实施例，目标检测模块1具体根据以下公式计算两两光学面的相似性：
，
；
其中，S(i,j)为光学面i和光学面j的相似性，w i,d 为光学面i缺陷d的缺陷特征的权重，w j,d 为光学面j缺陷d的缺陷特征的权重，v i,d 为光学面i缺陷d的缺陷特征向量，v j,d 为光学面j缺陷d的缺陷特征向量，μ i,d 为光学面i缺陷d的特征均值，μ j,d 为光学面j缺陷d的特征均值，为光学面i缺陷d的方差。
根据本发明的一个实施例，实例分割网络包括： Mask R-CNN，异常检测网络包括：GANomaly。
综上所述，根据本发明实施例的工业检测中的缺陷检测装置，在进行工件表面的缺陷检测时，对其光学面图像的异常检测和实例分割结果进行置信度融合，并结合光学面聚类算法输出的缺陷检测模型的缺陷检测结果进行最终的目标融合，得到其缺陷检测结果，由此，可以有效解决光学面划分主观性、缺陷样本被稀释和缺陷形态多样性的问题，提高了光学面划分的稳定性和缺陷检测算法的鲁棒性。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种工业检测中的缺陷检测方法，其特征在于，包括以下步骤：
获取待检测工件的图像，采用光学面聚类算法输出待检测工件的光学面对应的缺陷检测模型，将所述待检测工件的图像输入所述对应的缺陷检测模型，以通过输出缺陷检测模型输出目标检测结果，所述目标检测结果包括目标框和目标类别；
将待检测工件的图像输入实例分割网络，以通过所述实例分割网络获取实例分割结果，通过异常检测网络对每个实例分割结果中属于该实例的每个像素的异常概率进行统计，给出实例分割目标的置信度，根据所述置信度输出异常检测结果；
采用非极大值抑制方法对所述目标检测结果和异常检测结果进行多类别目标框融合，根据融合结果生成缺陷检测结果；
其中，所述光学面聚类算法包括以下步骤：
获取工件的所有光学面的标注数据；
根据所述标注数据提取缺陷特征；
根据每个光学面缺陷数量分布计算每个缺陷特征的权重；
根据所述缺陷特征计算各光学面中每种缺陷的特征均值和方差；
根据所述每种缺陷的特征均值和方差、所述缺陷特征的权重计算两两光学面的相似性；
根据所述相似性进行光学面合并；
将缺陷总数少于第一阈值的光学面组合进行重新分配，重新分配时，搜索每个光学面在该组合外的最相似光学面，并将该光学面合并到最相似光学面所在组合中；
对每个光学面组合进行缺陷类型过滤，将缺陷总数小于第二阈值的缺陷类型过滤掉；
根据过滤后的光学面组合输出光学面聚类结果和所述光学面对应的缺陷类型；
根据所述光学面对应的缺陷类型获取光学面对应的缺陷检测模型。
2.根据权利要求1所述的工业检测中的缺陷检测方法，其特征在于，根据以下公式计算每个缺陷特征的权重：
；
其中，w d 为缺陷d的缺陷特征的权重，Z为归一化参数，p d 为缺陷d所在光学面中缺陷d的数量与所有光学面的缺陷d总数的比值，T p 为第三阈值，k d 为缺陷数量权重，n d 为缺陷d所在光学面中缺陷d的数量，r d 为缺陷d的数量在所述光学面缺陷总数中的占比权重，m d 为缺陷d的数量在所在光学面缺陷总数中的占比，T r 为第四阈值，T k 为第五阈值。
3.根据权利要求2所述工业检测中的缺陷检测方法，其特征在于，根据以下公式计算所述两两光学面的相似性：
，
；
其中，S(i,j)为光学面i和光学面j的相似性，w i,d 为光学面i缺陷d的缺陷特征的权重，w j,d 为光学面j缺陷d的缺陷特征的权重，v i,d 为光学面i缺陷d的缺陷特征向量，v j,d 为光学面j缺陷d的缺陷特征向量，μ i,d 为光学面i缺陷d的特征均值，μ j,d 为光学面j缺陷d的特征均值，为光学面i缺陷d的方差。
4.根据权利要求1所述的工业检测中的缺陷检测方法，其特征在于，所述实例分割网络包括： Mask R-CNN，所述异常检测网络包括：GANomaly。
5.一种工业检测中的缺陷检测装置，其特征在于，包括：
目标检测模块，所述目标检测模块用于获取待检测工件的图像，采用光学面聚类算法输出待检测工件的光学面对应的缺陷检测模型，将所述待检测工件的图像输入所述对应的缺陷检测模型，以通过输出缺陷检测模型输出目标检测结果，所述目标检测结果包括目标框和目标类别；
异常检测模块，所述异常检测模块用于将待检测工件的图像输入实例分割网络，以通过所述实例分割网络获取实例分割结果，通过异常检测网络对每个实例分割结果中属于该实例的每个像素的异常概率进行统计，给出实例分割目标的置信度，根据所述置信度输出异常检测结果；
生成模块，所述生成模块用于采用非极大值抑制方法对所述目标检测结果和异常检测结果进行多类别目标框融合，根据融合结果生成缺陷检测结果；
其中，所述目标检测模块具体用于：
获取工件的所有光学面的标注数据；
根据所述标注数据提取缺陷特征；
根据每个光学面缺陷数量分布计算每个缺陷特征的权重；
根据所述缺陷特征计算各光学面中每种缺陷的特征均值和方差；
根据所述每种缺陷的特征均值和方差、所述缺陷特征的权重计算两两光学面的相似性；
根据所述相似性进行光学面合并；
将缺陷总数少于第一阈值的光学面组合进行重新分配，重新分配时，搜索每个光学面在该组合外的最相似光学面，并将该光学面合并到最相似光学面所在组合中；
对每个光学面组合进行缺陷类型过滤，将缺陷总数小于第二阈值的缺陷类型过滤掉；
根据过滤后的光学面组合输出光学面聚类结果和所述光学面对应的缺陷类型；
根据所述光学面对应的缺陷类型获取光学面对应的缺陷检测模型。
6.根据权利要求5所述的工业检测中的缺陷检测装置，其特征在于，所述目标检测模块具体根据以下公式计算每个缺陷特征的权重：
；
其中，w d 为缺陷d的缺陷特征的权重，Z为归一化参数，p d 为缺陷d所在光学面中缺陷d的数量与所有光学面的缺陷d总数的比值，T p 为第三阈值，k d 为缺陷数量权重，n d 为缺陷d所在光学面中缺陷d的数量，r d 为缺陷d的数量在所述光学面缺陷总数中的占比权重，m d 为缺陷d的数量在所在光学面缺陷总数中的占比，T r 为第四阈值，T k 为第五阈值。
7.根据权利要求6所述的工业检测中的缺陷检测装置，其特征在于，所述目标检测模块具体根据以下公式计算所述两两光学面的相似性：
，
；
其中，S(i,j)为光学面i和光学面j的相似性，w i,d 为光学面i缺陷d的缺陷特征的权重，w j,d 为光学面j缺陷d的缺陷特征的权重，v i,d 为光学面i缺陷d的缺陷特征向量，v j,d 为光学面j缺陷d的缺陷特征向量，μ i,d 为光学面i缺陷d的特征均值，μ j,d 为光学面j缺陷d的特征均值，为光学面i缺陷d的方差。
8.根据权利要求5所述的工业检测中的缺陷检测装置，其特征在于，所述实例分割网络包括： Mask R-CNN，所述异常检测网络包括：GANomaly。
CN202310993738.1A 2023-08-09 2023-08-09 工业检测中的缺陷检测方法、缺陷检测装置 Active CN116721098B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310993738.1A CN116721098B (zh) 2023-08-09 2023-08-09 工业检测中的缺陷检测方法、缺陷检测装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310993738.1A CN116721098B (zh) 2023-08-09 2023-08-09 工业检测中的缺陷检测方法、缺陷检测装置

Publications (2)

Publication Number Publication Date
CN116721098A CN116721098A (zh) 2023-09-08
CN116721098B true CN116721098B (zh) 2023-11-14

Family

ID=87875512

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310993738.1A Active CN116721098B (zh) 2023-08-09 2023-08-09 工业检测中的缺陷检测方法、缺陷检测装置

Country Status (1)

Country Link
CN (1) CN116721098B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006250876A (ja) * 2005-03-14 2006-09-21 Seiko Epson Corp 光学パネル検査方法、光学パネル検査装置、光学パネル検査プログラムおよびこのプログラムを記録した記録媒体
CN111951238A (zh) * 2020-08-04 2020-11-17 上海微亿智造科技有限公司 产品缺陷检测方法
CN112233119A (zh) * 2020-12-16 2021-01-15 常州微亿智造科技有限公司 工件缺陷质检方法、装置及系统
CN112505056A (zh) * 2021-02-08 2021-03-16 常州微亿智造科技有限公司 缺陷检测方法和装置
CN113077453A (zh) * 2021-04-15 2021-07-06 华南理工大学 一种基于深度学习的电路板元器件缺陷检测方法
CN113096130A (zh) * 2021-06-09 2021-07-09 常州微亿智造科技有限公司 物件缺陷的检测方法、装置
CN114549489A (zh) * 2022-02-26 2022-05-27 上海可明科技有限公司 一种面向雕花口红质检的实例分割缺陷检测方法
CN115311247A (zh) * 2022-08-25 2022-11-08 常州微亿智造科技有限公司 缺陷分类修正的方法及其工件外观检测的应用
CN115641437A (zh) * 2022-10-21 2023-01-24 华中科技大学 工业缺陷实例分割方法
CN115861315A (zh) * 2023-02-27 2023-03-28 常州微亿智造科技有限公司 缺陷检测方法和装置
CN116109639A (zh) * 2023-04-13 2023-05-12 常州微亿智造科技有限公司 基于多任务学习网络的缺陷检测方法及装置
WO2023097637A1 (zh) * 2021-12-03 2023-06-08 宁德时代新能源科技股份有限公司 一种用于缺陷检测的方法和系统
CN116309292A (zh) * 2022-12-30 2023-06-23 沈阳派得林科技有限责任公司 一种基于视觉转换层与实例分割的焊缝缺陷智能识别方法
CN116485735A (zh) * 2023-04-06 2023-07-25 深兰人工智能应用研究院(山东)有限公司 缺陷检测方法、装置、电子设备及计算机可读存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006250876A (ja) * 2005-03-14 2006-09-21 Seiko Epson Corp 光学パネル検査方法、光学パネル検査装置、光学パネル検査プログラムおよびこのプログラムを記録した記録媒体
CN111951238A (zh) * 2020-08-04 2020-11-17 上海微亿智造科技有限公司 产品缺陷检测方法
CN112233119A (zh) * 2020-12-16 2021-01-15 常州微亿智造科技有限公司 工件缺陷质检方法、装置及系统
CN112505056A (zh) * 2021-02-08 2021-03-16 常州微亿智造科技有限公司 缺陷检测方法和装置
CN113077453A (zh) * 2021-04-15 2021-07-06 华南理工大学 一种基于深度学习的电路板元器件缺陷检测方法
CN113096130A (zh) * 2021-06-09 2021-07-09 常州微亿智造科技有限公司 物件缺陷的检测方法、装置
WO2023097637A1 (zh) * 2021-12-03 2023-06-08 宁德时代新能源科技股份有限公司 一种用于缺陷检测的方法和系统
CN114549489A (zh) * 2022-02-26 2022-05-27 上海可明科技有限公司 一种面向雕花口红质检的实例分割缺陷检测方法
CN115311247A (zh) * 2022-08-25 2022-11-08 常州微亿智造科技有限公司 缺陷分类修正的方法及其工件外观检测的应用
CN115641437A (zh) * 2022-10-21 2023-01-24 华中科技大学 工业缺陷实例分割方法
CN116309292A (zh) * 2022-12-30 2023-06-23 沈阳派得林科技有限责任公司 一种基于视觉转换层与实例分割的焊缝缺陷智能识别方法
CN115861315A (zh) * 2023-02-27 2023-03-28 常州微亿智造科技有限公司 缺陷检测方法和装置
CN116485735A (zh) * 2023-04-06 2023-07-25 深兰人工智能应用研究院(山东)有限公司 缺陷检测方法、装置、电子设备及计算机可读存储介质
CN116109639A (zh) * 2023-04-13 2023-05-12 常州微亿智造科技有限公司 基于多任务学习网络的缺陷检测方法及装置

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
A texture-aware one-stage fabric defect detection network with adaptive feature fusion and multi-task training;Bingyu Lu 等;《Journal of Intelligent Manufacturing》;1-14 *
Attention-Guided Multitask Learning for Surface Defect Identification;Vignesh Sampath 等;《IEEE TRANSACTIONS ON INDUSTRIAL INFORMATICS》;第19卷(第9期);9713-9721 *
GANomaly: Semi-Supervised Anomaly Detection via Adversarial Training;Samet Akcay 等;《arXiv》;1-16 *
Surface Defect Detection Methods for Industrial Products: A Review;Yajun Chen 等;《applied sciences》;1-25 *
基于GAN的异常检测研究综述;樊富有 等;《宜宾学院学报》;第23卷(第6期);1-10 *
基于图像识别技术的轨道交通缺陷检测研究;马茜 等;《计算技术与自动化》;第41卷(第1期);117-122 *
基于改进Mask R-CNN 的金属板材表面缺陷检测;蔡剑锋 等;《重庆科技学院学报 （ 自然科学版 ）》;第25卷(第2期);110-116 *

Also Published As

Publication number Publication date
CN116721098A (zh) 2023-09-08

Similar Documents

Publication Publication Date Title
CN107133948B (zh) 基于多任务卷积神经网络的图像模糊与噪声评测方法
Zotin et al. Edge detection in MRI brain tumor images based on fuzzy C-means clustering
US20180253836A1 (en) Method for automated detection of defects in cast wheel products
CN116205919B (zh) 基于人工智能的五金零件生产质量检测方法及系统
WO2019096952A1 (en) A system and method for single image object density estimation
CN107220649A (zh) 一种素色布匹缺陷检测和分类方法
CN111507426B (zh) 基于视觉融合特征的无参考图像质量分级评价方法及装置
US20060204953A1 (en) Method and apparatus for automated analysis of biological specimen
Hamad et al. Brain's tumor edge detection on low contrast medical images
CN110647876B (zh) 一种血涂片全视野智能分析方法
Nair et al. Direction based adaptive weighted switching median filter for removing high density impulse noise
KR20220022091A (ko) 검사 레시피의 자동 최적화
CN112508950B (zh) 异常检测方法和装置
CN111079539A (zh) 一种基于异常追踪的视频异常行为检测方法
KR20220014805A (ko) 반도체 시편의 검사에 사용가능한 훈련 데이터의 생성
Wu et al. Restoration of low-informative image for robust debris shape measurement in on-line wear debris monitoring
CN111027347A (zh) 一种视频识别方法、装置和计算机设备
Pujar et al. Medical image segmentation based on vigorous smoothing and edge detection ideology
CN116721098B (zh) 工业检测中的缺陷检测方法、缺陷检测装置
CN114419619B (zh) 红细胞检测分类方法、装置、计算机存储介质及电子设备
CN111275045B (zh) 图像的主体识别方法、装置、电子设备和介质
CN114419401A (zh) 白细胞检测识别方法、装置、计算机存储介质及电子设备
Ho et al. AF-Net: A convolutional neural network approach to phase detection autofocus
CN115485740A (zh) 异常晶片图像分类
Swarnalatha et al. A centroid model for the depth assessment of images using rough fuzzy set techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant