CN114897869A - 基于工业缺陷检测的分割模型评价方法 - Google Patents

基于工业缺陷检测的分割模型评价方法 Download PDF

Info

Publication number
CN114897869A
CN114897869A CN202210609009.7A CN202210609009A CN114897869A CN 114897869 A CN114897869 A CN 114897869A CN 202210609009 A CN202210609009 A CN 202210609009A CN 114897869 A CN114897869 A CN 114897869A
Authority
CN
China
Prior art keywords
area
inference result
inference
segmentation model
areas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210609009.7A
Other languages
English (en)
Inventor
都卫东
和江镇
祝伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Focusight Technology Co Ltd
Original Assignee
Focusight Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Focusight Technology Co Ltd filed Critical Focusight Technology Co Ltd
Priority to CN202210609009.7A priority Critical patent/CN114897869A/zh
Publication of CN114897869A publication Critical patent/CN114897869A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/7625—Hierarchical techniques, i.e. dividing or merging patterns to obtain a tree-like representation; Dendograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Pure & Applied Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Operations Research (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于工业缺陷检测的分割模型评价方法，以推理结果作为参考，将标注中的每个缺陷的标注区域与推理结果中分割的缺陷区域比对，比较区域间是否有交集，有交集的两个区域类别是否一致，统计出正确检出数量、误分类数量、漏检的缺陷数量，得到漏检缺陷数量上的评价值；以标注作为参考，将推理结果中分割出的每个缺陷区域与标注中的每个缺陷的标注区域进行对比，统计出推理结果中与标注中不存在交集的区域数量，即过杀区域的数量，并得到过杀数量上的评价值；通过漏检缺陷数量上的评价值以及过杀区域的数量的评价值得出最终分割模型的评价值。本发明降低了人工检查分割测试结果的工作量；训练中选择的模型更符合实际应用场景需要的效果。

Description

基于工业缺陷检测的分割模型评价方法
技术领域
本发明涉及图像视觉检测技术领域，尤其是一种基于工业缺陷检测的分割模型评价方法。
背景技术
分割模型是对图片的每个像素都做分类，当前最流行的语义分割方法评估都是基于像素标记为基础完成的。在实际工业应用的场景中，评价模型的检出能力通常是比较缺陷的检出数量，区别于主流的像素层面的评价指标。
PA(Pixel Accuracy)是最简单的度量计算，总的像素跟预测正确像素的比率，这个指标在目标小，黑色背景大的时候，用来对比效果不是很明显。MPA(Mean PixelAccuracy)是基于每个类别正确的像素总数与每个类别总数比率求和得到的均值。MIoU(mean Intersection over Union)它是通过计算图像像素每个类的IoU值累加后的平均值来度量。FWIoU(Frequency Weighted Intersection over Union)是MIoU的改进版本，它会根据每个分类出现频率，对每个分类给予不同权重。
但是，现有的工业检测中，通常缺陷区域只占整张图像很小的比例，可能只有几个像素大小。而对于小且严重的缺陷，在漏检的情况下用传统的评价方法仍然可以获得很高的评价值，因此，现有的评价方法无法准确反映模型对下缺陷的检出情况。
发明内容
本发明要解决的技术问题是：提供一种基于工业缺陷检测的分割模型评价方法，解决人工检查、统计检测结果工作繁琐的问题；解决通过传统的模型评价方法选择的模型难以准确体现工业检测中过杀漏检数量是否为最优的问题。
本发明解决其技术问题所采用的技术方案是：一种基于工业缺陷检测的分割模型评价方法，包括以下步骤，
S1、选择标注和推理结果的连通域，并检测连通域是否有交集；
S2、检测任意一个连通域的最大内接圆圆心是否在另一个连通域内；
S3、判断连通域类别是否相同；
S4、找到对应类别的连通域，判定当前类别推理结果正确，结束当前连通域查找；
S5、用推理结果与标注对比，找出每个推理结果区域最近的标注区域；
S6、判断与推理结果区域对应的标注是否被正确检出；
S7、推理与标注类别是否相同；
S8、将推理区域与标注区域的面积以及距离与阈值进行比较，检出当前推理区域是否为过杀区域；
S9、将同类别的推理区域进行层次聚类，计算聚类中心的数量；
S10、统计各个类的聚类中心数量，聚类中心的数量就是需要统计的过杀数量。
本发明以推理结果作为参考，将label中的每个缺陷的标注区域与推理结果中分割的缺陷区域比对，比较区域间是否有交集，有交集的两个区域类别是否一致，统计出正确检出和误分类的区域数量。Label中没有找到与推理结果有交集的区域，即为漏检区域。以推理结果为参考，将所有label中的区域进行比较后就可以统计出当前推理结果中存在的正确检出数量
Figure BDA0003672634770000021
误分类数量
Figure BDA0003672634770000022
漏检的缺陷数量
Figure BDA0003672634770000023
并得到漏检缺陷数量上的评价值
Figure BDA0003672634770000024
以label作为参考，将推理结果中分割出的每个缺陷区域与label中的每个缺陷的标注区域进行对比，统计出推理结果中与label中不存在交集的区域数量，即为过杀区域的数量
Figure BDA0003672634770000031
并得到过杀数量上的评价值
Figure BDA0003672634770000032
然后通过漏检缺陷数量上的评价值
Figure BDA0003672634770000033
以及过杀区域的数量
Figure BDA0003672634770000034
的评价值
Figure BDA0003672634770000035
得出最终分割模型的评价值。
本发明的有益效果是，解决了背景技术中存在的缺陷，通过算法比对推理结果与标注的mask图片，分析标注连通域与推理结果连通域之间的关系，统计缺陷正确检出、过杀、漏检的数量；用过杀、漏检数量结合过杀漏检的面积，计算评价值，在训练过程中对模型训练状态从过杀漏检数量的层面进行评估；降低了人工检查分割测试结果的工作量；训练中选择的模型更符合实际应用场景需要的效果。
附图说明
图1是本发明统计主流程图；
图2是本发明统计辅流程图。
具体实施方式
现在结合附图和优选实施例对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
如图1-图2所示的一种基于工业缺陷检测的分割模型评价方法，根据标注结果和推理结果进行混淆矩阵统计，计算所有测试样本的漏检和过杀数量，然后根据漏检和过杀数量来计算分割模型的评价值。具体步骤如下：
S1、选择标注和推理结果的连通域，并检测连通域是否有交集；
是，则进行步骤S2；否，则判断当前连通域是否查找结束；若判定为查找结束，则标注连通域未找到与推理结果对应的连通域，则当前类别连通域存在漏检；
S2、检测任意一个连通域的最大内接圆圆心是否在另一个连通域内；
是，则进行步骤S3；否，则将标注与推理结果连通域IOU与阈值进行比较；大于设定阈值则进行步骤S3，小于设定阈值则判定当前类别连通域存在漏检；
S3、判断连通域类别是否相同；
是，则进行步骤S4；否，则认定当前连通域存在误分类；
S4、找到对应类别的连通域，判定当前类别推理结果正确，结束当前连通域查找；
图1主要目的是统计混淆矩阵中各个类别的正确检测、误分类、漏检部分的数量，以推理结果作为参考，将label中的每个缺陷的标注区域与推理结果中分割的缺陷区域比对，比较区域间是否有交集，有交集的两个区域类别是否一致，统计出正确检出和误分类的区域数量。Label中没有找到与推理结果有交集的区域，即为漏检区域。以推理结果为参考，将所有label中的区域进行比较后就可以统计出当前推理结果中存在的正确检出数量
Figure BDA0003672634770000041
误分类数量
Figure BDA0003672634770000042
漏检的缺陷数量
Figure BDA0003672634770000043
对于漏检缺陷数量上的评价值
Figure BDA0003672634770000044
计算方法如公式(1)所示：
Figure BDA0003672634770000045
S5、用推理结果与标注对比，找出每个推理结果区域最近的标注区域；
S6、判断与推理结果区域对应的标注是否被正确检出；
是，则进行步骤S7；否，则判定当前的推理区域为过杀区域；
S7、推理与标注类别是否相同；
是，则进行步骤S8；否，则将推理区域与标注区域的面积和距离与设定阈值进行比较，超过设定阈值则比较推理区域缺陷等级是否高于标注区域，若高于，则当前的推理区域为过杀区域；如不高于，则进行步骤S9；
S8、将推理区域与标注区域的面积以及距离与阈值进行比较，检出当前推理区域是否为过杀区域；
S9、将同类别的推理区域进行层次聚类，计算聚类中心的数量；
S10、统计各个类的聚类中心数量，聚类中心的数量就是需要统计的过杀数量。
图2主要目的是统计过杀的数量；以label作为参考，将推理结果中分割出的每个缺陷区域与label中的每个缺陷的标注区域进行对比，统计出推理结果中与label中不存在交集的区域数量，即为过杀区域的数量
Figure BDA0003672634770000051
对于过杀数量上的评价值
Figure BDA0003672634770000052
计算方法如公式(2)所示：
Figure BDA0003672634770000053
由前两步混淆矩阵中统计出的缺陷过杀、漏检的数量，计算评价方法。其中过杀、漏检面积的评价方法参考MIoU的计算方法：
Figure BDA0003672634770000054
其中k表示类别数，pii表示类别为i，推理结果为i的像素点数，pij和pji分别表示类别为i推理结果为j、类别为j推理结果为i的像素点数。
最终分割模型的评价值的计算方法修改为：
Figure BDA0003672634770000055
其中pi0表示类别i推理为了正常类别，即表示漏检，同理p0i表示过杀。
由于从像素层面难以准确评价模型在工业缺陷检测上的分割效果，因此，本发明通过比对推理结果与标注的mask图片，分析标注连通域与推理结果连通域之间的关系，统计缺陷正确检出、过杀、漏检的数量；
但是，仅通过模型对缺陷检出数量来评价模型还会存在问题，当模型训练过程中收敛到趋于将整张图片全部分割出来的状态时，漏检率几乎为零，整张图片也仅统计为另外一个过杀，因此在计算过杀数量的评价值、漏检数量的评价值的同时，还需要计算漏检面积、过杀面积的评价。
本发明通过实现自动化统计模型在测试集上缺陷过杀漏检数量，降低了人工检查分割测试结果的工作量，通过缺陷过杀漏检数量、面积上计算的评价值使训练中选择的模型更符合实际应用场景需要的效果。能更准确反映模型训练过程中对缺陷的检出状态。能够快速自动分析模型在测试集上的缺陷检出状态，协助开发人员对模型调优。
以上说明书中描述的只是本发明的具体实施方式，各种举例说明不对本发明的实质内容构成限制，所属技术领域的普通技术人员在阅读了说明书后可以对以前所述的具体实施方式做修改或变形，而不背离发明的实质和范围。

Claims (5)

1.一种基于工业缺陷检测的分割模型评价方法，其特征在于：包括以下步骤，
S1、选择标注和推理结果的连通域，并检测连通域是否有交集；
S2、检测任意一个连通域的最大内接圆圆心是否在另一个连通域内；
S3、判断连通域类别是否相同；
S4、找到对应类别的连通域，判定当前类别推理结果正确，结束当前连通域查找；
S5、用推理结果与标注对比，找出每个推理结果区域最近的标注区域；
S6、判断与推理结果区域对应的标注是否被正确检出；
S7、推理与标注类别是否相同；
S8、将推理区域与标注区域的面积以及距离与阈值进行比较，检出当前推理区域是否为过杀区域；
S9、将同类别的推理区域进行层次聚类，计算聚类中心的数量；
S10、统计各个类的聚类中心数量，聚类中心的数量就是需要统计的过杀数量。
2.如权利要求1所述的基于工业缺陷检测的分割模型评价方法，其特征在于：所述的标注中没有找到与推理结果有交集的区域，即为漏检区域。
3.如权利要求2所述的基于工业缺陷检测的分割模型评价方法，其特征在于：将所有标注中的区域进行比较后就可以统计出当前推理结果中存在的正确检出数量
Figure FDA0003672634760000011
误分类数量
Figure FDA0003672634760000012
漏检的缺陷数量
Figure FDA0003672634760000013
所述的漏检缺陷数量上的评价值
Figure FDA0003672634760000014
的计算公式为：
Figure FDA0003672634760000015
4.如权利要求3所述的基于工业缺陷检测的分割模型评价方法，其特征在于：所述的过杀区域的数量
Figure FDA0003672634760000021
的评价值
Figure FDA0003672634760000022
的计算公式为：
Figure FDA0003672634760000023
5.如权利要求4所述的基于工业缺陷检测的分割模型评价方法，其特征在于：通过漏检缺陷数量上的评价值
Figure FDA0003672634760000024
以及过杀区域的数量
Figure FDA0003672634760000025
的评价值
Figure FDA0003672634760000026
得出最终分割模型的评价值的计算公式为：
Figure FDA0003672634760000027
其中，k表示类别数，pii表示类别为i，推理结果为i的像素点数，pij和pji分别表示类别为i推理结果为j、类别为j推理结果为i的像素点数，pi0表示类别i推理为正常类别，即表示漏检，同理p0i表示过杀。
CN202210609009.7A 2022-05-31 2022-05-31 基于工业缺陷检测的分割模型评价方法 Pending CN114897869A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210609009.7A CN114897869A (zh) 2022-05-31 2022-05-31 基于工业缺陷检测的分割模型评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210609009.7A CN114897869A (zh) 2022-05-31 2022-05-31 基于工业缺陷检测的分割模型评价方法

Publications (1)

Publication Number Publication Date
CN114897869A true CN114897869A (zh) 2022-08-12

Family

ID=82726876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210609009.7A Pending CN114897869A (zh) 2022-05-31 2022-05-31 基于工业缺陷检测的分割模型评价方法

Country Status (1)

Country Link
CN (1) CN114897869A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115376074A (zh) * 2022-10-25 2022-11-22 济南信通达电气科技有限公司 输电线路监拍装置识别效果评估方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115376074A (zh) * 2022-10-25 2022-11-22 济南信通达电气科技有限公司 输电线路监拍装置识别效果评估方法及系统

Similar Documents

Publication Publication Date Title
TWI525317B (zh) 整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法
CN110363182B (zh) 基于深度学习的车道线检测方法
US11816579B2 (en) Method and apparatus for detecting defect pattern on wafer based on unsupervised learning
CN115147414B (zh) 一种双极型功率晶体管表面击穿缺陷检测方法
WO2017190574A1 (zh) 一种基于聚合通道特征的快速行人检测方法
CN109285139A (zh) 一种基于深度学习的x射线成像焊缝检测方法
CN115690108A (zh) 一种基于图像处理的铝合金杆生产质量评估方法
CN115082444B (zh) 一种基于图像处理的铜管焊缝缺陷检测方法及系统
CN112465746B (zh) 一种射线底片中小缺陷检测方法
CN115272652A (zh) 基于多元回归和自适应焦点损失的密集物体图像检测方法
Zhang et al. Investigation of pavement crack detection based on deep learning method using weakly supervised instance segmentation framework
TW202127371A (zh) 基於圖像的瑕疵檢測方法及電腦可讀存儲介質
CN115719332A (zh) 一种焊接质量检测方法
CN113313149B (zh) 一种基于注意力机制和度量学习的菜品识别方法
CN113724219A (zh) 基于卷积神经网络的建筑物表面病害检测方法及系统
CN114882026A (zh) 基于人工智能的传感器外壳缺陷检测方法
CN115631472B (zh) 一种高速公路行人闯入智能检测方法
CN114897869A (zh) 基于工业缺陷检测的分割模型评价方法
CN110648323A (zh) 一种缺陷检测分类系统及其方法
CN118279304B (zh) 基于图像处理的异型金属件异常识别方法、装置及介质
CN113989487A (zh) 一种面向实景调度的故障缺陷检测方法及系统
CN109543498A (zh) 一种基于多任务网络的车道线检测方法
CN114581654A (zh) 一种基于互感器状态监测方法及装置
CN108230322B (zh) 一种基于弱样本标记的眼底特征检测装置
CN114648683B (zh) 基于不确定性分析的神经网络性能提升方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination