CN117372424A - 一种缺陷检测方法、装置、设备及存储介质 - Google Patents

一种缺陷检测方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN117372424A
CN117372424A CN202311648311.4A CN202311648311A CN117372424A CN 117372424 A CN117372424 A CN 117372424A CN 202311648311 A CN202311648311 A CN 202311648311A CN 117372424 A CN117372424 A CN 117372424A
Authority
CN
China
Prior art keywords
defect
type
original image
defects
detection model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311648311.4A
Other languages
English (en)
Other versions
CN117372424B (zh
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shuzhilian Technology Co Ltd
Original Assignee
Chengdu Shuzhilian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shuzhilian Technology Co Ltd filed Critical Chengdu Shuzhilian Technology Co Ltd
Priority to CN202311648311.4A priority Critical patent/CN117372424B/zh
Publication of CN117372424A publication Critical patent/CN117372424A/zh
Application granted granted Critical
Publication of CN117372424B publication Critical patent/CN117372424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种缺陷检测方法、装置、设备及存储介质，涉及缺陷检测技术领域，用于解决缺陷漏检的问题。该方法包括：将原始图像输入训练后的目标检测模型中进行缺陷预测，预测所述原始图像中是否存在第一类缺陷；其中，所述第一类缺陷为所述训练后的目标检测模型学习过的缺陷；若确定所述原始图像中不存在第一类缺陷，则将所述原始图像输入训练后的无监督异常检测模型中进行异常缺陷检测，确定所述原始图像中是否存在第二类缺陷；其中，所述第二类缺陷为训练后的无监督异常检测模型未学习过的缺陷；若确定所述原始图像中存在第二类缺陷，则输出所述第二类缺陷的名称和坐标信息。

Description

一种缺陷检测方法、装置、设备及存储介质
技术领域
本申请涉及缺陷检测技术领域，提供一种缺陷检测方法、装置、设备及存储介质。
背景技术
众所周知，缺陷检测任务是现有工业面板制造产线上十分普遍且重要的一环，目前，为了保证产品的良率、提升缺陷检测的速度和准确率，在现有技术中，常常采用“人工神经网络”或者“传统计算机视觉”的方式来替代“人工”进行缺陷检测工作，例如，使用卷积神经网络对面板缺陷数据进行大规模训练建模，并基于训练后的模型进一步对实际场景中的面板缺陷进行预测判断。
目前，在工业界中，常使用YOLOv5模型来进行图像的目标检测工作，以大幅度的提升缺陷检测的准确率和召回率，但该方式也有一定的弊端，例如，面对数量较大的训练集时，YOLOv5模型为了保证精度不得不使用大模型进行训练，进而，导致训练往往耗时较长。此外，YOLOv5模型作为一种监督学习模型，在面对未出现过的大面积异常缺陷时，容易发生漏检的现象。
因此，如何避免缺陷漏检是目前亟待解决的问题。
发明内容
本申请实施例提供一种缺陷检测方法、装置、设备及存储介质，用于解决缺陷漏检的问题。
一方面，提供一种缺陷检测方法，所述方法包括：
将原始图像输入训练后的目标检测模型中进行缺陷预测，预测所述原始图像中是否存在第一类缺陷；其中，所述第一类缺陷为所述训练后的目标检测模型学习过的缺陷；
若确定所述原始图像中不存在第一类缺陷，则将所述原始图像输入训练后的无监督异常检测模型中进行异常缺陷检测，确定所述原始图像中是否存在第二类缺陷；其中，所述第二类缺陷为训练后的无监督异常检测模型未学习过的缺陷；
若确定所述原始图像中存在第二类缺陷，则输出所述第二类缺陷的名称和坐标信息。
本申请的有益效果为：由于依次通过训练后的目标检测模型和训练后的无监督异常检测模型对原始图像进行了缺陷检测，因此，大大提高了缺陷检测精度。此外，由于训练后的无监督异常检测模型可以对未学习过的缺陷进行检测，因此，在进一步提高缺陷检测精度的同时，还可以大大避免缺陷漏检现象出现。
在一种实现方式中，在将原始图像输入训练后的目标检测模型中进行缺陷预测，预测所述原始图像中是否存在第一类缺陷之后，所述方法还包括：
若确定所述原始图像中存在第一类缺陷，则计算出所述第一类缺陷的置信度；
确定所述置信度是否超过预设的置信度阈值；
若确定所述置信度超过预设的置信度阈值，则输出所述第一类缺陷的名称和Bbox坐标。
本申请的有益效果为：可以通过计算出第一类缺陷的置信度，来减少误检的现象，以提高缺陷检测的准确性和可靠性。
在一种实现方式中，在确定所述置信度是否超过预设的置信度阈值之后，所述方法还包括：
若确定所述置信度不超过预设的置信度阈值，则转入人工处理流程。
本申请的有益效果为：在置信度不超过预设的置信度阈值，为进一步提高缺陷检测的精度，可以通过转入人工处理流程，来让缺陷检测的工作人员对当前的缺陷进行判定。
在一种实现方式中，所述若确定所述原始图像中存在第二类缺陷，则输出所述第二类缺陷的名称和坐标信息，包括：
若确定所述原始图像中存在第二类缺陷，则确定所述第二类缺陷的尺寸；
确定所述第二类缺陷的尺寸是否超过预设的尺寸阈值；
若确定所述尺寸超过预设的尺寸阈值，则输出所述第二类缺陷的名称和Bbox坐标。
本申请的有益效果为：为进一步提高缺陷检测的精度，在确定原始图像中存在第二类缺陷时，可以进一步通过缺陷尺寸，来筛选掉一些尺寸较小的缺陷（误检测的缺陷），以进一步提高缺陷检测的精度。
在一种实现方式中，在确定所述第二类缺陷的尺寸是否超过预设的尺寸阈值之后，所述方法包括：
若确定所述第二类缺陷的尺寸不超过预设的尺寸阈值，则确定所述原始图像为正常无缺陷图像，并输出所述原始图像。
本申请的有益效果为：在缺陷尺寸不超过预设的尺寸阈值时，即，缺陷由于尺寸较小可以忽略不计，或该小缺陷在容许范围内时，可以直接判定原始图像为正常无缺陷图像。
在一种实现方式中，在若确定所述原始图像中不存在第一类缺陷，则将所述原始图像输入训练后的无监督异常检测模型中进行异常缺陷检测，确定所述原始图像中是否存在第二类缺陷之后，所述方法还包括：
若确定所述原始图像中不存在第二类缺陷，则确定所述原始图像为正常无缺陷图像，并输出所述原始图像。
本申请的有益效果为：在原始图像中不存在第二类缺陷时，即，原始图像即不存在第一类缺陷，又不存在第二类缺陷时，便可以直接将原始图像判定为正常无缺陷图像。
在一种实现方式中，所述目标检测模型为YOLOv8模型。
本申请的有益效果为：当目标检测模型为YOLOv8模型，可以极大的提高检测精度和检测速度。
在一种实现方式中，在将原始图像输入训练后的目标检测模型中进行缺陷预测，预测所述原始图像中是否存在第一类缺陷之前，所述方法还包括：
对实时采集的多张有缺陷图进行标注，形成缺陷图像数据集；
对实时采集的多张无缺陷图进行统计，形成正常图像数据集。
本申请的有益效果为：由于缺陷图像数据集和正常图像数据集中的图像均为实时采集的，因此，可以大大的保证训练数据集的时效性与有效性，以进一步提高缺陷检测的精度。
在一种实现方式中，在将原始图像输入训练后的目标检测模型中进行缺陷预测，预测所述原始图像中是否存在第一类缺陷之前，所述方法还包括：
将所述缺陷图像数据集输入至初始目标检测模型中进行训练，获得训练后的目标检测模型；其中，所述训练后的目标检测模型用于识别所述原始图像中的第一类缺陷。
本申请的有益效果为：由于是通过实时的缺陷图像数据集来对初始目标检测模型进行训练，因此，可以大大的保证训练后的目标检测模型的时效性与有效性，以进一步提高缺陷检测的精度。
在一种实现方式中，在将原始图像输入训练后的目标检测模型中进行缺陷预测，预测所述原始图像中是否存在第一类缺陷之前，所述方法还包括：
将所述正常图像数据集输入至初始无监督异常检测模型中进行训练，获得训练后的无监督异常检测模型；其中，所述训练后的无监督异常检测模型用于识别第二类缺陷。
本申请的有益效果为：由于是通过实时的正常图像数据集来对初始无监督异常检测模型进行训练，因此，可以大大的保证训练后的无监督异常检测模型的时效性与有效性，以进一步提高缺陷检测的精度。
一方面，提供一种缺陷检测装置，所述装置包括：
缺陷预测单元，用于将原始图像输入训练后的目标检测模型中进行缺陷预测，预测所述原始图像中是否存在第一类缺陷；其中，所述第一类缺陷为所述训练后的目标检测模型学习过的缺陷；
异常缺陷检测单元，用于若确定所述原始图像中不存在第一类缺陷，则将所述原始图像输入训练后的无监督异常检测模型中进行异常缺陷检测，确定所述原始图像中是否存在第二类缺陷；其中，所述第二类缺陷为训练后的无监督异常检测模型未学习过的缺陷；
输出单元，用于若确定所述原始图像中存在第二类缺陷，则输出所述第二类缺陷的名称和坐标信息。
一方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一种方法。
一方面，提供一种计算机存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述任一种方法。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种应用场景示意图；
图2为本申请实施例提供的缺陷检测方法的一种流程示意图；
图3为本申请实施例提供的缺陷检测输出结果的一种示意图；
图4为本申请实施例提供的缺陷检测装置的一种示意图。
图中标记：10-缺陷检测设备，101-处理器，102-存储器，103-I/O接口，104-数据库，40-缺陷检测装置，401-缺陷预测单元，402-异常缺陷检测单元，403-输出单元，404-人工处理单元，405-数据集形成单元，406-模型训练单元。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
众所周知，缺陷检测任务是现有工业面板制造产线上十分普遍且重要的一环，目前，为了保证产品的良率、提升缺陷检测的速度和准确率，在现有技术中，常常采用“人工神经网络”或者“传统计算机视觉”的方式来替代“人工”进行缺陷检测工作，例如，使用卷积神经网络对面板缺陷数据进行大规模训练建模，并基于训练后的模型进一步对实际场景中的面板缺陷进行预测判断。
目前，在工业界中，常使用YOLOv5模型来进行图像的目标检测工作，以大幅度的提升缺陷检测的准确率和召回率，但该方式也有一定的弊端，例如，面对数量较大的训练集时，YOLOv5模型为了保证精度不得不使用大模型进行训练，进而，导致训练往往耗时较长。此外，YOLOv5模型作为一种监督学习模型，在面对未出现过的大面积异常缺陷时，容易发生漏检的现象。
基于此，本申请实施例提供一种缺陷检测方法，在该方法中，首先，可以将原始图像输入训练后的目标检测模型中进行缺陷预测，来预测原始图像中是否存在第一类缺陷；然后，若确定原始图像中不存在第一类缺陷，则可以将原始图像输入训练后的无监督异常检测模型中进行异常缺陷检测，来确定原始图像中是否存在第二类缺陷；最后，若确定原始图像中存在第二类缺陷，则可以输出第二类缺陷的名称和坐标信息。其中，第一类缺陷为训练后的目标检测模型学习过的缺陷，第二类缺陷为训练后的无监督异常检测模型未学习过的缺陷。因此，在本申请实施例中，由于依次通过训练后的目标检测模型和训练后的无监督异常检测模型对原始图像进行了缺陷检测，因此，大大提高了缺陷检测精度。此外，由于训练后的无监督异常检测模型可以对未学习过的缺陷进行检测，因此，在进一步提高缺陷检测精度的同时，还可以大大避免缺陷漏检现象出现。
在介绍完本申请实施例的设计思想之后，下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施过程中，可以根据实际需要灵活地应用本申请实施例提供的技术方案。
如图1所示，为本申请实施例提供的一种应用场景示意图。该应用场景中可以包括缺陷检测设备10。
其中，缺陷检测设备10可以用于对工业图像进行缺陷检测，例如，可以为个人计算机（Personal Computer，PC）、服务器与手提电脑等。缺陷检测设备10可包括一个或者多个处理器101、存储器102、I/O接口103以及数据库104。具体的，处理器101可以为中央处理单元（central processing unit，CPU），或者为数字处理单元等等。存储器102可以是易失性存储器（volatile memory），例如随机存取存储器（random-access memory，RAM）；存储器102也可以是非易失性存储器（non-volatile memory），例如只读存储器，快闪存储器（flash memory），硬盘（hard disk drive，HDD）或固态硬盘（solid-state drive，SSD）；或者存储器102是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器102可以是上述存储器的组合。存储器102中可以存储本申请实施例提供的缺陷检测方法的部分程序指令，这些程序指令被处理器101执行时能够用以实现本申请实施例提供的缺陷检测方法的步骤，以解决现有技术中的缺陷漏检的问题。数据库104可以用于存储本申请实施例提供的方案中涉及到的原始图像、缺陷图像数据集和正常图像数据集等数据。
在本申请实施例中，缺陷检测设备10可以通过I/O接口103来获取要进行缺陷检测的原始图像，然后，缺陷检测设备10的处理器101会按照存储器102中本申请实施例提供的缺陷检测方法的程序指令来解决现有技术中的缺陷漏检的问题。此外，还可以将原始图像、缺陷图像数据集和正常图像数据集等数据存储于数据库104中。
当然，本申请实施例提供的方法并不限用于图1所示的应用场景中，还可以用于其他可能的应用场景，本申请实施例并不进行限制。对于图1所示的应用场景的各个设备所能实现的功能将在后续的方法实施例中一并进行描述，在此先不过多赘述。下面，将结合附图对本申请实施例的方法进行介绍。
如图2所示，为本申请实施例提供的缺陷检测方法的一种流程示意图，该方法可以通过图1中的缺陷检测设备10来执行，具体的，该方法的流程介绍如下。
步骤201：将原始图像输入训练后的目标检测模型中进行缺陷预测，预测原始图像中是否存在第一类缺陷。
在本申请实施例中，第一类缺陷可以为训练后的目标检测模型学习过的缺陷。该原始图像可以为针对工业零件等所采集的图像。进而，为了提升缺陷检测的速度以及准确率，在本申请实施例中，可以将原始图像输入训练后的目标检测模型中进行缺陷预测，来预测原始图像中是否存在第一类缺陷。
步骤202：若确定原始图像中不存在第一类缺陷，则将原始图像输入训练后的无监督异常检测模型中进行异常缺陷检测，确定原始图像中是否存在第二类缺陷。
在本申请实施例中，第二类缺陷可以为训练后的无监督异常检测模型未学习过的缺陷。进而，为了解决单一监督模型进行工业缺陷检测造成的缺陷漏检问题，在本申请实施例中，若确定原始图像中不存在第一类缺陷，则可以将原始图像输入训练后的无监督异常检测模型中进行异常缺陷检测，来确定原始图像中是否存在第二类缺陷，即，确定原始图像中的工业零件是否为正常工业零件完整形态外貌。
步骤203：若确定原始图像中存在第二类缺陷，则输出第二类缺陷的名称和坐标信息。
在申请实施例中，该坐标信息可以为Bbox坐标。具体的，若确定原始图像中存在第二类缺陷，即，原始图像中的工业零件不为正常工业零件完整形态外貌，则可以输出第二类缺陷的名称和坐标信息，例如，如图3所示，为本申请实施例提供的缺陷检测输出结果的一种示意图，可以直接将第二类缺陷的名称和坐标信息显示在缺陷图像上，其中，第二类缺陷的名称可以为“夹砂结疤”，坐标信息可以为“（234,105）”，以便于后续工作人员为缺陷零件进行二次加工或者报废处理等。
在一种可能的实施方式中，为了减少误检的现象，以进一步提高缺陷检测的准确性和可靠性，在本申请实施例中，可以根据“第一类缺陷的置信度”来进一步确定原始图像是否为缺陷图像。具体的，若确定原始图像中存在第一类缺陷，则可以计算出该第一类缺陷的置信度；然后，可以确定计算出的置信度是否超过预设的置信度阈值；最后，若确定置信度超过预设的置信度阈值，则可以输出第一类缺陷的名称和Bbox坐标。在申请实施例中，可以将预设的置信度阈值设置为0.5或0.7等。
在一种可能的实施方式中，为了进一步提高缺陷检测的精度，在本申请实施例中，若确定计算出的置信度不超过预设的置信度阈值，则可以转入人工处理流程。然后，工作人员可以按照当前的实际情况来确定是将该原始图像确定为缺陷图像，还是正常无缺陷图像，以避免缺陷漏检的现象出现。
在一种可能的实施方式中，为了进一步提高缺陷检测的准确度，在本申请实施例中，可以根据“第二类缺陷的尺寸”来进一步确定原始图像是否为缺陷图像。具体的，若确定原始图像中存在第二类缺陷，则可以确定第二类缺陷的尺寸；然后，可以确定第二类缺陷的尺寸是否超过预设的尺寸阈值；最后，若确定尺寸超过预设的尺寸阈值，则可以输出第二类缺陷的名称和Bbox坐标。因此，在本申请实施例中，可以进一步通过缺陷尺寸，来筛选掉一些尺寸较小的缺陷（误检测的缺陷），以进一步提高缺陷检测的精度，从而，便于后续工作人员为缺陷零件进行二次加工或者报废处理等。
在一种可能的实施方式中，若确定第二类缺陷的尺寸不超过预设的尺寸阈值，即，缺陷由于尺寸较小可以忽略不计，或该小缺陷在容许范围内时，则可以确定原始图像为正常无缺陷图像，并输出该原始图像，以向工作人员进行展示。
在一种可能的实施方式中，若确定原始图像中不存在第二类缺陷，即，原始图像即不存在第一类缺陷，又不存在第二类缺陷时，则可以确定原始图像为正常无缺陷图像，并输出该原始图像，以向工作人员进行展示。
在一种可能的实施方式中，为了缩短目标检测模型的训练时间，并提高检测精度和检测速度，在本申请实施例中，目标检测模型可以为YOLOv8模型，具体的，该YOLOv8模型还可以为YOLOv8模型中的s模型或者m模型，基于此，便可以在大大缩短目标检测模型的训练时间的同时，提高检测精度和检测速度了。
在一种可能的实施方式中，为了大大的保证训练数据集的时效性与有效性，以进一步提高缺陷检测的准确度，在本申请实施例中，可以采用“实时采集的图像”来作为数据集。具体的，首先，可以将这些实时采集的图像分类为缺陷图和无缺陷图，然后，可以对实时采集的多张有缺陷图进行标注，以形成缺陷图像数据集，对实时采集的多张无缺陷图进行统计，以形成正常图像数据集。
在一种可能的实施方式中，为了获得具有较高准确度的训练后的目标检测模型，在本申请实施例中，可以将缺陷图像数据集输入至初始目标检测模型中进行训练，以获得能够正常识别现有缺陷的模型权重，从而，最终获得训练后的目标检测模型；其中，训练后的目标检测模型用于识别原始图像中的第一类缺陷，因此，在本申请实施例中，由于是通过实时的缺陷图像数据集来对初始目标检测模型进行训练，因此，可以大大的保证训练后的目标检测模型的时效性与有效性，以进一步提高缺陷检测的精度。
在一种可能的实施方式中，为了获得具有较高准确度的训练后的无监督异常检测模型，在本申请实施例中，可以将正常图像数据集输入至初始无监督异常检测模型中进行训练，由于初始无监督异常检测模型无需标签文件，因此，可以直接对正常图像数据集进行训练，以获得能够识别异常缺陷的模型权重，从而，最终获得训练后的无监督异常检测模型；其中，训练后的无监督异常检测模型用于识别第二类缺陷，因此，在本申请实施例中，由于是通过实时的正常图像数据集来对初始无监督异常检测模型进行训练，因此，可以大大的保证训练后的无监督异常检测模型的时效性与有效性，以进一步提高缺陷检测的精度。
综上所述，在本申请实施例中，由于依次通过训练后的目标检测模型和训练后的无监督异常检测模型对原始图像进行了缺陷检测，因此，大大提高了缺陷检测精度。此外，由于训练后的无监督异常检测模型可以对未学习过的缺陷进行检测，因此，在进一步提高缺陷检测精度的同时，还可以大大避免缺陷漏检现象出现。
基于同一发明构思，本申请实施例提供一种缺陷检测装置40，如图4所示，该缺陷检测装置40包括：
缺陷预测单元401，用于将原始图像输入训练后的目标检测模型中进行缺陷预测，预测原始图像中是否存在第一类缺陷；其中，第一类缺陷为训练后的目标检测模型学习过的缺陷；
异常缺陷检测单元402，用于若确定原始图像中不存在第一类缺陷，则将原始图像输入训练后的无监督异常检测模型中进行异常缺陷检测，确定原始图像中是否存在第二类缺陷；其中，第二类缺陷为训练后的无监督异常检测模型未学习过的缺陷；
输出单元403，用于若确定原始图像中存在第二类缺陷，则输出第二类缺陷的名称和坐标信息。
可选的，输出单元403，还用于：
若确定原始图像中存在第一类缺陷，则计算出第一类缺陷的置信度；
确定置信度是否超过预设的置信度阈值；
若确定置信度超过预设的置信度阈值，则输出第一类缺陷的名称和Bbox坐标。
可选的，缺陷检测装置40还包括人工处理单元404，该人工处理单元404，用于：
若确定置信度不超过预设的置信度阈值，则转入人工处理流程。
可选的，输出单元403，还用于：
若确定原始图像中存在第二类缺陷，则确定第二类缺陷的尺寸；
确定第二类缺陷的尺寸是否超过预设的尺寸阈值；
若确定尺寸超过预设的尺寸阈值，则输出第二类缺陷的名称和Bbox坐标。
可选的，输出单元403，还用于：
若确定第二类缺陷的尺寸不超过预设的尺寸阈值，则确定原始图像为正常无缺陷图像，并输出原始图像。
可选的，输出单元403，还用于：
若确定原始图像中不存在第二类缺陷，则确定原始图像为正常无缺陷图像，并输出原始图像。
可选的，缺陷检测装置40还包括数据集形成单元405，该数据集形成单元405，用于：
对实时采集的多张有缺陷图进行标注，形成缺陷图像数据集；
对实时采集的多张无缺陷图进行统计，形成正常图像数据集。
可选的，缺陷检测装置40还包括模型训练单元406，该模型训练单元406，用于：
将缺陷图像数据集输入至初始目标检测模型中进行训练，获得训练后的目标检测模型；其中，训练后的目标检测模型用于识别原始图像中的第一类缺陷。
可选的模型训练单元406，还用于：
将正常图像数据集输入至初始无监督异常检测模型中进行训练，获得训练后的无监督异常检测模型；其中，训练后的无监督异常检测模型用于识别第二类缺陷。
该缺陷检测装置40可以用于执行图2-图3所示的实施例中的方法，因此，对于该缺陷检测装置40的各功能单元所能够实现的功能等可参考图2-图3所示的实施例的描述，不多赘述。
在一些可能的实施方式中，本申请提供的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的方法中的步骤，例如，所述计算机设备可以执行如图2-图3所示的实施例中的方法。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (13)

1.一种缺陷检测方法，其特征在于，所述方法包括：
将原始图像输入训练后的目标检测模型中进行缺陷预测，预测所述原始图像中是否存在第一类缺陷；其中，所述第一类缺陷为所述训练后的目标检测模型学习过的缺陷；
若确定所述原始图像中不存在第一类缺陷，则将所述原始图像输入训练后的无监督异常检测模型中进行异常缺陷检测，确定所述原始图像中是否存在第二类缺陷；其中，所述第二类缺陷为训练后的无监督异常检测模型未学习过的缺陷；
若确定所述原始图像中存在第二类缺陷，则输出所述第二类缺陷的名称和坐标信息。
2.如权利要求1所述的方法，其特征在于，在将原始图像输入训练后的目标检测模型中进行缺陷预测，预测所述原始图像中是否存在第一类缺陷之后，所述方法还包括：
若确定所述原始图像中存在第一类缺陷，则计算出所述第一类缺陷的置信度；
确定所述置信度是否超过预设的置信度阈值；
若确定所述置信度超过预设的置信度阈值，则输出所述第一类缺陷的名称和Bbox坐标。
3.如权利要求2所述的方法，其特征在于，在确定所述置信度是否超过预设的置信度阈值之后，所述方法还包括：
若确定所述置信度不超过预设的置信度阈值，则转入人工处理流程。
4.如权利要求1所述的方法，其特征在于，所述若确定所述原始图像中存在第二类缺陷，则输出所述第二类缺陷的名称和坐标信息，包括：
若确定所述原始图像中存在第二类缺陷，则确定所述第二类缺陷的尺寸；
确定所述第二类缺陷的尺寸是否超过预设的尺寸阈值；
若确定所述尺寸超过预设的尺寸阈值，则输出所述第二类缺陷的名称和Bbox坐标。
5.如权利要求4所述的方法，其特征在于，在确定所述第二类缺陷的尺寸是否超过预设的尺寸阈值之后，所述方法包括：
若确定所述第二类缺陷的尺寸不超过预设的尺寸阈值，则确定所述原始图像为正常无缺陷图像，并输出所述原始图像。
6.如权利要求1所述的方法，其特征在于，在若确定所述原始图像中不存在第一类缺陷，则将所述原始图像输入训练后的无监督异常检测模型中进行异常缺陷检测，确定所述原始图像中是否存在第二类缺陷之后，所述方法还包括：
若确定所述原始图像中不存在第二类缺陷，则确定所述原始图像为正常无缺陷图像，并输出所述原始图像。
7.如权利要求1所述的方法，其特征在于，所述目标检测模型为YOLOv8模型。
8.如权利要求1所述的方法，其特征在于，在将原始图像输入训练后的目标检测模型中进行缺陷预测，预测所述原始图像中是否存在第一类缺陷之前，所述方法还包括：
对实时采集的多张有缺陷图进行标注，形成缺陷图像数据集；
对实时采集的多张无缺陷图进行统计，形成正常图像数据集。
9.如权利要求8所述的方法，其特征在于，在将原始图像输入训练后的目标检测模型中进行缺陷预测，预测所述原始图像中是否存在第一类缺陷之前，所述方法还包括：
将所述缺陷图像数据集输入至初始目标检测模型中进行训练，获得训练后的目标检测模型；其中，所述训练后的目标检测模型用于识别所述原始图像中的第一类缺陷。
10.如权利要求8所述的方法，其特征在于，在将原始图像输入训练后的目标检测模型中进行缺陷预测，预测所述原始图像中是否存在第一类缺陷之前，所述方法还包括：
将所述正常图像数据集输入至初始无监督异常检测模型中进行训练，获得训练后的无监督异常检测模型；其中，所述训练后的无监督异常检测模型用于识别第二类缺陷。
11.一种缺陷检测装置，其特征在于，所述装置包括：
缺陷预测单元，用于将原始图像输入训练后的目标检测模型中进行缺陷预测，预测所述原始图像中是否存在第一类缺陷；其中，所述第一类缺陷为所述训练后的目标检测模型学习过的缺陷；
异常缺陷检测单元，用于若确定所述原始图像中不存在第一类缺陷，则将所述原始图像输入训练后的无监督异常检测模型中进行异常缺陷检测，确定所述原始图像中是否存在第二类缺陷；其中，所述第二类缺陷为训练后的无监督异常检测模型未学习过的缺陷；
输出单元，用于若确定所述原始图像中存在第二类缺陷，则输出所述第二类缺陷的名称和坐标信息。
12.一种电子设备，其特征在于，所述设备包括：
存储器，用于存储程序指令；
处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行权利要求1-10中任一所述的方法。
13.一种存储介质，其特征在于，所述存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行权利要求1-10中任一所述的方法。
CN202311648311.4A 2023-12-05 2023-12-05 一种缺陷检测方法、装置、设备及存储介质 Active CN117372424B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311648311.4A CN117372424B (zh) 2023-12-05 2023-12-05 一种缺陷检测方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311648311.4A CN117372424B (zh) 2023-12-05 2023-12-05 一种缺陷检测方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN117372424A true CN117372424A (zh) 2024-01-09
CN117372424B CN117372424B (zh) 2024-03-08

Family

ID=89398784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311648311.4A Active CN117372424B (zh) 2023-12-05 2023-12-05 一种缺陷检测方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN117372424B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576109A (zh) * 2024-01-19 2024-02-20 成都数之联科技股份有限公司 一种缺陷检测方法、装置、设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110726724A (zh) * 2019-10-22 2020-01-24 北京百度网讯科技有限公司 缺陷检测方法、系统和装置
CN112967243A (zh) * 2021-02-26 2021-06-15 清华大学深圳国际研究生院 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法
CN114511516A (zh) * 2022-01-17 2022-05-17 利晶微电子技术(江苏)有限公司 一种基于无监督学习的MicroLED缺陷检测方法
CN114862838A (zh) * 2022-06-02 2022-08-05 深圳市华汉伟业科技有限公司 基于无监督学习的缺陷检测方法及设备
CN115937175A (zh) * 2022-12-26 2023-04-07 成都数之联科技股份有限公司 一种电路板表面缺陷检测方法、系统、设备及存储介质
CN116051479A (zh) * 2022-12-26 2023-05-02 福州大学 融合跨域迁移和异常检测的纺织品缺陷识别方法
KR20230064319A (ko) * 2021-11-03 2023-05-10 (주)플레이오니 인공지능을 이용한 결함 검사방법, 장치 및 프로그램
CN116612120A (zh) * 2023-07-20 2023-08-18 山东高速工程检测有限公司 一种针对数据不平衡的两阶段式道路缺陷检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110726724A (zh) * 2019-10-22 2020-01-24 北京百度网讯科技有限公司 缺陷检测方法、系统和装置
CN112967243A (zh) * 2021-02-26 2021-06-15 清华大学深圳国际研究生院 一种基于yolo的深度学习芯片封装裂纹缺陷检测方法
KR20230064319A (ko) * 2021-11-03 2023-05-10 (주)플레이오니 인공지능을 이용한 결함 검사방법, 장치 및 프로그램
CN114511516A (zh) * 2022-01-17 2022-05-17 利晶微电子技术(江苏)有限公司 一种基于无监督学习的MicroLED缺陷检测方法
CN114862838A (zh) * 2022-06-02 2022-08-05 深圳市华汉伟业科技有限公司 基于无监督学习的缺陷检测方法及设备
CN115937175A (zh) * 2022-12-26 2023-04-07 成都数之联科技股份有限公司 一种电路板表面缺陷检测方法、系统、设备及存储介质
CN116051479A (zh) * 2022-12-26 2023-05-02 福州大学 融合跨域迁移和异常检测的纺织品缺陷识别方法
CN116612120A (zh) * 2023-07-20 2023-08-18 山东高速工程检测有限公司 一种针对数据不平衡的两阶段式道路缺陷检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ADIBHATLA, VA等: "Unsupervised Anomaly Detection in Printed Circuit Boards through Student-Teacher Feature Pyramid Matching", 《ELECTRONICS》, vol. 10, no. 24, pages 1 - 15 *
成科扬等: "基于回顾蒸馏学习的无监督工业品缺陷检测方法", 《南京大学学报(自然科学)》, vol. 58, no. 06, pages 1030 - 1040 *
蒋羽: "面向工业应用场景的深度学习缺陷检测方法研究", 《CNKI中国优秀硕士毕业论文全文库（信息科技辑）》, no. 02, pages 138 - 3197 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576109A (zh) * 2024-01-19 2024-02-20 成都数之联科技股份有限公司 一种缺陷检测方法、装置、设备及存储介质
CN117576109B (zh) * 2024-01-19 2024-04-02 成都数之联科技股份有限公司 一种缺陷检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN117372424B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
US11341626B2 (en) Method and apparatus for outputting information
JP7138753B2 (ja) 画像欠陥検出方法、装置、電子機器、記憶媒体および製品
CN117372424B (zh) 一种缺陷检测方法、装置、设备及存储介质
WO2020238256A1 (zh) 基于弱分割的损伤检测方法及装置
CN105930257B (zh) 一种确定目标测试用例的方法及装置
TW202139131A (zh) 用於影像分類之適應學習
CN112613569B (zh) 图像识别方法、图像分类模型的训练方法及装置
US11461584B2 (en) Discrimination device and machine learning method
CN114419035B (zh) 产品识别方法、模型训练方法、装置和电子设备
CN110969600A (zh) 一种产品缺陷检测方法、装置、电子设备及存储介质
CN112419268A (zh) 一种输电线路图像缺陷检测方法、装置、设备及介质
CN116457802A (zh) 利用未被标记的传感器数据对工业系统中的罕见故障的自动实时检测、预测和阻止
CN109345133B (zh) 基于大数据和深度学习的评审方法和机器人系统
WO2019019429A1 (zh) 一种虚拟机异常检测方法、装置、设备及存储介质
CN114787831A (zh) 改进分类模型的准确性
WO2024061309A1 (zh) 缺陷识别方法、装置、计算机设备及其存储介质
CN116758280A (zh) 目标检测方法、装置、设备以及存储介质
CN111727108B (zh) 用于控制机器人的方法、装置及系统以及存储介质
CN114116688B (zh) 数据处理与数据质检方法、装置及可读存储介质
CN115526855A (zh) 电池片隐裂缺陷检测方法、装置、计算机设备和存储介质
CN112990350B (zh) 目标检测网络训练方法及基于目标检测网络煤矸识别方法
CN114841255A (zh) 检测模型的训练方法、装置、设备、存储介质及程序产品
CN112612882B (zh) 检阅报告生成方法、装置、设备和存储介质
CN115333973A (zh) 设备异常检测方法、装置、计算机设备和存储介质
CN112861689A (zh) 一种基于nas技术的坐标识别模型的搜索方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20240109

Assignee: Chengdu Shuzhi Innovation Lean Technology Co.,Ltd.

Assignor: Chengdu shuzhilian Technology Co.,Ltd.

Contract record no.: X2024510000014

Denomination of invention: A defect detection method, device, equipment, and storage medium

Granted publication date: 20240308

License type: Common License

Record date: 20240723

EE01 Entry into force of recordation of patent licensing contract