CN113643224A - 基于半监督学习的缺陷检测方法和装置 - Google Patents

基于半监督学习的缺陷检测方法和装置 Download PDF

Info

Publication number
CN113643224A
CN113643224A CN202010338415.5A CN202010338415A CN113643224A CN 113643224 A CN113643224 A CN 113643224A CN 202010338415 A CN202010338415 A CN 202010338415A CN 113643224 A CN113643224 A CN 113643224A
Authority
CN
China
Prior art keywords
image
classifier
defects
defect
semi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010338415.5A
Other languages
English (en)
Inventor
穆罕默德·奥斯曼·布塔
焦健浩
云鹏
王远
孙学斌
刘明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hong Kong University of Science and Technology HKUST
Original Assignee
Hong Kong University of Science and Technology HKUST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hong Kong University of Science and Technology HKUST filed Critical Hong Kong University of Science and Technology HKUST
Priority to CN202010338415.5A priority Critical patent/CN113643224A/zh
Publication of CN113643224A publication Critical patent/CN113643224A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Biochemistry (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种基于半监督学习的缺陷检测方法和装置。该基于半监督学习的缺陷检测方法包括：获得检测对象的图像，其中部分图像的缺陷被标记；使用第一分类器将所述图像识别为缺陷和背景，其中，所述第一分类器利用所述部分图像的数据基于半监督学习方法训练得到；以及使用第二分类器将所述缺陷分类为多种类型的缺陷，其中，所述第二分类器利用所述部分图像的数据基于半监督学习方法训练得到。

Description

基于半监督学习的缺陷检测方法和装置
技术领域
本申请涉及机器学习领域，尤其涉及基于半监督学习的缺陷检测方法和装置。
背景技术
在机器人技术和自动化时代，人工智能(Artificial Intelligence,AI)正在帮助解决人类无法达到的许多难题。玻璃检测是玻璃制造行业面临的主要挑战之一，因为手机显示屏玻璃面板的质量可能会影响用户体验和设备耐用性。由于玻璃对于外物碰撞非常脆弱，因此在玻璃制造的所有阶段都需要对玻璃进行检测。玻璃表面可能会出现诸如凹坑和裂纹之类的缺陷。在实际行业中，玻璃生产公司由于检测时间和劳动力限制会面临巨大的财务损失。如在中国，玻璃检测主要由十万多名熟练的人工完成，他们以目视的方法检测玻璃的各种缺陷。但是，有些很小的缺陷很难通过人眼看到，而这些很小的缺陷也会影响智能设备的质量。目前很多玻璃生产公司对自动化系统以及最先进的技术表现出极大的兴趣，这些技术可以帮助他们克服这些问题，从而提高生产线效率并提高销售利润。
市面上已经有多种方法来对玻璃缺陷进行检测。对于缎纹玻璃和浮法玻璃缺陷检测，研究人员使用了机器学习技术。目前已经针对缎纹玻璃和玻璃瓶提出了几种基于图像处理的框架。此外，研究人员也提出了一些基于光学的方法来检测玻璃中的微裂纹，检测触摸面板玻璃中的表面缺陷以及检测窗玻璃。另外也有一些研究工作是用于检测汽车上的玻璃缺陷。
在近十年里，随着智能设备产量的高速增长，导致许多生产智能设备(例如，手机、平板电脑、笔记本电脑和智能手表)的技术公司每年需要装配成千上万块玻璃。玻璃缺陷检测不仅需要大量的劳动力，而且对时间要求十分苛刻。由于精度的限制，人眼只能检测到超过0.1毫米的缺陷，通常检测一块智能手机玻璃的平均时间约为1-2分钟。因此，在不使用机器人技术或自动化来解决该问题的情况下，很难去提高生产速度。
对于智能手机玻璃检测，准确性和速度是关键的两个因素。当前的最新技术提出了一种基于支持向量机(Support Vector Machine，SVM)、主成分分析(PrincipalComponent Analysis，PCA)或自适应增强(Adaptive boosting，AdaBoost)的方法来检测手机盖板玻璃的缺陷。但是，目前这些方法都仅限于用来检测划痕缺陷，并不能胜任对智能手机玻璃上的漏光和污点进行有效分类。
随着这几年深度学习的兴起，我们可以看到基于深度学习的方法在某些视觉识别任务中显示出了巨大的成功，尤其在准确性和鲁棒性方面，该方法已超过大多数机器学习方法。其根本原因在于基于深度学习的方法具备非常好的高级特征提取和数据高效利用的能力。在视觉识别任务中，对象检测和语义分割是两个主要的研究方向。其中，对象检测是检测图像中的对象并为所有对象标志边界框，而语义分割则对应于为图像中的所有对象或语义块提供像素级映射。因此，对象检测是对象分类与边界框位置和大小回归的结合，而语义分割则是对图像中所有像素的单纯分类。自从Girshick等人发明区域-卷积神经网络(Region-based convolutional neural network，R-CNN)以来，就准确性和速度而言，R-CNN家族一直是最新技术的代表。更快的对象检测算法包括YOLO(You Only Look Once)和SSD(Single Shot Multi-Box Detector)。但是对于玻璃检测的应用，我们希望在检测图中检测出更多细节。然而，对象检测算法输出的边界框缺少精确的缺陷位置和类型信息，这会使得无法准确定位缺陷。
自从全卷积网络(Fully Convolutional Network，FCN)被引入以来，基于边缘检测、纹理理论等的经典语义分割的方法已被基于深度学习的方法所超越。这种基于深度学习的方法应用一系列卷积层和一系列反卷积层来推断语义分割结果。但是，由于反卷积层内的信息丢失，恢复的分割图通常具有模糊边缘。为了克服此类缺点，研究者设计了更复杂的网络配置以减少FCN内的信息丢失，例如SegNet和膨胀的卷积网络的工作。遵循膨胀卷积思想，Chen等人使用双线性插值将特征图放大到原始分辨率，从而添加了多尺度处理大图像，并应用条件随机场(Conditional Random Field，CRF)后处理来平滑分割。
发明内容
本公开的一方面，提供了一种基于半监督学习的缺陷检测方法，包括：获得检测对象的图像，其中部分图像的缺陷被标记；使用第一分类器将所述图像识别为缺陷和背景，其中，所述第一分类器利用所述部分图像的数据基于半监督学习方法训练得到；以及使用第二分类器将所述缺陷分类为多种类型的缺陷，其中，所述第二分类器利用所述部分图像的数据基于半监督学习方法训练得到。
根据本公开的实施例，在使用第一分类器将所述图像识别为缺陷和背景的步骤之前，所述缺陷检测方法还包括：检测所述图像上的白色连续区域；沿着所述白色连续区域的边界框从所述图像上裁剪出所述白色连续区域；调整裁剪得到的所述白色连续区域的图像的大小；以及使用预训练的卷积神经网络对调整后的所述白色连续区域的图像进行特征提取。
根据本公开的实施例，检测所述图像上的白色连续区域包括：将所述图像转换成二进制图像；对所述二进制图像进行膨胀操作；以及通过非极大值抑制来确定每个白色连续区域的边界框。
根据本公开的实施例，所述第一分类器是分段K均值分类器。
根据本公开的实施例，所述第二分类器是随机森林分类器。
根据本公开的实施例，所述多种类型的缺陷包括：污物、划痕和漏光。
本公开的另一方面提供了一种基于半监督学习的缺陷检测装置，包括：图像获取单元，其配置为获得检测对象的图像，其中部分图像的缺陷被标记；第一分类器，其配置为将所述图像识别为缺陷和背景，其中，所述第一分类器利用所述部分图像的数据基于半监督学习方法训练得到；以及第二分类器，其配置为将所述缺陷分类为多种类型的缺陷，其中，所述第二分类器利用所述部分图像的数据基于半监督学习方法训练得到。
附图说明
图1为根据本申请实施例的玻璃检测系统的示意图；
图2为根据本申请实施例的玻璃检测系统捕获的图像的示意图；
图3a至图3e为根据本申请实施例的玻璃图像缺陷的示例的示意图；
图4为根据本申请实施例的使用迁移学习进行特征提取的示意图；
图5为根据本申请实施例的使用半监督学习进行缺陷/背景分类的示意图；
图6为根据本申请实施例的包括多个缺陷的玻璃图像的示意图；
图7为根据本申请实施例的利用SmartInspect对包括多个缺陷的玻璃的测试结果的示意图；
图8为根据本申请实施例的基于半监督学习的缺陷检测方法的流程图；
图9a和图9b为根据本申请实施例的利用SmartInspect对阳性样本的测试结果的示意图；
图10为根据本申请实施例的基于半监督学习的缺陷检测装置的框图。
具体实施方式
为使本领域技术人员更好地理解本申请的技术方案，下面结合附图和具体实施方式对本申请作进一步详细描述。
本申请改进了当前的视觉识别方法，解决了玻璃图像上的缺陷检测和定位的问题。由于图像尺寸很大，无法直接应用当前基于深度学习的算法。针对这个情况，本申请提供了一种称为SmartInspect的算法。SmartInspect是一种自动检测算法，其中包含两个分类器以处理分类。SKM(Segmented K-Means，分段K均值)分类器是一种二进制分类器，该分类器可将缺陷分为两类：缺陷和背景。然后，将这些缺陷投射到随机森林(RandomForest，RF)分类器中，并进一步将缺陷分类为三种类型的缺陷：污物、划痕和漏光。
图1为根据本申请实施例的玻璃检测系统的示意图；图2为根据本申请实施例的玻璃检测系统捕获的图像的示意图；图3a至图3e为根据本申请实施例的玻璃图像缺陷的示例的示意图。
如图1所示，玻璃检测系统包括带有LED光源的玻璃放置件、线性扫描相机和图像处理部件(未示出)，其中，线性扫描相机用于捕获玻璃图像(如图2所示)，线性扫描相机被选择为例如拍摄分辨率为16384像素的图像，相机所采集的玻璃图像的分辨率例如为16384*24576，并且该玻璃检测系统可检测最小尺寸为10微米或更小的缺陷。在根据本申请的实施例中，玻璃检测系统可捕获具有以下三种缺陷的玻璃图像：划痕、漏光和污物，图3a和图3b为根据本申请实施例的包含划痕的玻璃图像的示例的示意图，图3c为根据本申请实施例的包含漏光的玻璃图像的示例的示意图，以及图3d和图3e为根据本申请实施例的包含污物的玻璃图像的示例的示意图。
在本申请中，改进了当前的视觉识别方法，以增强地检测和定位玻璃图像上的缺陷。由于玻璃图像的尺寸很大，因此无法直接应用当前基于深度学习的方法。本申请提供一种智能检测(SmartInspect)的方法，其是一种自动检测方法。在SmartInspect方法中，分段K均值(Segmented K-Means，SKM)分类器是一种二进制分类器，其将图像分为以下两类：缺陷和背景。然后，将缺陷投射到随机森林(RandomForest，RF)分类器，以将缺陷进一步分为以下三种缺陷：污物、划痕和漏光。
图4为根据本申请实施例的使用迁移学习进行特征提取的示意图，图5为根据本申请实施例的使用半监督学习进行缺陷/背景分类的示意图。如图4和图5所示，在本申请的实施例中，SmartInspect方法包括以下四个预处理阶段：阶段I、阶段II、阶段III和阶段IV。
在阶段I，沿着轮廓框裁剪每幅图像上所有可疑的白色连续区域，这些区域通过表1中的连续区域选取算法来检测：
表1：连续区域选取算法
Figure BDA0002467474590000061
在阶段II，使用预训练的卷积神经网络(Convolutional Neural Network，CNN)从在阶段I中裁剪得到的图像提取特征。
在阶段III，基于被标记的少数缺陷，使用半监督方法(其将在下面进行描述)来训练背景缺陷分类器。执行k均值聚类算法，并丢弃每个循环中排除的或包含相对低比例的那些聚类，直到所丢弃的图片的数量小于预设阈值为止。此阶段可削减多余的背景图片，可以大大减少缺陷数量。
在阶段IV，基于被标记的缺陷，使用三级的随机森林(Random Forest)分类器进行训练。
下面从数据集、缺陷的定位、找出真正的缺陷、分类三种类型的缺陷和测试方案五个方面对本申请进行说明。
【数据集】
在本申请实施例中，选取76个具有以下三种缺陷的智能手机玻璃图像：划痕、漏光和污物。每个图像都是玻璃屏幕图像和缺陷图像的组合，并且玻璃屏幕图像和缺陷图像都是从区域相机获取的。玻璃屏幕图像几乎是完美的，但其仍存在未标记的缺陷。人工添加到玻璃图像上的所有缺陷均标有其位置和类别。真正的玻璃屏幕几乎是完美的，带有一些划痕和未标记的缺陷。
【缺陷的定位】
首先，将图像转换为二进制图像。然后，对二进制图像进行膨胀操作，以增强区域的连通性。此后，通过非极大值抑制(Non-Maximum Suppression，NMS)来估计每个白色连续区域的边界框以及边界框的大小和原始位置。所有白色连续区域均沿边界框裁剪，并将所裁剪的边界框调整为224×224像素。对于整个数据集，可以获得大约M＝29000个分割图像，如图4所示。该方案在上述连续区域选取算法中得到了进一步的解释。在每个边界框与其他边界框之间估计IoU(intersection over union)，并基于非极大值抑制阈值，将这些框合并为一个边界框。最后，我们将单个类对象对应的所有框调整为224×224像素。
【找出真正的缺陷】
迁移学习用于处理所有裁剪图像以进行分类。预训练的卷积神经网络ResNet18被用作特征提取器。通过ResNet18后，每个图像都将被转换为512维的特征向量。
为了区分实际缺陷和背景，训练SKM分类器。由于被标记的数据的数量有限，无法使用有监督的方法直接训练背景缺陷分类器。因此，本申请提供一种半监督方法来训练该背景缺陷分类器。在本申请中，迭代使用k均值方法，并基于被标记的数据，对一些聚类进行过滤，直到该算法收敛为止，如图5所示。
对于每个k均值迭代，所有数据点(每个图片的特征向量)都被分为10个聚类。然后，基于被标记的数据，保留包含被标记的数据比例最高的前三个聚类，并将其投射到下一个迭代中(某些聚类的配置文件在下一部分中显示)。停止训练的时刻是当丢弃的数据的数量小于预设阈值时。
【分类三种类型的缺陷】
在删除所有背景数据后，保留大约7000个实际缺陷(154个被标签的数据)。训练类内分类器，以将实际缺陷分为以下三种不同的缺陷：污物、划痕和漏光。对于本文所述的数据集，选择随机森林算法，通过训练154个被标签的数据来训练出一个三类分类器，其中，随机森林算法比SVM具有更好的性能。
【测试方案】
为了评估SmartInspect方法的鲁棒性，在本申请的实施例中，在具有许多不同缺陷的玻璃图像上以及在一些阳性玻璃样品上进行测试。图6为根据本申请实施例提供的包括多个缺陷的玻璃图像的示意图，其被用作测试图像。首先，预处理所有连续区域。然后，使用表2中的测试算法标记所有区域，识别缺陷并将缺陷与背景分离。
表2：测试算法
Figure BDA0002467474590000081
Figure BDA0002467474590000091
在预处理图片中的所有区域后，将经预处理的所有区域传递给SKM分类器。如果观察到它们是缺陷区域，则使用RF分类器以对缺陷进行进一步分类，例如划痕、灰尘颗粒或漏光区域。图7表示了通过检查充满缺陷区域的玻璃图像的性能。在图7中，使用边界框分离了缺陷，其中红色标记的区域是划痕，绿色表示漏光，而橙色则表示灰尘颗粒。
从实验结果看，SmartInspect扫描了整个图像并智能地识别了背景区域。在其它框架中，所有白色区域将被视为缺陷。但是，SmartInspect并未将背景区域标记为缺陷。图7清楚地显示了背景区域，例如QR码、扬声器、按钮、传感器和相机。在这些区域中观察到一些光反射，这些反射已显示在图7中的绿色框中。
图8为根据本申请实施例的基于半监督学习的缺陷检测方法的流程图。如图8所示，在本申请的实施例中，基于半监督学习的缺陷检测方法包括步骤301至步骤306。
在步骤301，使用诸如图1中所示的线阵扫描相机获取待检测的器件的图像。
在步骤302，基于预设定的阈值，将所获得的图像转换成二进制图像。
在步骤303，对二进制图像进行膨胀操作，以增强白色区域的连通性。
在步骤304，通过非极大值抑制确定每个白色连续区域的边界框及其大小和原始位置，并调整边界框的大小，例如将边界框调整为224*224像素。
在步骤305，通过预训练的卷积神经网络，基于迁移学习提取白色连续区域的图像的特征。例如，预训练的卷积神经网络ResNet18被用作特征提取器。通过ResNet18后，每个图像都将被转换成512维的特征向量。
在步骤306，利用被标记的数据基于半监督学习方法训练SKM分类器，利用所述第一分类器将所白色连续区域的图像分类为缺陷或背景。
在步骤307，将识别出的缺陷投射到一个类内分类器以识别缺陷的类型。在示例中，通过随机森林的方法，通过训练被标记的数据来训练出一个类内分类器。
另一方面，可以在经过人工检查后被标记为阳性的玻璃样品上测试本申请的方法。图9a和图9b分别显示了阳性样品的两种不同的玻璃检查结果。如图9a和图9b所示，SmartInspect在评估玻璃样品的质量方面优于人工检查。已对三个缺陷进行了定位和分类：检测到两个漏光(D-1和D-3)和一个灰尘颗粒(D-2)，分别在图9a中的橙色和绿色框中显示。SmartInspect检查了另一个与上面完全不同的阳性样本，如图9b所示。本申请的方法在确定污垢区域(D-1)方面也优于其他方法。
表3显示了SmartInspect与当前最新方法的比较。这表明本申请的方法在识别背景区域方面非常智能。达到高达2微米的缺陷区域的高精度也很可靠，这在智能设备玻璃中非常重要，因为如果玻璃存在漏光或脏污的缺陷，则会降低屏幕的图像质量。
表3：多种方法的鲁棒性比较
Figure BDA0002467474590000111
图10根据本申请实施例的基于半监督学习的缺陷检测装置的框图。如图10所示，在本申请实施例中，缺陷检测装置10包括图像获取单元101、第一分类器102和第二分类器103。
图像获取单元101被配置为获得检测对象的图像，其中部分图像的缺陷被标记。例如，图像获取单元101可为线阵扫描相机。
第一分类器102被配置为将所述图像识别为缺陷和背景，其中，所述第一分类器利用所述部分图像的数据基于半监督学习方法训练得到。例如，第一分类器102可为SKM分类器。
第二分类器103被配置为将所述缺陷分类为多种类型的缺陷，其中，所述第二分类器利用所述部分图像的数据基于半监督学习方法训练得到。例如，第二分类器103可为上述类内分类器或随机森林分类器。
应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、路径构建方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、路径构建方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (7)

1.一种基于半监督学习的缺陷检测方法，包括：
获得检测对象的图像，其中部分图像的缺陷被标记；
使用第一分类器将所述图像识别为缺陷和背景，其中，所述第一分类器利用所述部分图像的数据基于半监督学习方法训练得到；以及
使用第二分类器将所述缺陷分类为多种类型的缺陷，其中，所述第二分类器利用所述部分图像的数据基于半监督学习方法训练得到。
2.根据权利要求1所述的缺陷检测方法，还包括：在使用第一分类器将所述图像识别为缺陷和背景的步骤之前，
检测所述图像上的白色连续区域；
沿着所述白色连续区域的边界框从所述图像上裁剪出所述白色连续区域；
调整裁剪得到的所述白色连续区域的图像的大小；以及
使用预训练的卷积神经网络对调整后的所述白色连续区域的图像进行特征提取。
3.根据权利要求2所述的缺陷检测方法，其中，检测所述图像上的白色连续区域包括：
将所述图像转换成二进制图像；
对所述二进制图像进行膨胀操作；以及
通过非极大值抑制来确定每个白色连续区域的边界框。
4.根据权利要求1所述的缺陷检测方法，其中，所述第一分类器是分段K均值分类器。
5.根据权利要求1所述的缺陷检测方法，其中，所述第二分类器是随机森林分类器。
6.根据权利要求1所述的缺陷检测方法，其中
所述多种类型的缺陷包括：污物、划痕和漏光。
7.一种基于半监督学习的缺陷检测装置，包括
图像获取单元，其配置为获得检测对象的图像，其中部分图像的缺陷被标记；
第一分类器，其配置为将所述图像识别为缺陷和背景，其中，所述第一分类器利用所述部分图像的数据基于半监督学习方法训练得到；以及
第二分类器，其配置为将所述缺陷分类为多种类型的缺陷，其中，所述第二分类器利用所述部分图像的数据基于半监督学习方法训练得到。
CN202010338415.5A 2020-04-26 2020-04-26 基于半监督学习的缺陷检测方法和装置 Pending CN113643224A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010338415.5A CN113643224A (zh) 2020-04-26 2020-04-26 基于半监督学习的缺陷检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010338415.5A CN113643224A (zh) 2020-04-26 2020-04-26 基于半监督学习的缺陷检测方法和装置

Publications (1)

Publication Number Publication Date
CN113643224A true CN113643224A (zh) 2021-11-12

Family

ID=78414886

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010338415.5A Pending CN113643224A (zh) 2020-04-26 2020-04-26 基于半监督学习的缺陷检测方法和装置

Country Status (1)

Country Link
CN (1) CN113643224A (zh)

Similar Documents

Publication Publication Date Title
CN108562589B (zh) 一种对磁路材料表面缺陷进行检测的方法
CN109829914B (zh) 检测产品缺陷的方法和装置
CN108074231B (zh) 一种基于卷积神经网络的磁片表面缺陷检测方法
CN106875381B (zh) 一种基于深度学习的手机外壳缺陷检测方法
CN107543828B (zh) 一种工件表面缺陷检测方法及系统
CN115082419B (zh) 一种吹塑箱包生产缺陷检测方法
Li et al. Defect inspection and extraction of the mobile phone cover glass based on the principal components analysis
CN111444921A (zh) 划痕缺陷检测方法、装置、计算设备和存储介质
CN106290392A (zh) 一种小微轴承表面凹痕缺陷在线检测方法及其系统
CN108665458A (zh) 透明体表面缺陷提取及识别方法
CN110473201A (zh) 一种刹车片表面缺陷的自动检测方法及装置
CN113724231A (zh) 一种基于语义分割和目标检测融合模型的工业缺陷检测方法
CN111179250A (zh) 一种基于多任务学习的工业品缺陷检测系统
CN115601355A (zh) 一种产品表面缺陷检测与分类方法、装置及存储介质
CN111242899A (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
WO2024002187A1 (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN113393438A (zh) 一种基于卷积神经网络的树脂镜片缺陷检测方法
CN114549493A (zh) 一种基于深度学习的磁芯缺陷检测系统及方法
Zhao et al. Research on detection method for the leakage of underwater pipeline by YOLOv3
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
Dominguez-Nicolas et al. Indentation image analysis for Vickers hardness testing
Abdellah et al. Defect detection and identification in textile fabric by SVM method
Yu YOLO V5s-based deep learning approach for concrete cracks detection
Prihatno et al. Metal defect classification using deep learning
CN113989196A (zh) 一种基于视觉的耳机硅胶垫圈的外观缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination