CN118674963A - 缺陷分类系统 - Google Patents

缺陷分类系统 Download PDF

Info

Publication number
CN118674963A
CN118674963A CN202410273924.2A CN202410273924A CN118674963A CN 118674963 A CN118674963 A CN 118674963A CN 202410273924 A CN202410273924 A CN 202410273924A CN 118674963 A CN118674963 A CN 118674963A
Authority
CN
China
Prior art keywords
defect
image
display device
classification system
display apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410273924.2A
Other languages
English (en)
Inventor
朴俊洙
金南赫
石相俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Display Co Ltd
Original Assignee
Samsung Display Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Display Co Ltd filed Critical Samsung Display Co Ltd
Publication of CN118674963A publication Critical patent/CN118674963A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00—Measuring instruments characterised by the use of optical techniques
    • G01B9/02—Interferometers
    • G01B9/0209—Low-coherence interferometers
    • G01B9/02091—Tomographic interferometers, e.g. based on optical coherence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N2021/9513—Liquid crystal panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Signal Processing (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

一种缺陷分类系统包括：多光学视觉装置，收集显示装置的外部的第一图像，基于所述第一图像确定所述显示装置的缺陷，并且提取所述显示装置的所述缺陷的XY坐标；和光学相干断层成像装置，基于所述显示装置的所述缺陷的所述XY坐标收集所述显示装置的内部的第二图像，基于所述第二图像训练用于确定所述显示装置的所述缺陷和所述显示装置的缺陷类型的深度机器学习模型，通过所述深度机器学习模型基于所述第二图像确定所述显示装置的所述缺陷，并且通过所述深度机器学习模型基于所述第二图像确定所述显示装置的所述缺陷类型。

Description

缺陷分类系统
技术领域
本发明构思的实施例涉及一种缺陷分类系统。更具体地，本发明构思的实施例涉及一种用于对显示装置的缺陷进行分类的缺陷分类系统。
背景技术
显示装置的缺陷可能出现在制造过程中。传统的缺陷分类系统通过多光学视觉装置确定显示装置的外部(exterior)缺陷，并且然后人通过显微镜等具体确定外部缺陷是假缺陷还是真缺陷。这里，假缺陷表示多光学视觉装置确定好产品具有缺陷的情况，并且真缺陷表示多光学视觉装置确定缺陷产品具有缺陷的情况。另外，当外部缺陷为真缺陷时，人确定显示装置的缺陷类型。
发明内容
当人确定外部缺陷是假缺陷还是真缺陷时，缺陷检查和缺陷分类可能需要长的时间。
本发明构思的实施例提供了一种用于通过深度机器学习模型确定显示装置的缺陷和缺陷类型的缺陷分类系统。
在根据本发明构思的缺陷分类系统的实施例中，所述缺陷分类系统包括：多光学视觉装置，收集显示装置的外部的第一图像，基于所述第一图像确定所述显示装置的缺陷，并且提取所述显示装置的所述缺陷的XY坐标；和光学相干断层成像装置，基于所述显示装置的所述缺陷的所述XY坐标收集所述显示装置的内部的第二图像，基于所述第二图像训练用于确定所述显示装置的所述缺陷和所述显示装置的缺陷类型的深度机器学习模型，通过所述深度机器学习模型基于所述第二图像确定所述显示装置的所述缺陷，并且通过所述深度机器学习模型基于所述第二图像确定所述显示装置的所述缺陷类型。
在实施例中，当通过所述多光学视觉装置基于所述第一图像确定了所述显示装置不包括所述缺陷时，可以终止针对所述显示装置的缺陷检查。
在实施例中，当通过所述光学相干断层成像装置基于所述第二图像确定了所述显示装置不包括所述缺陷时，可以终止针对所述显示装置的缺陷检查。
在实施例中，可以通过所述光学相干断层成像装置基于所述第一图像和所述第二图像训练用于确定所述显示装置的所述缺陷和所述显示装置的所述缺陷类型的所述深度机器学习模型。
在实施例中，所述深度机器学习模型可以包括卷积神经网络(“CNN”)。
在实施例中，所述CNN可以包括卷积层、池化层和全连接层。
在实施例中，所述池化层可以包括最大池化层。
在实施例中，所述池化层可以包括平均池化层。
在实施例中，所述第二图像可以包括所述显示装置的堆叠结构中的关于异物和层的信息。
在实施例中，所述第二图像可以包括亮度扫描(B扫描)图像。
根据实施例中的缺陷分类系统，通过多光学视觉装置，可以基于显示装置的外部的第一图像确定显示装置的缺陷，并且可以提取显示装置的缺陷的XY坐标，并且通过光学相干断层成像装置，可以基于显示装置的缺陷的XY坐标和显示装置的内部的第二图像训练用于确定显示装置的缺陷和显示装置的缺陷类型的深度机器学习模型，使得可以提高缺陷检查和缺陷分类的准确性，并且减少缺陷检查和缺陷分类所需的时间。
附图说明
通过参照附图详细描述本发明构思的实施例，本发明构思的实施例的上述特征和其它特征将变得更加明显，在附图中：
图1是示出用于通过深度机器学习模型确定显示装置的缺陷和缺陷类型的缺陷分类方法的实施例的流程图；
图2是示出根据本发明构思的多光学视觉装置的实施例的框图；
图3是示出显示装置的结构的概念图；
图4是示出由图2的多光学视觉装置捕获的第一图像的视图；
图5是示出根据本发明构思的光学相干断层成像装置的实施例的框图；
图6是示出由图5的光学相干断层成像装置收集的B扫描图像的概念图；
图7是示出由图5的光学相干断层成像装置收集的恒定深度扫描(C扫描)图像的概念图；以及
图8是示出由图5的光学相干断层成像装置捕获的第二图像的视图。
具体实施方式
在下文中，将参照附图详细描述本发明构思的实施例。
在下文中，现在将参照附图更全面地描述本发明，在本发明中示出各种实施例。然而，本发明可以以许多不同的形式体现，并且不应解释为限于本文中阐述的实施例。相反，提供这些实施例使得本公开将是透彻的和完整的，并且将向本领域技术人员充分传达本发明的范围。同样的附图标记始终指代同样的元件。
将理解的是，当元件被称为“在”另一元件“上”时，所述元件可以直接在所述另一元件上，或者在所述元件与所述另一元件之间可以存在居间元件。相反，当元件被称为“直接在”另一元件“上”时，不存在居间元件。
将理解的是，尽管术语“第一”、“第二”、“第三”等在本文中可以用于描述各种元件、组件、区、层和/或部分，但是这些元件、组件、区、层和/或部分不应受这些术语的限制。这些术语用于将一个元件、组件、区、层或部分与另一元件、组件、区、层或部分区分开。因此，在不脱离本文中的教导的情况下，以下讨论的“第一元件”、“第一组件”、“第一区”、“第一层”或“第一部分”可以称为第二元件、第二组件、第二区、第二层或第二部分。
本文中使用的术语仅是出于描述特定实施例的目的，并且不旨在限制。除非上下文另外明确指出，否则如本文中所使用的，单数形式“一”、“一个(种/者)”和“所述(该)”也旨在包括复数形式，包括“至少一个(种/者)”。“或”表示“和/或”。如本文中所使用的，术语“和/或”包括一个或多个相关所列项的任何组合和所有组合。还将理解的是，当在本说明书中使用时，术语“包括(comprises、comprising)”和“包含(includes、including)”说明存在所陈述的特征、区、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其它特征、区、整体、步骤、操作、元件、组件和/或它们的组。
此外，在本文中可以使用诸如“下”或“底部”和“上”或“顶部”的相对术语以描述如附图中所示的一个元件与另一元件的关系。将理解的是，除了附图中描绘的方位之外，空间相对术语还旨在涵盖装置的不同方位。例如，如果在一幅附图中装置被翻转，则被描述为“在”其它元件“下”侧上的元件随后将定向“在”其它元件“上”侧上。因此，依据所述附图的具体定向，示例性术语“下”可以涵盖“上”和“下”两种方位。类似地，如果在一幅附图中装置被翻转，则被描述为在其它元件“下方”或“下面”的元件随后将被定位为在其它元件“上方”。因此，示例性术语“在……下方”或“在……之下”可以涵盖上方和下方两种方位。
考虑到讨论中的测量和与特定量的测量相关的误差(即，测量系统的局限性)，如本文中所使用的“大约”或“近似”包括所陈述的值，并且表示在如由本领域普通技术人员确定的特定值的可接受的偏差的范围内。例如，“大约”可以表示在一个或多个标准偏差内，或者在所陈述的值的±30％、±20％、±10％或±5％以内。
本文中使用的诸如“控制器”的术语旨在表示执行预定功能的软件组件或硬件组件。例如，硬件组件可以包括现场可编程门阵列(“FPGA”)或专用集成电路(“ASIC”)。软件组件可以指可寻址存储介质中的可执行代码和/或可执行代码所使用的数据。因此，例如，软件组件可以是面向对象的软件组件、类组件和任务组件，并且可以包括进程、函数、属性、程序、子程序、程序代码段、驱动程序、固件、微代码、电路、数据、数据库、数据结构、表格、数组或变量。
除非另外定义，否则本文中使用的所有术语(包括技术术语和科学术语)与本公开所属领域的普通技术人员所通常理解的具有相同的含义。还将理解的是，除非在本文中明确地如此定义，否则术语(诸如在通用词典中定义的术语)应当被解释为具有与它们在相关领域的背景和/或本说明书中的含义相一致的含义，并且不应当以理想化的或过于形式化的意义来解释。
图1是示出用于通过深度机器学习模型确定显示装置的缺陷和缺陷类型的缺陷分类方法的实施例的流程图。图2是示出根据本发明构思的多光学视觉装置的实施例的框图。图3是示出显示装置的结构的概念图。图4是示出由图2的多光学视觉装置捕获的第一图像的视图。
参照图1至图4，缺陷分类方法可以包括：通过多光学视觉装置200收集显示装置100的外部的第一图像IMG1(S100)；通过多光学视觉装置200基于第一图像IMG1确定显示装置100的缺陷(S200)；以及提取显示装置100的缺陷的XY坐标(S300)。
缺陷分类系统可以包括多光学视觉装置200和光学相干断层成像装置。多光学视觉装置200可以包括第一照明装置210、图像捕获装置220(例如，相机)和控制器230。
第一照明装置210可以发射光以确定显示装置100的缺陷。第一照明装置210可以包括暗场照明装置212、明场照明装置214和差分场照明装置216。暗场照明装置212、明场照明装置214和差分场照明装置216可以根据光的发射角和来自显示装置100的光的反射角进行分类。暗场照明装置212、明场照明装置214和差分场照明装置216的发射角度和发射亮度可以根据显示装置100的物理特性而变化。暗场照明装置212、明场照明装置214和差分场照明装置216可以配置为使得照明装置的安装位置之间的间隔可以根据图像捕获装置220的视角而变化。可以制作上述配置以通过保持光从照明装置所发射到的发射区之间的间隔来使光的干扰的最小化。由于多光学视觉装置200包括三种类型的照明装置，因此可以通过单次图像捕获而获得诸如明视场图像、暗视场图像和差视场图像的光学特征的图像，而无需照明装置控制或照明装置同步。因此，可以通过互补图像提高显示装置100的缺陷检查的准确性。
暗场照明装置212可以发射光，使得显示装置100的缺陷可以显得明亮，并且缺陷的外围显得暗。尽管暗场照明装置212的照明装置角和照明装置波长可以根据显示装置100的物理特性而变化，但暗场照明装置212的照明装置角可以被预设，使得在缺陷中可以发生漫反射。
明场照明装置214可以发射光，使得显示装置100的缺陷可以显得暗，并且缺陷的外围显得明亮。尽管明场照明装置214的照明装置角和照明装置波长可以根据显示装置100的物理特性而变化，但明场照明装置214的照明装置角可以被预设，使得在缺陷中可以发生镜面反射。
差分场照明装置216可以发射光，使得显示装置100的整体可以显得明亮，并且在缺陷中生成阴影。尽管差分场照明装置216的照明装置角和照明装置波长可以根据显示装置100的物理特性而变化，但差分场照明装置216的照明装置角可以被预设，使得在缺陷中发生光的干涉，以具有三维外观。
图像捕获装置220可以捕获光同时从第一照明装置210的位置所发射到的显示装置100的图像。显示装置100的捕获区可以通过视角被预设，并且图像捕获装置220可以生成包括暗场捕获区、明场捕获区和差场捕获区的第一图像IMG1。在这种情况下，暗场捕获区、明场捕获区和差场捕获区可以保持预设的间隔，以使所发射到其的光的干扰最小化。图像捕获装置220可以将第一图像IMG1输出到控制器230。
显示装置100可以包括基底10、设置在基底10上的显示层20、设置在显示层20上的封装层30、设置在封装层30上的输入感测层40、设置在输入感测层40上的光学功能层50、设置在光学功能层50上的粘合剂层OCA、以及设置在粘合剂层OCA上的窗60。下保护膜70可以设置在基底10下面。显示层20可以包括像素P。
第一图像IMG1可以是显示装置100的外部的图像。在实施例中，例如，多光学视觉装置200可以通过第一图像IMG1确定窗60和粘合剂层OCA的缺陷。
控制器230可以基于第一图像IMG1确定显示装置100的缺陷。
在实施例中，当控制器230基于第一图像IMG1确定了显示装置100不包括缺陷时，可以终止显示装置100的缺陷检查。
控制器230可以基于第一图像IMG1确定显示装置100包括缺陷。如图4中所示，控制器230可以提取显示装置100的缺陷的XY坐标(X坐标和Y坐标，例如，附图中所示的(X,Y)坐标)。X坐标可以是在X轴方向上的坐标。Y坐标可以是在Y轴方向上的坐标。Y轴方向可以与X轴方向相交。控制器230可以将第一图像IMG1和外部缺陷的XY坐标传输到光学相干断层成像装置300(参见图5)。
在实施例中，控制器230可以通过深度机器学习模型基于第一图像IMG1确定显示装置100的缺陷以及显示装置100的缺陷类型。
在实施例中，例如，可以基于第一图像IMG1确定缺陷类型，并且缺陷类型可以包括粘合剂层缺陷、突起缺陷、表面异物缺陷、划损缺陷和裂纹缺陷。粘合剂层缺陷可以是由使粘合剂层OCA皱折而引起的缺陷，并且可以通过差分场数据(例如，差分场图像)确定。突出缺陷可以是窗60的上端上的玻璃逐渐突出的缺陷，并且可以通过差分场数据确定。表面异物缺陷可以是漂浮的异物附接到窗60上的缺陷，并且可以通过明场图像确定。划损缺陷可以是具有窗60的表面被划损的形状的缺陷，并且可以通过暗场图像确定。裂纹缺陷可以是窗60的外周部分具有裂纹的缺陷，并且可以通过明场图像确定。
深度机器学习模型可以是为图像分类而优化的模型。深度机器学习模型将在下文中详细描述。
由于第一图像IMG1是显示装置100的外部的图像，因此对于显示装置100的内部，多光学视觉装置200执行的缺陷检查可能不准确。根据传统的缺陷分类方法，在由多光学视觉装置200执行缺陷检查之后，可以由人员执行对由多光学视觉装置200执行的缺陷检查的确定，以通过显微镜等具体确定缺陷是假缺陷还是真缺陷。在这种情况下，假缺陷可以是多光学视觉装置200将合理质量确定为缺陷的情况，并且真缺陷可以是多光学视觉装置200将缺陷确定为缺陷的情况。另外，当由多光学视觉装置200执行的缺陷检查做出的确定为真实缺陷时，可以由人员确定显示装置100的缺陷类型。当由人员执行检查时，可能需要相当长的时间。
图5是示出根据本发明构思的光学相干断层成像装置的实施例的框图。图6是示出由图5的光学相干断层成像装置收集的B扫描图像的概念图。图7是示出由图5的光学相干断层成像装置收集的C扫描图像的概念图。图8是示出由图5的光学相干断层成像装置捕获的第二图像的视图。
参照图1至图8，缺陷分类方法可以包括：通过光学相干断层成像装置300基于显示装置100的缺陷的XY坐标收集显示装置100的内部的第二图像IMG2(S400)；基于通过光学相干断层成像装置300收集的第二图像IMG2训练用于确定显示装置100的缺陷和显示装置100的缺陷类型的深度机器学习模型(S500)；基于通过光学相干断层成像装置300收集的第二图像IMG2通过深度机器学习模型确定显示装置100的缺陷(S600)；以及基于通过光学相干断层成像装置300收集的第二图像IMG2通过深度机器学习模型确定显示装置100的缺陷类型(S700)。
光学相干断层成像装置300可以包括第二照明装置310、反射板320、检测器330、分束器340和处理器350。
第二照明装置310可以发射透射光束342，以确定显示装置100的缺陷。
分束器340可以将透射光束342分裂成为第一衍生光束344和第二衍生光束348。第一衍生光束344和第二衍生光束348可以根据光的分裂角进行分类。第一衍生光束344可以发射到反射板320，并且从反射板320反射。第二衍生光束348可以发射到显示装置100，并且从显示装置100反射。第一衍生光束344和第二衍生光束348可以被反射回分束器340。
分束器340可以发射包括第一衍生光束344和第二衍生光束348的检测光束346。检测器330可以接收检测光束346，并且输出第二图像IMG2。当第二衍生光束348发射到显示装置100时，可以基于显示装置100的缺陷的XY坐标移动显示装置100。第二图像IMG2可以是基于显示装置100的缺陷的XY坐标确定的图像。当光学相干断层成像装置300对整个显示装置100执行缺陷检查时，缺陷检查效率可能低。为了提高光学相干断层成像装置300的缺陷检查效率，光学相干断层成像装置300可以基于显示装置100的缺陷的XY坐标检测显示装置100的一部分。如图8中所示，第二图像IMG2可以包括有关显示装置100的在Z轴方向上的信息。光学相干断层成像装置300可以通过光的路径差干涉来生成第二图像IMG2。在实施例中，第二图像IMG2可以是B扫描图像，并且B扫描图像可以是如图6中所示的二维图像。在另一实施例中，第二图像IMG2可以是C扫描图像，C扫描图像可以是如图7中所示的三维图像。与B扫描图像相比，C扫描图像可能需要更长的执行时间。C扫描图像可以具有比B扫描图像的缺陷检查的准确性高的缺陷检查的准确性。
处理器350可以从控制器230接收第一图像IMG1，并且可以从分束器340接收第二图像IMG2。在实施例中，处理器350可以基于第二图像IMG2确定显示装置100的缺陷和显示装置100的缺陷类型。在另一实施例中，处理器350可以基于第一图像IMG1和第二图像IMG2确定显示装置100的缺陷和显示装置100的缺陷类型。
在实施例中，当处理器350基于第二图像IMG2确定了显示装置100不包括缺陷时，可以终止显示装置100的缺陷检查。
处理器350可以基于第一图像IMG1和/或第二图像IMG2确定显示装置100包括缺陷。处理器350可以训练用于基于第一图像IMG1和/或第二图像IMG2确定显示装置100的缺陷和显示装置100的缺陷类型的深度机器学习模型。
深度机器学习可以指一种技术，在该技术中，电子装置通过组合和分析数据来执行学习以自行形成规则。深度机器学习算法可以是神经网络。神经网络可以是用于基于人工智能(“AI”)来学习从输入到神经网络的预定图像中识别对象的方法的算法的集合。在实施例中，例如，神经网络可以使用图像作为输入值基于监督学习来学习用于从图像中识别对象的方法。在实施例中，神经网络可以基于无监督学习来学习用于从图像中识别对象的方法，从而在没有任何监督的情况下通过学习所需的数据的类型来自行从图像中识别对象。另外，例如，神经网络可以使用对于根据学习来识别对象的结果是否正确的反馈通过强化学习来学习用于从图像中识别对象的方法。
另外，神经网络还可以根据AI技术进行用于推理和预测的计算。详细地，神经网络可以是用于通过多个层执行计算的深度神经网络(“DNN”)。当提供多个层时，即，当用于执行计算的神经网络的深度增加时，根据神经网络中的用于执行计算的层的数量，神经网络可以被分类为DNN。另外，DNN的计算可以包括卷积神经网络(“CNN”)等的计算。CNN可以包括U-NET网络等。换言之，处理器350可以通过所示例的神经网络实现用于识别对象的数据识别模型，并且通过训练数据来训练所实现的数据识别模型。另外，处理器350可以通过所训练的数据识别模型对作为输入的数据的图像进行分析或分类，以分析和分类包括在图像中的对象是什么。
在示出的实施例中，深度机器学习算法可以是CNN。可以使用CNN的包括卷积层、池化层和全连接(“FC”)层的三个层。CNN可以通过在移动具有权重的掩码的同时经由卷积层和池化层分别重复执行卷积和子采样来减少图像的数据的量并且提取对图像的失真具有鲁棒性的特征。另外，CNN可以通过卷积提取特征图，并且对具有缺陷(异物、划损等)的对象进行分类。子采样可以是缩小屏幕尺寸的过程。在实施例中，例如，池化层可以是用于选择相应的区中的最大值的最大池化层。在实施例中，例如，池化层可以是用于在相应的区中选择相应的区的平均值的平均池化层。在实施例中，例如，相应的区可以是二乘二(2×2)区等。
如上所述，根据缺陷分类方法和缺陷分类系统，通过多光学视觉装置200，可以基于显示装置100的外部的第一图像IMG1确定显示装置100的缺陷，并且可以提取显示装置100的缺陷的XY坐标；并且通过光学相干断层成像装置300，可以基于显示装置100的缺陷的XY坐标和显示装置100的内部的第二图像IMG2训练用于确定显示装置100的缺陷和显示装置100的缺陷类型的深度机器学习模型。
因此，可以通过多光学视觉装置200快速并且简单地执行缺陷检查和缺陷分类。当怀疑显示装置100的缺陷时，可以通过光学相干断层成像装置300彻底执行额外的缺陷检查和缺陷分类。通过光学相干断层成像装置300执行的缺陷检查和缺陷分类可以使用深度机器学习模型，使得可以提高缺陷检查和缺陷分类的准确性，并且可以减少缺陷检查和缺陷分类所需的时间。

Claims (10)

1.一种缺陷分类系统，其中，所述缺陷分类系统包括：
多光学视觉装置，收集显示装置的外部的第一图像，基于所述第一图像确定所述显示装置的缺陷，并且提取所述显示装置的所述缺陷的XY坐标；和
光学相干断层成像装置，基于所述显示装置的所述缺陷的所述XY坐标收集所述显示装置的内部的第二图像，基于所述第二图像训练用于确定所述显示装置的所述缺陷和所述显示装置的缺陷类型的深度机器学习模型，通过所述深度机器学习模型基于所述第二图像确定所述显示装置的所述缺陷，并且通过所述深度机器学习模型基于所述第二图像确定所述显示装置的所述缺陷类型。
2.根据权利要求1所述的缺陷分类系统，其中，当通过所述多光学视觉装置基于所述第一图像确定了所述显示装置不包括所述缺陷时，终止针对所述显示装置的缺陷检查。
3.根据权利要求1所述的缺陷分类系统，其中，当通过所述光学相干断层成像装置基于所述第二图像确定了所述显示装置不包括所述缺陷时，终止针对所述显示装置的缺陷检查。
4.根据权利要求1所述的缺陷分类系统，其中，通过所述光学相干断层成像装置基于所述第一图像和所述第二图像训练用于确定所述显示装置的所述缺陷和所述显示装置的所述缺陷类型的所述深度机器学习模型。
5.根据权利要求1所述的缺陷分类系统，其中，所述深度机器学习模型包括卷积神经网络。
6.根据权利要求5所述的缺陷分类系统，其中，所述卷积神经网络包括卷积层、池化层和全连接层。
7.根据权利要求6所述的缺陷分类系统，其中，所述池化层包括最大池化层。
8.根据权利要求6所述的缺陷分类系统，其中，所述池化层包括平均池化层。
9.根据权利要求1所述的缺陷分类系统，其中，所述第二图像包括关于所述显示装置的堆叠结构中的异物和层的信息。
10.根据权利要求1所述的缺陷分类系统，其中，所述第二图像包括亮度扫描图像。
CN202410273924.2A 2023-03-15 2024-03-11 缺陷分类系统 Pending CN118674963A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020230034165A KR20240141021A (ko) 2023-03-15 2023-03-15 불량 분류 방법 및 이를 수행하는 불량 분류 시스템
KR10-2023-0034165 2023-03-15

Publications (1)

Publication Number Publication Date
CN118674963A true CN118674963A (zh) 2024-09-20

Family

ID=92714141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410273924.2A Pending CN118674963A (zh) 2023-03-15 2024-03-11 缺陷分类系统

Country Status (3)

Country Link
US (1) US20240311988A1 (zh)
KR (1) KR20240141021A (zh)
CN (1) CN118674963A (zh)

Also Published As

Publication number Publication date
US20240311988A1 (en) 2024-09-19
KR20240141021A (ko) 2024-09-25

Similar Documents

Publication Publication Date Title
US10726543B2 (en) Fluorescent penetrant inspection system and method
US9075026B2 (en) Defect inspection device and defect inspection method
JP2017049974A (ja) 識別器生成装置、良否判定方法、およびプログラム
KR100233218B1 (ko) 안과용 렌즈 검사 방법 및 장치
CN111272763A (zh) 用于工件检查的系统和方法
CN113592845A (zh) 一种电池涂布的缺陷检测方法及装置、存储介质
CN111612737B (zh) 一种人造板表面瑕疵检测装置及检测方法
US11275942B2 (en) Method and system for generating training data
EP4009273A1 (en) Cloud-to-cloud comparison using artificial intelligence-based analysis
JP7415286B2 (ja) カラーフィルタ検査装置、検査装置、カラーフィルタ検査方法および検査方法
JP2024505874A (ja) 機械学習を用いて塗装不良の検出を行うためのシステムおよび方法
CN114280075A (zh) 一种管类零件表面缺陷在线视觉检测系统及检测方法
JP4018092B2 (ja) 検査対象物の所定の表面状態の原因を自動的に求める装置
CN117252861A (zh) 一种晶圆表面缺陷的检测方法、装置及系统
US6845178B1 (en) Automatic separation of subject pixels using segmentation based on multiple planes of measurement data
Riffo et al. Active inspection of objects to detect possible damage and measure their volume using 3D reconstruction
CN118674963A (zh) 缺陷分类系统
CN115861259A (zh) 一种基于模板匹配的引线框架表面缺陷检测方法及装置
Wei et al. Surface Defects Detection of Cylindrical High-Precision Industrial Parts Based on Deep Learning Algorithms: A Review
Lin et al. X-ray imaging inspection system for blind holes in the intermediate layer of printed circuit boards with neural network identification
CN113920087A (zh) 基于深度学习的微小元器件缺陷检测系统及方法
JP2020118572A (ja) 表面欠陥検査装置及び表面欠陥検査方法
Khatyreva et al. Unsupervised anomaly detection for industrial manufacturing using multiple perspectives of free falling parts
Luo et al. Quality Detection Model for Automotive Dashboard Based on an Enhanced Visual Model
US20230408421A1 (en) Method for defect detection for rolling elements

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication