CN114972152A - 自动光学检测方法、自动光学检测系统及记录媒体 - Google Patents

自动光学检测方法、自动光学检测系统及记录媒体 Download PDF

Info

Publication number
CN114972152A
CN114972152A CN202111345573.4A CN202111345573A CN114972152A CN 114972152 A CN114972152 A CN 114972152A CN 202111345573 A CN202111345573 A CN 202111345573A CN 114972152 A CN114972152 A CN 114972152A
Authority
CN
China
Prior art keywords
image
regression model
edge
images
optical inspection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111345573.4A
Other languages
English (en)
Inventor
古承伟
王上棋
李佳烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GlobalWafers Co Ltd
Original Assignee
GlobalWafers Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GlobalWafers Co Ltd filed Critical GlobalWafers Co Ltd
Publication of CN114972152A publication Critical patent/CN114972152A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Holo Graphy (AREA)

Abstract

本发明提供一种自动光学检测方法、系统及记录媒体。此方法经由光学镜头获取待测物的原始图像，其中原始图像包括多个第一图像；对原始图像执行边缘检测，以获得具有边缘图案的边缘图像，其中边缘图像包括多个第二图像；计算第二图像中像素值的最大值、最小值及平均值至少其中之一；根据单位面积分割边缘图像为多个图像区块，并根据图像区块中包括的多个第二图像对应的最大值、最小值及平均值至少其中之一计算多个特征值；以及根据特征值与待测物数据训练对应待测物缺陷的回归模型以获得最佳回归模型。

Description

自动光学检测方法、自动光学检测系统及记录媒体
技术领域
本发明涉及一种缺陷检测技术，尤其涉及一种自动光学检测方法、自动光学检测系统及记录媒体。
背景技术
在电子元件出厂前，一般是由资深目检人员对其进行肉眼检测，以对所生产的电子元件是否存在缺陷或对电子元件是否平坦等判断条件进行确认。例如，在判定碳化硅(SiC)圆片的平坦度时，通常会采用雾度(Haze)值作为平坦度的指标。一般而言，Haze值的检测是通过人眼对碳化硅圆片进行人工的判读。
然而，由目检人员进行肉眼检测常会因为其主观判读而造成误判。因此如何避免依靠肉眼检测而造成检测结果过于主观的问题，实为本领域技术人员所关心的议题。
发明内容
本发明提供一种自动光学检测方法、自动光学检测系统及记录媒体，可提升对于分类模型的训练效率以及光学检测装置对于缺陷的检测准确度。
一种自动光学检测方法，适用于包括光学镜头及处理器的光学检测系统，包括：经由所述光学镜头获取待测物的原始图像，其中所述原始图像包括多个第一图像；对所述原始图像执行边缘检测，以获得具有边缘图案的边缘图像，其中所述边缘图像包括具有边缘图案的多个第二图像；计算所述多个第二图像中像素值的最大值、最小值及平均值至少其中之一；根据单位面积分割所述边缘图像为多个图像区块，并根据所述多个图像区块中包括的所述多个第二图像对应的所述最大值、所述最小值及所述平均值至少其中之一计算多个特征值；以及根据所述多个特征值与待测物数据训练对应待测物缺陷的回归模型以获得最佳回归模型。
在本发明的一范例实施例中，上述多个特征值包括标准差、变异系数、平均数、全距、平均绝对偏差至少其中之一。
在本发明的一范例实施例中，上述待测物数据包括预期输出，并且根据所述多个特征值与所述待测物数据训练对应待测物缺陷的所述回归模型以获得所述最佳回归模型的步骤包括：将所述多个特征值及所述预期输出作为输入数据输入至所述回归模型以训练所述回归模型，并产生对应所述多个特征值的多个权重。
在本发明的一范例实施例中，上述自动光学检测方法，更包括：基于经训练的所述回归模型根据所述多个权重对所述多个特征值进行分类以产生对应所述多个特征值的分类结果；以及将所述分类结果与所述预期输出进行比对以判断所述分类结果是否符合预期。
在本发明的一范例实施例中，上述自动光学检测方法，更包括：若所述分类结果符合预期，则设定所述经训练的所述回归模型为所述最佳回归模型，并且若所述分类结果不符合预期，则重新选择用于训练所述回归模型的多个特征值，并重新训练所述回归模型。
在本发明的一范例实施例中，上述自动光学检测方法，更包括：基于所述最佳回归模型对第三图像进行分类，以产生对应所述第三图像的分类结果。
一种自动光学检测系统，包括光学镜头及处理器。光学镜头经配置以获取待测物的原始图像，其中所述原始图像包括多个第一图像。处理器耦接所述光学镜头，经配置以：对所述原始图像执行边缘检测，以获得具有边缘图案的边缘图像，其中所述边缘图像包括具有边缘图案的多个第二图像；计算所述多个第二图像中像素值的最大值、最小值及平均值至少其中之一；根据单位面积分割所述边缘图像为多个图像区块，并根据所述多个图像区块中包括的所述多个第二图像对应的所述最大值、所述最小值及所述平均值至少其中之一计算多个特征值；以及根据所述多个特征值与待测物数据训练对应待测物缺陷的回归模型以获得最佳回归模型。
在本发明的一范例实施例中，上述多个特征值包括标准差、变异系数、平均数、全距、平均绝对偏差至少其中之一。
在本发明的一范例实施例中，上述待测物数据包括预期输出，并且所述处理器经配置以：将所述多个特征值及所述预期输出作为输入数据输入至所述回归模型以训练所述回归模型，并产生对应所述多个特征值的多个权重。
在本发明的一范例实施例中，上述处理器更经配置以：基于经训练的所述回归模型根据所述多个权重对所述多个特征值进行分类以产生对应所述多个特征值的分类结果；以及将所述分类结果与所述预期输出进行比对以判断所述分类结果是否符合预期。
在本发明的一范例实施例中，若所述分类结果符合预期，则所述处理器设定所述经训练的所述回归模型为所述最佳回归模型，并且若所述分类结果不符合预期，则所述处理器重新选择用于训练所述回归模型的多个特征值，并重新训练所述回归模型。
在本发明的一范例实施例中，上述处理器经配置以：基于所述最佳回归模型对第三图像进行分类，以产生对应所述第三图像的分类结果。
在本发明的一范例实施例中，上述处理器配置在远程服务器中。
一种非暂态计算机可读取记录媒体，记录程序，经由处理器载入以执行下列步骤：经由光学镜头获取待测物的原始图像，其中所述原始图像包括多个第一图像；对所述原始图像执行边缘检测，以获得具有边缘图案的边缘图像，其中所述边缘图像包括具有边缘图案的多个第二图像；计算所述多个第二图像中像素值的最大值、最小值及平均值至少其中之一；根据单位面积分割所述边缘图像为多个图像区块，并根据所述多个图像区块中包括的所述多个第二图像对应的所述最大值、所述最小值及所述平均值至少其中之一计算多个特征值；以及根据所述多个特征值与待测物数据训练对应待测物缺陷的回归模型以获得一最佳回归模型。
基于上述，在经由自动光学检测装置的光学镜头获取待测物的图像后，可将图像分割为多个图像区块，并以对应各图像区块的特征值来训练分类模型。藉此，可以有效提升对于分类模型的训练效率以及提高光学检测装置对于缺陷的检测准确度。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是根据本发明的一实施例所示出的自动光学检测系统的示意图；
图2是根据本发明的一实施例所示出的自动光学检测系统的方块图；
图3是根据本发明的一实施例所示出的自动光学检测方法的流程图；
图4是根据本发明的一实施例所示出的分割边缘图像的示意图；
图5是根据本发明的一实施例所示出的特征值计算结果的示意图；
图6是根据本发明的一实施例所示出的回归模型的示意图。
具体实施方式
现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同元件符号在附图和描述中用来表示相同或相似部分。
图1是根据本发明的一实施例所示出的自动光学检测系统的示意图。图2是根据本发明的一实施例所示出的自动光学检测系统的方块图。请参照图1及图2，自动光学检测系统100可应用于自动光学检测(Automated Optical Inspection，AOI)设备上，以对半导体芯片、圆片、电路板、面板等待测物进行表面缺陷检测。亦即，自动光学检测系统100可用于检测待测物表面的缺陷。
自动光学检测系统100可包括光学检测装置110、移载装置120及光源装置130。在一实施例中，光学检测装置110可以有线或无线的方式发送控制信号以控制光学镜头111、移载装置120及光源装置130的至少其中之一。光学检测装置110具有光学镜头111。光学镜头111可采用面阵扫描摄影机(Area Scan Camera)和/或线阵扫描摄影机(Line ScanCamera)。线阵扫描摄影机较常搭配动态扫描检测，以在待测物101移动的同时进行拍摄。据此，可确保检测流程的连续性。移载装置120则用于实现全自动化检测。例如，移载装置120可将待测物101移载至检测区域，经由设置于该检测区域一侧的光学镜头111进行拍摄，以获取待测物101的图像并进行后续图像分析。
光源装置130用以提供光源以对待测物101进行辅助照明。光源装置130的类型例如为平行光灯具、漫射光灯具、穹形灯等，本发明不在此限制。光源装置130可发出白光、红光、绿光、蓝光、紫外光、红外光等各类型光线。此外，还可针对不同类型的待测物101对应改变光源装置130的类型。须注意的是，本发明不限制光学检测装置110、移载装置120及光源装置130的数目。
于光学检测中，一般可微观地检测待测物101上的局部缺陷，并且宏观地检测待测物101的表面是否平坦。以圆片检测为例，早期的方式通常是由机器检测出局部缺陷后，再由人工检测的方式对圆片的平坦度进行确认。若圆片图像出现斑马纹、太阳纹、波浪纹等纹路，可判定此圆片图像对应的圆片表面不平坦。然而，在某些条件下，圆片图像出现少许的纹路仍可判定此圆片图像对应的圆片属于非缺陷图像。因此目检人员可能会依个人主观意识对平坦度判断标准有各自的解读方式，进而造成误判的问题。于此，人检的效率及可靠度相较于机器视觉往往较低。此外，人检所花费的时间往往较机器视觉检测所花费的时间多。在一实施例中，光学检测装置110可自动完成整个检测程序，从而提升检测效率及可靠度。
光学检测装置110包括光学镜头111、处理器112及存储装置113。光学镜头111可包括一或多个光学透镜，且本发明不限制光学镜头111的类型。
处理器112可例如为中央处理单元(Central Processing Unit，CPU)，或是其他可编程的一般用途或特殊用途的微控制单元(Micro Control Unit，MCU)、微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可编程控制器、专用集成电路(Application Specific Integrated Circuit，ASIC)、图形处理器(GraphicsProcessing Unit，GPU)、算术逻辑部件(Arithmetic Logic Unit，ALU)、复杂可编程逻辑器件(Complex Programmable Logic Device，CPLD)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或其他类似元件或上述元件的组合。此外，处理器112亦可以是通过硬件描述语言(Hardware Description Language，HDL)或是其他任意本领域技术人员所熟知的数字电路的设计方式所设计出的硬件电路。处理器112可负责光学检测装置110的整体或部分运作。
存储装置113可包括易失性存储媒体和/或非易失性存储媒体并可用于存储数据。例如，易失性存储媒体可以是随机存取存储器(RAM)，而非易失性存储媒体可以是只读存储器(ROM)、固态硬盘(SSD)或传统硬盘(HDD)等。
图3是根据本发明的一实施例所示出的自动光学检测方法的流程图。请同时参照图1至3，本实施例的方法适用于上述的自动光学检测系统100，以下即搭配图1及图2中自动光学检测系统100的各项元件，说明本实施例方法的详细流程。
须注意的是，图3中各步骤可以实作为多个代码或是电路，本发明不加以限制。进一步，图3中的方法可以搭配以下范例实施例使用，也可以单独使用，本发明不加以限制。
在步骤S302中，处理器112经由光学镜头111获取待测物101的原始图像，其中原始图像包括多个子图像(亦称为第一图像)。在步骤S304中，处理器112对原始图像执行边缘检测，以获得具有边缘图案的边缘图像，其中边缘图像包括具有边缘图案的多个边缘子图像(亦称为第二图像)。换句话说，处理器112对第一图像执行边缘检测以获得具有边缘图案的第二图像。例如，所述边缘检测可检测原始图像中至少部分图案的边缘(亦称为轮廓)，并将所检测到的边缘以额外产生的边缘图案的形式呈现于边缘图像中。从另一角度来看，处理器112可将原始由光学镜头111获得的不具有边缘图案且包括多个第一图像的原始图像转换为具有边缘图案且包括多个第二图像的边缘图像。本发明不限制处理器112执行边缘检测所采用的图像分析技术。此外，处理器112可对边缘图像中非属于边缘图案的其他图像数据进行淡化处理、单一化处理或将其移除，以突显边缘图像中的边缘图案。
在一实施例中，处理器112采用的边缘检测技术例如是索伯算子(Sobeloperator)，本发明不在此限制。经由边缘检测，可强化图像中的缺陷部分，以提高处理器112辨识缺陷纹路的精准度。例如，相较于直接对原始图像进行缺陷检测，对边缘图像进行缺陷纹路的检测可具有较高的准确度。
在一实施例中，处理器112在执行边缘检测之前可对原始图像进行其它图像前处理操作。一般来说，由光学镜头111获取的原始图像包括的多个第一图像中可呈现所拍摄的电子元件的图案。处理器112可分析光学镜头111所获取的原始图像，以经由图像检测待测物101表面上的缺陷。举例来说，在经由光学镜头111获取原始图像后，处理器112可对所述原始图像进行图像前处理操作(例如，执行图像强化、加强对比、加强边缘、去除杂讯、获取特征、图像转换、图像压缩等操作)。在一实施例中，处理器112执行图像前处理操作将原始图像转换为雾度(Haze)图后，再进行后续图像分析。并且处理器112对转换为雾度图的原始图像执行边缘检测，以获得具有边缘图案的多个边缘图像。于此实施例中，原始图像包括的多个第一图像亦为雾度图。
回到图3的流程图。在步骤S306中，处理器112计算多个第二图像中像素值(pixelvalue)的最大值、最小值及平均值至少其中之一。具体而言，处理器112获取第二图像包括的每个像素的像素值，并根据所获取的每个像素的像素值计算对应于第二图像的像素值的最大值、最小值及平均值至少其中之一。其中像素值为本技术领域人员熟知的技术名称，例如包括灰阶(Grayscale)值、亮度(Intensity)值等，但本发明不在此限制。在计算完前述最大值、最小值和/或平均值等数值后，处理器112根据计算结果产生矩阵。换句话说，经由步骤S306，边缘图像包括的第二图像被数值化为矩阵以记录各第二图像对应的数值。
在步骤S308中，处理器112根据单位面积分割边缘图像为多个图像区块，并根据多个图像区块中包括的多个第二图像对应的最大值、最小值及平均值至少其中之一计算多个特征值。具体而言，处理器112可根据单位面积将边缘图像包括的第二图像分组为多个图像区块。而在不同实施例中，图像区块的大小单位面积可基于使用者需求而设定。例如，处理器112可以边缘图像面积的1/25、1/36或1/64作为单位面积，将边缘图像分割为5x5、6x6或8x8的图像区块。藉此，通过将边缘图像分割为多个图像区块以供后续计算使用，可避免一次对整张图的数值进行计算而造使得单个像素的极大值或极小值可能会被稀释，而造成误判的问题。
接着，处理器112获取各图像区块所包括的一组第二图像对应的多个最大值、多个最小值和/或多个平均值，并根据这些最大值、最小值和/或平均值计算对应于该组第二图像的多个特征值。其中，特征值可以是标准差(Standard Deviation，Std)、变异系数(coefficient of variation，Cv)、平均数(Average，Ave)、全距(range，R)、平均绝对偏差(Mean Absolute Deviation，MAD)等统计数值。例如，处理器112可根据对应于各图像区块所包括的多个第二图像的像素值的最大值、最小值和/或平均值至少其中之一计算对应于各图像区块的标准差、变异系数及平均数。藉此，可计算出每个图像区块对应的多个特征值，这些特征值可以表示图像区块中包括的多个第二图像之间的离散程度或集中程度。
举例而言，以将边缘图像分割为5x5的图像区块为实施例进行说明。在本实施例中，像素值以灰阶值为例。图4是根据本发明的一实施例所示出的分割边缘图像的示意图。请参照图4，边缘图像401包括多个第二图像。处理器112获取第二图像每个像素的像素值，并计算对应于第二图像的灰阶值的最大值、最小值及平均值至少其中之一。本实施例各第二图像的最大值、最小值及的计算结果可参照下表1。
表1
图像区块 第二图像 最小值 最大值 平均值
ST11 1 2.95 7.20 4.26
… .. … …
N 2.93 7.22 4.25
ST12 1 2.95 6.95 4.23
… … … …
N 2.94 6.92 4.24
… … … … …
ST55 1 2.95 10.70 4.25
… … … …
N 2.91 10.90 4.35
并且处理器112以边缘图像401的面积的1/25作为单位面积，并根据单位面积分割边缘图像401为25个图像区块ST11～ST55，请对应参照图4分割后的边缘图像402及上表1。在本实施例中，每个图像区块包括N张第二图像，其中N为大于0的整数，而N的数值依据获取原始图像时包括的子图像的数量决定。接着，处理器112根据各图像区块ST11～ST55中包括的所有第二图像的灰阶值的最大值(请参表1)，计算对应于各图像区块ST11～ST55的灰阶值的最大值的标准差、变异系数及平均数。图5是根据本发明的一实施例所示出的特征值计算结果的示意图。各图像区块ST11～ST55的灰阶值的最大值的标准差、变异系数及平均数的计算结果可参照图5且对应参照下表2。
表2
Figure BDA0003353883680000091
在步骤S310中，处理器112根据多个特征值与待测物数据训练对应待测物缺陷的回归模型以获得最佳回归模型。其中，可事先由检测人员针对待测物的原始图像进行判定，并标签判定结果作为原始图像的预期输出。预期输出可包括良品或NG品等。基此，待测物数据训练可包括对应于原始图像的圆片ID与预期输出。处理器112可将从步骤S308中计算出各图像区块(即各组第二图像)对应的特征值与预期输出作为输入数据输入至回归模型以训练产生最佳回归模型。在一实施例中，回归模型可例如为逻辑回归模型(LogisticRegression)、K-近邻算法(K-Nearest Neighbor Classification，KNN)、支持向量机(Support Vector Machine，SVM)、决策树分类等分类算法模型，本发明不在此限制。
图6是根据本发明的一实施例所示出的回归模型的示意图。请参照图6，回归模型61可为逻辑回归模型，其主要包括净输入函数(Net input function)620、激励函数630、阈值函数(Threshold function)640及误差(Error)650。净输入函数为计算权重与输入数据的线性组合。激励函数可以是S型函数(Sigmoid activation Function)。误差可以是对数损失函数(logarithmic loss function)。
在训练回归模型61时，至少一组输入数据可被输入至回归模型61。在设定误差后经由梯度下降法(Gradient Descent)或最大似然机率(Maximum Likelihood)训练净输入函数中输入数据的权重。一组输入数据对应于一个图像区块包括的输入值X1～Xm(即对应于各图像区块的特征值，包括标准差、变异系数及平均数等)及预期输出I(即良品或NG品等)。回归模型61经训练后可产生输入数据中各输入值X1～Xm的权重W1～Wm及预期输出I的权重W0。在回归模型61训练完成后，回归模型61根据权重W0～Wm对至少一组输入值X1～Xm进行分类以产生对应至少一组输入值X1～Xm的分类结果LB1。亦即，一个分类结果对应至一张原始图像中的一个图像区块，分类结果LB1可包括良品或NG品等。在一实施例中，若一张原始图像中至少一个图像区块的分类结果LB1为NG品，则此原始图像的最终分类结果为NG品。
于取得最终分类结果后，处理器112可将最终分类结果与预期输出I进行比对以判断最终分类结果是否符合预期。若符合预期，则可设定训练出对应待测物缺陷的回归模型为最佳回归模型。若不符合预期，处理器112可重新选择用于训练回归模型61的特征值，并重新训练回归模型61。在一实施例中，处理器112可利用卡方独立检定(Chi-Squared Testof Independence)判断最终分类结果是否符合预期。例如，处理器112可利用卡方独立检定判断最终分类结果与预期输出I之间是否有显著关系，本发明不在此限制检定的方式。经由重复上述操作，可逐步训练对应待测物缺陷的最佳回归模型，从而提高回归模型61对于待测物缺陷的检测正确率。在一实施例中，卡方独立检定例如是皮尔森卡方检定(Pearson’schi-squared test)，本发明不在此限制。
举例而言，预期输出I与训练完成的回归模型61产生的最终分类结果的比对例如为下表3。处理器112可利用卡方独立检定判断预期输出I与最终分类结果之间是否有显著关系。
表3
圆片ID 预期输出I 最终分类结果 是否符合预期
1 良品 良品 是
2 NG品 NG品 是
3 良品 良品 是
4 良品 NG品 否
5 NG品 NG品 是
… … … …
N 良品 良品 是
在基于最佳回归模型对未标签的的待测图像(亦称为第三图像)进行缺陷检测操作时，处理器112可计算第三图像中对应于各图像区块的多个特征值，并经由激励函数630及阈值函数640的运算，对应于第三图像的最终分类结果可被产生。此最终分类结果可表示第三图像所对应的待测物为良品或NG品的分类等。
在另一实施例中，处理器112还可利用颜色标记第三图像中被判断为NG品的图像区块，并根据标记颜色的图像区块的分布位置判断该第三图像的缺陷纹路，以判断缺陷的类型。举例来说，被判断为NG品的图像区块的分布位置可能是不规则的散状分布或有规则的排列成形成特定纹路(例如斑马纹、太阳纹、波浪纹等纹路)，而处理器112可根据分布位置判定此第三图像对应的缺陷的类型。在一实施例中，可由目检人员根据被判断为NG品的图像区块的分布位置判断缺陷纹路，或者也可由处理器112判断缺陷纹路，本发明不在此限制。
综上，本发明实施例提供的自动光学检测方法通过分割原始图像为多个图像区块，除了能避免单个像素的极端值被稀释而造成点状缺陷被忽略，还可利用所获取的各图像区块的分类结果，来判读有缺陷的图像区块是否有形成特定的缺陷纹路。据此，通过分割圆片图像为多个图像区块并对各图像区块进行分类，本发明提供的方法有利于辅助宏观地判断圆片图像是否出现特定纹路，以确认圆片的平坦度。
在一实施例中，回归模型61是实作于光学检测装置110。例如，回归模型61可以是以软件、固件或硬件形式与图2的处理器112结合。或者，在另一实施例中，回归模型61则是实作于另一个远程服务器(未示出，亦称为服务器网络)。此远程服务器可执行所述自动光学检测。
光学检测装置110可经由有线网络或无线网络连接至远程服务器。在本实施例中，远程服务器可具有处理器及存储装置，以协同运作执行步骤所需的操作功能。在一实施例中，光学检测装置110可经由网络将原始图像提供给远程服务器执行上述步骤S304～S310的训练。相关的操作细节皆已详述于上，在此便不赘述。
本发明另提供一种非暂态计算机可读取记录媒体。所述非暂态计算机可读取记录媒体记录计算机程序，并且所述计算机程序是用以执行上述自动光学检测方法的各个步骤。此计算机程序是由多数个代码片段所组成的(例如建立组织图代码片段、签核表单代码片段、设定代码片段、以及部署代码片段)，并且这些代码片段在载入处理器中并执行之后，即可完成上述自动光学检测方法的步骤。
综上所述，本发明实施例提供的自动光学检测方法、自动光学检测系统及记录媒体可有效提高自动光学检测装置或自动光学检测系统对于缺陷的检测正确性。本发明实施例通过分割图像为多个图像区块，并以对应各图像区块的特征值来训练分类模型，可以有效提升对于分类模型的训练效率及准确度。在一实施例中，本发明实施例提供的自动光学检测方法、自动光学检测系统及记录媒体可取代微观检测圆片瑕疵图案后以人工宏观判读圆片平坦度的检测程序，从而提升检测效率及可靠度，并且还可减少人力成本。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (14)

1.一种自动光学检测方法，适用于包括光学镜头及处理器的光学检测系统，包括：
经由所述光学镜头获取待测物的原始图像，其中所述原始图像包括多个第一图像；
对所述原始图像执行边缘检测，以获得具有边缘图案的边缘图像，其中所述边缘图像包括具有边缘图案的多个第二图像；
计算所述多个第二图像中像素值的最大值、最小值及平均值至少其中之一；
根据单位面积分割所述边缘图像为多个图像区块，并根据所述多个图像区块中包括的所述多个第二图像对应的所述最大值、所述最小值及所述平均值至少其中之一计算多个特征值；以及
根据所述多个特征值与待测物数据训练对应待测物缺陷的回归模型以获得最佳回归模型。
2.根据权利要求1所述的自动光学检测方法，其中所述多个特征值包括标准差、变异系数、平均数、全距、平均绝对偏差至少其中之一。
3.根据权利要求1所述的自动光学检测方法，其中所述待测物数据包括预期输出，并且根据所述多个特征值与所述待测物数据训练对应待测物缺陷的所述回归模型以获得所述最佳回归模型的步骤包括：
将所述多个特征值及所述预期输出作为输入数据输入至所述回归模型以训练所述回归模型，并产生对应所述多个特征值的多个权重。
4.根据权利要求3所述的自动光学检测方法，还包括：
基于经训练的所述回归模型根据所述多个权重对所述多个特征值进行分类以产生对应所述多个特征值的分类结果；以及
将所述分类结果与所述预期输出进行比对以判断所述分类结果是否符合预期。
5.根据权利要求4所述的自动光学检测方法，还包括：
若所述分类结果符合预期，则设定所述经训练的所述回归模型为所述最佳回归模型，并且
若所述分类结果不符合预期，则重新选择用于训练所述回归模型的多个特征值，并重新训练所述回归模型。
6.根据权利要求1所述的自动光学检测方法，还包括：
基于所述最佳回归模型对第三图像进行分类，以产生对应所述第三图像的分类结果。
7.一种自动光学检测系统，包括：
光学镜头，经配置以获取待测物的原始图像，其中所述原始图像包括多个第一图像；以及
处理器，耦接所述光学镜头，经配置以：
对所述原始图像执行边缘检测，以获得具有边缘图案的边缘图像，其中所述边缘图像包括具有边缘图案的多个第二图像；
计算所述多个第二图像中像素值的最大值、最小值及平均值至少其中之一；
根据单位面积分割所述边缘图像为多个图像区块，并根据所述多个图像区块中包括的所述多个第二图像对应的所述最大值、所述最小值及所述平均值至少其中之一计算多个特征值；以及
根据所述多个特征值与待测物数据训练对应待测物缺陷的回归模型以获得最佳回归模型。
8.根据权利要求7所述的自动光学检测系统，其中所述多个特征值包括标准差、变异系数、平均数、全距、平均绝对偏差至少其中之一。
9.根据权利要求7所述的自动光学检测系统，其中所述待测物数据包括预期输出，并且所述处理器经配置以：
将所述多个特征值及所述预期输出作为输入数据输入至所述回归模型以训练所述回归模型，并产生对应所述多个特征值的多个权重。
10.根据权利要求9所述的自动光学检测系统，其中所述处理器更经配置以：
基于经训练的所述回归模型根据所述多个权重对所述多个特征值进行分类以产生对应所述多个特征值的分类结果；以及
将所述分类结果与所述预期输出进行比对以判断所述分类结果是否符合预期。
11.根据权利要求10所述的自动光学检测系统，其中若所述分类结果符合预期，则所述处理器设定所述经训练的所述回归模型为所述最佳回归模型，并且若所述分类结果不符合预期，则所述处理器重新选择用于训练所述回归模型的多个特征值，并重新训练所述回归模型。
12.根据权利要求7所述的自动光学检测系统，其中所述处理器经配置以：
基于所述最佳回归模型对第三图像进行分类，以产生对应所述第三图像的分类结果。
13.根据权利要求7所述的自动光学检测系统，其中所述处理器配置在远程服务器中。
14.一种非暂态计算机可读取记录媒体，记录程序，经由处理器载入以执行下列步骤：
经由光学镜头获取待测物的原始图像，其中所述原始图像包括多个第一图像；
对所述原始图像执行边缘检测，以获得具有边缘图案的边缘图像，其中所述边缘图像包括具有边缘图案的多个第二图像；
计算所述多个第二图像中像素值的最大值、最小值及平均值至少其中之一；
根据单位面积分割所述边缘图像为多个图像区块，并根据所述多个图像区块中包括的所述多个第二图像对应的所述最大值、所述最小值及所述平均值至少其中之一计算多个特征值；以及
根据所述多个特征值与待测物数据训练对应待测物缺陷的回归模型以获得最佳回归模型。
CN202111345573.4A 2021-02-25 2021-11-15 自动光学检测方法、自动光学检测系统及记录媒体 Pending CN114972152A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW110106620 2021-02-25
TW110106620A TWI798650B (zh) 2021-02-25 2021-02-25 自動光學檢測方法、自動光學檢測系統及記錄媒體

Publications (1)

Publication Number Publication Date
CN114972152A true CN114972152A (zh) 2022-08-30

Family

ID=82899727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111345573.4A Pending CN114972152A (zh) 2021-02-25 2021-11-15 自动光学检测方法、自动光学检测系统及记录媒体

Country Status (3)

Country Link
US (1) US20220270234A1 (zh)
CN (1) CN114972152A (zh)
TW (1) TWI798650B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI770906B (zh) * 2021-03-26 2022-07-11 環球晶圓股份有限公司 晶圓表面缺陷檢測方法及其裝置
CN115938966A (zh) * 2022-12-15 2023-04-07 西安奕斯伟材料科技有限公司 外延硅片检测方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI525317B (zh) * 2013-10-08 2016-03-11 國立清華大學 整合影像分析與資料挖礦之自動光學檢測缺陷影像分類方法
US11205119B2 (en) * 2015-12-22 2021-12-21 Applied Materials Israel Ltd. Method of deep learning-based examination of a semiconductor specimen and system thereof
WO2018216629A1 (ja) * 2017-05-22 2018-11-29 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP6964031B2 (ja) * 2018-03-27 2021-11-10 Ｔａｓｍｉｔ株式会社 パターンエッジ検出方法
JP7157580B2 (ja) * 2018-07-19 2022-10-20 東京エレクトロン株式会社 基板検査方法及び基板検査装置
JP2020043266A (ja) * 2018-09-12 2020-03-19 株式会社日立ハイテクノロジーズ 半導体ウェハの欠陥観察システム及び欠陥観察方法
US11022566B1 (en) * 2020-03-31 2021-06-01 Applied Materials Israel Ltd. Examination of a semiconductor specimen
US20230012917A1 (en) * 2021-07-19 2023-01-19 Onto Innovation Inc. Low contrast non-referential defect detection

Also Published As

Publication number Publication date
US20220270234A1 (en) 2022-08-25
TWI798650B (zh) 2023-04-11
TW202234052A (zh) 2022-09-01

Similar Documents

Publication Publication Date Title
CN110658198B (zh) 光学检测方法、光学检测装置及光学检测系统
US11132786B2 (en) Board defect filtering method based on defect list and circuit layout image and device thereof and computer-readable recording medium
Shipway et al. Automated defect detection for fluorescent penetrant inspection using random forest
KR100954703B1 (ko) 결함을 검출하는 방법 및 시스템
JP2017049974A (ja) 識別器生成装置、良否判定方法、およびプログラム
TW202105549A (zh) 對樣本的缺陷檢測的方法及其系統
CN114972152A (zh) 自动光学检测方法、自动光学检测系统及记录媒体
JP7131617B2 (ja) 照明条件を設定する方法、装置、システム及びプログラム並びに記憶媒体
CN111667455A (zh) 一种刷具多种缺陷的ai检测方法
KR100598381B1 (ko) 인-라인 타입의 자동 웨이퍼결함 분류장치 및 그 제어방법
CA2638415C (en) Patterned wafer defect inspection system and method
CN114494780A (zh) 基于特征对比的半监督工业缺陷检测方法及系统
CN116128839A (zh) 晶圆缺陷识别方法、装置、电子设备以及存储介质
TW201606854A (zh) 用於晶粒對資料庫光罩檢查之自動校準樣本選擇
CN113109240A (zh) 一种计算机实施的粮食不完善粒测定方法和系统
TW201512649A (zh) 偵測晶片影像瑕疵方法及其系統與電腦程式產品
CN117392042A (zh) 缺陷检测方法、缺陷检测设备及存储介质
JP2021143884A (ja) 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット
KR20210086303A (ko) 딥러닝 기반 패턴 검사 장치 및 그 장치를 이용한 검사 방법
KR20230036650A (ko) 영상 패치 기반의 불량 검출 시스템 및 방법
Sousa et al. A decision support system for fault detection and definition of the quality of wet blue goat skins
JP2021067508A (ja) 外観検査システム及び方法
CN117495846B (zh) 图像检测方法、装置、电子设备及存储介质
WO2022172470A1 (ja) 画像検査装置、画像検査方法及び学習済みモデル生成装置
TW577995B (en) An image searching defect detector

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination