CN109959661A - 自动光学检测方法、设备、及其深度学习系统 - Google Patents

自动光学检测方法、设备、及其深度学习系统 Download PDF

Info

Publication number
CN109959661A
CN109959661A CN201810189495.5A CN201810189495A CN109959661A CN 109959661 A CN109959661 A CN 109959661A CN 201810189495 A CN201810189495 A CN 201810189495A CN 109959661 A CN109959661 A CN 109959661A
Authority
CN
China
Prior art keywords
image
optical detection
deep learning
convolutional neural
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810189495.5A
Other languages
English (en)
Inventor
方志恒
陆家樑
徐敏堂
安比卡帕亚鲁木鲁甘
林建仲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Utechzone Co Ltd
Original Assignee
Utechzone Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=66590752&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN109959661(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Utechzone Co Ltd filed Critical Utechzone Co Ltd
Publication of CN109959661A publication Critical patent/CN109959661A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Abstract

自动光学检测方法、设备、及其深度学习系统。一种利用深度学习的自动光学检测方法，包含：提供成对影像组合，其中该成对影像组合包括至少一无瑕影像与至少一对应于该无瑕影像的瑕疵影像；提供一卷积神经网络架构，并在该卷积神经网络架构中启动训练模式；将多个该成对影像组合输入至该卷积神经网络架构，并经由反向传播算法调整全连接层个别的权重，以完成训练；以及利用已训练的该卷积神经网络架构，执行一光学检测程序。本发明可以有效增加深度学习在假性缺陷的滤除率，同时减少训练的时间、所需的样本数、以及模型的数据量。此外，本发明可以有效地增加光学检测对缺陷的检出率及准确率，借此增加检测的效率同时降低成本。

Description

自动光学检测方法、设备、及其深度学习系统
技术领域
本发明有关于一种自动光学检测方法、设备、计算机程序、及计算机可读取的记录媒体，特别是指一种利用深度学习的自动光学检测方法、设备、计算机程序、及计算机可读取的记录媒体及其深度学习系统。
背景技术
深度学习(Deep Learning)最常见的应用，包括影像识别、语音识别、自然语言处理等，甚至推荐系统、生医信息等，各种和生活相关的领域都可以看到深度学习的推广应用。而其中影像辨识在深度学习的应用上最为广泛，技术成熟度也相较其他的领域来得要高。
光学检测为了避免人检的缺失，通常利用人工智能(Artificial Intelligence)和机器学习(Machine Learning)来取代一般的肉眼检测，借此减少误判的可能性。在计算器视觉领域中，AlexNet、GoogleNet、VGG-Net、以及Deep Residual Learning为目前深度学习主流应用的技术，其中VGG-Net在机器视觉检测的精确度最佳，主要在于VGG网络利用增加网络的深度使其在一定程度上影响网络的精确率。然而，虽然VGG网络的精确度及效果较佳，但VGG网络的缺点在于训练的过程中需要输入非常多的样本，导致训练的时间过长，相较于其他深度学习的方式，训练一个VGG模型通常需要花费更长的时间，而且训练出来的模型数据量也相对庞大。
发明内容
本发明的主要目的，在于提供一种训练方式可以有效增加深度学习在假性缺陷的滤除率，同时减少训练的时间、所需的样本数、以及模型的数据量。
为达到上述目的，本发明提供一种利用深度学习的自动光学检测方法，包含：提供成对影像组合，其中该成对影像组合包括至少一无瑕影像与至少一对应于该无瑕影像的瑕疵影像；提供一卷积神经网络架构，并在该卷积神经网络架构中启动训练模式；将多个该成对影像组合输入至该卷积神经网络架构，并经由反向传播算法调整全连接层个别的权重，以完成训练；以及利用已训练的该卷积神经网络架构，执行一光学检测程序。
进一步地，该成对影像组合包括至少一个标准母片影像样本。
进一步地，提供至少一完整的标准母片影像至该卷积神经网络架构，并经由反向传播算法调整全连接层的权重。
进一步地，该成对影像组合中的瑕疵影像经由人工确认而获得。
进一步地，该无瑕影像及该瑕疵影像分别由检测影像及标准母片中重叠位置所撷取而得。
进一步地，所取得的该无瑕影像及该瑕疵影像预先经由灰阶处理。进一步地，该反向传播算法包括：
将训练影像输入至该卷积神经网络架构，以获得数据；
将数据分成训练集以及验证集；
依据该训练集计算梯度，估计出前导层的误差，并借此更新每一神经元的权重和阈值；以及
依据该验证集估计误差，当迭代次数或是容许误差到达该阈值时，停止该训练集。
进一步地，该卷积神经网络架构执行以下的方法：经由多个卷积层由输入的该成对影像组合中筛选出特征影像；将筛选出的该特征影像经由线性整流单元使一部分该特征影像上的像元输出为0；进行池化处理将所获得的该特征影像进行压缩以简化该特征影像；以及经由该全连接层筛选该特征影像，以将该特征影像依据权重比例进行分类，并将分类的结果进行正规化处理，以获得检测的结论。
本发明的另一目的，在于提供一种执行如上所述方法的自动光学检测设备，包括：一影像捕获设备，用以撷取一待测工件的影像；以及一运算装置，耦合至该影像捕获设备，根据已训练的该卷积神经网络架构，对该待测工件的影像执行该光学检测程序。
进一步地，该卷积神经网络架构，由输入至输出的顺序包括：
一第一特征提取器，具有一第一卷积群层与一用以执行空间降维的第一池化层；
一第二特征提取器，耦合至该第一特征提取器，其中该第二特提取器征具有一第二卷积群层与一用以执行空间降维的第二池化层；
一第三特征提取器，耦合至该第二特征提取器，该第三特征提取器具有一第三卷积群层与一用以执行空间降维的第三池化层；
一第四特征提取器，耦合至该第三特征提取器，该第四特征提取器具有一第四卷积群层与一用以执行空间降维的第四池化层；
一第五特征提取器，耦合至该第四特征提取器，该第五特征提取器具有一第五卷积群层与一用以执行空间降维的第五池化层；
一个或多个全连接层，设置于该第五特征提取器的输出，依据权重比例进行分类；以及
一正规化输出层，输出分类的结果。本发明的另一目的，在于提供一种深度学习系统，包括：一个或多个特征提取器，该特征提取器包括一个或多个卷积层、一个或多个线性整流单元、以及一个或多个池化层进行特征强化及影像压缩处理；一个或多个全连接层，依据权重比例进行分类；一正规化输出层，输出分类的结果；一比较模块，在取得分类的结果后，将检测结果与预期输出进行比对，判断检测结果是否符合预期；以及一权重调整模块，若该检测结果不符合预期的话，基于反向传播算法计算并调整全连接层个别的权重。
本发明的另一目的，在于提供一种计算机程序，用于安装在一计算机设备上，并执行如上所述的利用深度学习的自动光学检测方法。
本发明的另一目的，在于提供一种计算机可读取的记录媒体，储存有一计算机程序，该计算机程序用以安装在一计算机设备，并执行如上所述的利用深度学习的自动光学检测方法。
本发明可以有效增加深度学习在假性缺陷的滤除率，同时减少训练的时间、所需的样本数、以及模型的数据量。此外，本发明可以有效地增加光学检测对缺陷的检出率及准确率，借此增加检测的效率同时降低成本。
附图说明
图1，为自动光学检测设备的方块示意图。
图2，为深度学习的流程图。
图3，为卷积神经网络的网络架构图(一)。
图4A，为本发明的卷积神经网络架构的方块示意图(一)。
图4B，为本发明的卷积神经网络架构的方块示意图(二)。
图5，为卷积神经网络的网络架构图(二)。
图6，为本发明自动光学检测方法的流程示意图。
图7，为本发明反向传播算法的流程示意图。
附图标记说明：
100 自动光学检测设备
10 摄影机
20 计算机设备
30 移载设备
40 辅助光源
P 待测物
步骤S01-S04
步骤S11-S13
200 特征提取器
201 卷积群层
202 线性整流单元
203 池化群层
204 全连接群层
205 正规化输出层
206 比较模块
207 权重调整模块
IP 输入影像
OP 分类结果
步骤S21-S24
C1 第一特征提取器
C11 第一卷积群层
P1 第一池化层
C2 第二特征提取器
C21 第二卷积群层
P2 第二池化层
C3 第三特征提取器
C31 第三卷积群层
P3 第三池化层
C4 第四特征提取器
C41 第四卷积群层
P4 第四池化层
C5 第五特征提取器
C51 第五卷积群层
P5 第五池化层
FC6 全连接群层
SF 正规化输出层
具体实施方式
有关本发明的详细说明及技术内容，现就配合图式说明如下。
本发明应用于自动光学检测设备(Automated Optical Inspection,AOI)上，用于对半导体、晶圆、工件、面板、电路板(PCB、FPC、陶瓷电路板)等零件进行表面瑕疵检测，检测对象表面的缺陷或瑕疵。
有关于自动光学检测设备100的架构，请参阅“图1”所示，自动光学检测主要是通过摄影机10、及连接至摄影机10的图像处理设备(计算机设备20)组成，一般而言，为了实现全自动化检测，通常会再增加移载设备30，用于将待测物P移载至检测区域，经由设置于该检测区域一侧的摄影机10进行拍摄，以获取待测物P的影像并进行影像分析。
通常针对不同的待测物P，自动光学检测设备100上会安装有辅助光源40，用以对待测物P进行照明，辅助光源40的种类可能为平行光灯具、漫射光灯具、穹形灯等，一些特殊的待测物可能会用到两组以上的辅助光源40，端看所对应的待测物种类决定。
用于自动光学检测的摄影机10依据实际需求而配置。通常对于工件的精密度及可靠度有相当程度的需求时，必须要配置更为精密的摄影机：反之，为了减少设备的成本，可选用较为低阶的摄影机，此部分端看厂商的需求而定。一般摄影机10种类可分为面扫描摄影机(Area Scan Camera)、以及线扫描摄影机(Line Scan Camera)，配合实际上的需求所述的两种摄影机都有可能被使用。线扫描摄影机较常用于动态检测，在待测物P移动的同时进行拍摄，可确保检测流程的连续性。
摄影机10连接于后台的计算机设备20，经由计算机设备20分析摄影机10所获得的影像，以经由影像中得到待测物P表面上的瑕疵。在较佳的实施例中，摄影机10配置有微处理器(通常在摄影机10出厂时配置)用以控制摄影机10或是针对摄影机10所拍摄到的影像进行预处理。计算机设备20经由该摄影机10(或微处理器)获取影像后，将该影像进行前处理程序(例如影像强化、去除噪声、加强对比、加强边缘、撷取特征、影像压缩、影像转换等)，并将输出的影像经由视觉软件工具和算法进行分析，以获得判定结果并将判定结果输出或储存于数据库。
在自动光学检测中，待测物P上的异尘及瑕疵不管是经由人工检测的方式或是机器视觉检测的方式经常有混淆误认的情况，主要原因在于机器视觉中对于异尘及瑕疵的定义都是相对母片而言的噪点，虽然异尘及瑕疵在特性上尚有一些差异(例如异尘通常是立体、突出于表面上，瑕疵例如刮痕、碎亮点通常形成于内侧)，但对于一般机器视觉而言，两者均是与母片不相同的部分，一般的辨识逻辑难以分出区别。因此，早期的方式通常是由机器检出缺陷后，再由人检的方式进行确认。然而在大量制程(mass production)中，产品生产的数量可能是以每小时数万计，人检相较于机器视觉在效率及可靠度上就不是那么的合适。
相较于机器学习，深度学习的流程如“图2”所示，输入用来训练机器的影像(步骤S11)，通过大量多层数的类神经网络，由类神经网络主动学习出认为重要的特征信息(步骤S12)，最后获得训练结果(步骤S13)。深度学习(Deep Learning)仅需通过大量多层数的类神经网络，便可由类神经网络自己学习找出重要的特征信息。具体而言，深度学习与传统机器学习不同，并不需要经由人为方式去选出特征，而是经由类神经网络架构自行分析并找出重要的特征。
在较佳实施例中，本发明包含但不限于，以LeNet模型、AlexNet模型、GoogleNet模型或VGG模型(Visual Geometry Group)作为基础进行修改及扩充，由网络自己去学习出网络认为重要的特征信息，不需要经由人员挑选特征，大幅减少了分析影像所需的时间。
以下针对本发明卷积神经网络架构进行说明，请参阅“图3”所示。
本发明的第一卷积神经网络架构(Convolutional Neural Networks,CNN)主要包括有多个特征提取器200、全连接群层204(包含一或多个全连接层(fully connectedlayers))及正规化输出层205(例如softmax运算)。每一特征提取器200可以分为卷积群层201(Multi-Convolutional Layer)、线性整流单元202(Rectified Linear Unit,ReLU)、以及池化群层203(pooling)。其中，由输入影像IP输入后，卷积群层201、线性整流单元202、及池化群层203用以压缩并提取影像中的重要特征；全连接群层204则通过权重经由投票的方式将获得的影像进行分类，最终经由正规化输出层205输出分类结果OP(良品、NG品、瑕疵品或其种类)。
具体而言，第一卷积神经网络架构(CNN)执行以下的方法获得分类结论：经由多个卷积群层201(Convolutional Layer)由输入的该成对影像组合中筛选出特征影像；将筛选出的特征影像经由线性整流单元202(Rectified Linear Unit,ReLU)使一部分特征影像上的像元输出为0；经由池化群层203进行池化处理将所获得的该特征影像进行压缩以简化该特征影像；上述的特征提取可能会进行多次以取得压缩的影像数据；以及经由该全连接群层204筛选该特征影像，以将该特征影像依据权重比例(weight)进行分类，并将分类的结果经由正规化输出层205进行正规化处理，以获得检测的结论。
在较佳实施例中，本发明提供一第二卷积神经网络架构(CNN)进行说明，请一并参阅“图4A”至“图4B”，为本发明的第二卷积神经网络架构的方块示意图(一)及方块示意图(二)，如图所示：
由图式中可知，本发明的卷积神经网络架构由输入至输出包括：一第一特征提取器C1，该第一特征提取器C1由数据流来界定顺序，包括一第一卷积群层C11与一用以执行空间降维的第一池化层P1。一第二特征提取器C2，该第二特征提取器C2由数据流来界定顺序，包括一第二卷积群层C21与一用以执行空间降维的第二池化层P2；一第三特征提取器C3，该第三特征提取器C3由数据流来界定顺序，包括一第三卷积群层C31与一用以执行空间降维的第三池化层P3；一第四特征提取器C4，该第四特征提取器C4由数据流来界定顺序，包括一第四卷积群层C41与一用以执行空间降维的第四池化层P4；一第五特征提取器C5，该第五特征提取器C5由数据流来界定顺序，包括一第五卷积群层C51与一用以执行空间降维的第五池化层P5；以及一全连接群层FC6，设置于该第五特征提取器C5的输出，依据权重比例进行分类；最后经由一正规化输出层SF输出分类的结果(良品、瑕疵品)。
其中每一个卷积群层可以由一个或多个卷积层由输入至输出排列组成，并在其中插入线性整流单元减少参数依存关系，以减少溢出(over fitting)的现象。
最后的正规化输出层SF中，在本实施例仅包括两个通道用以将输出的结果分类为良品或瑕疵品。在较佳实施例中，可以针对瑕疵进行更多的分类经由设置更多的通道或是全连接层，在本发明中不予以限制。此外，上述的网络架构为本发明的其中一种较佳实施例，在本发明中不仅限制于上述的网络架构，在此必须先与叙明。在训练的过程中，如果分类的结果与预期结果相同时被归类为正确，若不同时则归类为误差并依据误差数值反向传播修改权重。有关于训练的过程后面会有详细的描述。
在较佳实施例中，为了增加卷积神经网络的可靠度，减少卷积神经网络检测出假性缺陷的机率，本发明在针对卷积神经网络训练时，提供多个预先由标准母片及多个检测影像中拣选出的成对影像组，该成对影像组合中包括至少一无瑕影像、以及至少一对应于该无瑕影像的瑕疵影像，成对影像组中的每一个影像标准化为适当的大小。
其中无暇影像指由未含有任何瑕疵的良品或母片以标准化(在较佳实施例，该影像尺寸包含但不限于120x120、224x224等，在本发明中不予以限制)大小所撷取获得的影像，瑕疵影像则是与该无瑕影像相同位置、相同大小，而存在瑕疵(defect)的影像，与该无瑕影像互为对照。具体而言，该无瑕影像及该瑕疵影像分别由该检测影像及标准母片中重叠位置所撷取而得。其中，该成对影像组合中的瑕疵影像经由人工确认进行分类而获得，人检的结果必须要具有相当程度的可信度，确保训练的样本精确以避免机器产生误判定的情况。
在启动训练模式时，系统将多个该成对影像组合输入至该卷积神经网络架构，并经由反向传播算法(Backpropagation)训练全连接层(Fully Connected Layer)个别的权重。除了提供上述的成对影像组合进行训练外，在另一较佳实施例中，可再提供至少一完整的标准母片影像至该卷积神经网络架构，经由反向传播算法(Backpropagation)训练全连接层(Fully Connected Layer)的权重。标准母片的影像可以有效的改善瑕疵的检出率。
反向传播算法可经由迭代的方式训练卷积神经网络中多个分类器。本发明中卷积神经网络架构的网络层数虽然多，然而由于卷积神经网络架构具有更深的网络及隐式规则的作用，只需要很少的迭代次数就能收敛。
有关于训练的流程，请一并参阅“图5”，首先将多个输入影像IP(成对影像组合或母片影像)输入至计算机设备，计算机设备逐一针对输入影像IP及其结果进行训练。每一组的影像包含有网络的输入值(影像数据)及预期输出(良品、NG品、瑕疵品或其瑕疵种类等)两种参数，输入值经由卷积神经网络重复经过卷积群层201、线性整流单元202、池化群层203进行特征强化及影像压缩处理，并经由全连接群层204依据权重比例进行分类，最终经由正规化输出层205输出分类的结果。在取得分类的结果后，通过比较模块206将检测结果与预期输出进行比对，判断检测结果是否符合预期，若不符合预期的话该比较模块206将所获得的误差值输出至权重调整模块207，基于反向传播算法计算并调整全连接层的权重，借此经由重复上述的步骤完成训练。
以下针对利用深度学习的自动光学检测方法进行说明，请一并参阅“图6”，该光学检测方法包括：
提供成对影像组合，其中该成对影像组合包括至少一无瑕影像与至少一对应于该无瑕影像的瑕疵影像(步骤S01)，其中该成对影像组合包括至少一个标准母片影像样本；
提供一卷积神经网络架构，并在该卷积神经网络架构启动训练模式(步骤S02)；
将多个该成对影像组合输入至该卷积神经网络架构，并经由反向传播算法调整全连接层个别的权重，以完成训练(步骤S03)；
利用已训练的该卷积神经网络架构，执行一自动光学检测程序(步骤S04)。
以下针对反向传播的算法进行说明，请一并参阅“图7”，反向传播算法包括以下步骤：
将训练影像(成对影像组合或是母片)输入至该卷积神经网络架构，经由卷积神经网络(CNN)计算后获得数据(步骤S21)；
将所获得的数据(误差)分成训练集以及验证集两个部分(步骤S22)；
依据该训练集计算梯度，估计出前导层的误差，并借此更新每一神经元的权重和阈值(步骤S23)；
其中在步骤S23计算出权重和阈值时，依据该验证集估计误差，当迭代次数或是该验证集的容许误差到达阈值时，停止该训练集，以结束反向传播的程序(步骤S24)。
本发明经由将成对影像组合或母片输入卷积神经网络架构进行训练，可以有效降低误宰率(Overkill Rate)，增加自动光学检测对缺陷的检出率及准确率。本发明中所述的方法步骤亦可作为一种计算机可读取记录媒体实施，用以储存于光盘片、硬盘、半导体记忆装置等计算机可读取记录媒体，并通过该计算机可读取记录媒体载置于电子装置上为该电子装置或电子设备所存取使用。
本发明所述的方法步骤亦可作为一种计算机程序产品实施，用以储存于网络服务器的硬盘、记忆装置，例如app store、google play、windows市集、或其他类似的应用程序在线发行平台。
综上所述，本发明可以有效增加深度学习在假性缺陷的滤除率，同时减少训练的时间、所需的样本数、以及模型的数据量。本发明可以有效地增加自动光学检测对缺陷的检出率及准确率，借此增加检测的效率同时降低成本。
以上已将本发明做一详细说明，但是以上所述，仅为本发明的一较佳实施例而已，当不能以此限定本发明实施的范围，即凡依本发明权利要求书所作的均等变化与修饰，皆应仍属本发明的专利涵盖范围内。

Claims (13)

1.一种利用深度学习的自动光学检测方法，其特征在于，包含：
提供成对影像组合，其中该成对影像组合包括至少一无瑕影像与至少一对应于该无瑕影像的瑕疵影像；
提供一卷积神经网络架构，并在该卷积神经网络架构中启动训练模式；
将多个该成对影像组合输入至该卷积神经网络架构，并经由反向传播算法调整全连接层个别的权重，以完成训练；以及
利用已训练的该卷积神经网络架构，执行一光学检测程序。
2.根据权利要求1所述的利用深度学习的自动光学检测方法，其特征在于，该成对影像组合包括至少一个标准母片影像样本。
3.根据权利要求1所述的利用深度学习的自动光学检测方法，其特征在于，提供至少一完整的标准母片影像至该卷积神经网络架构，并经由反向传播算法调整全连接层的权重。
4.根据权利要求1所述的利用深度学习的自动光学检测方法，其特征在于，该成对影像组合中的瑕疵影像经由人工确认而获得。
5.根据权利要求1所述的利用深度学习的自动光学检测方法，其特征在于，该无瑕影像及该瑕疵影像分别由检测影像及标准母片中重叠位置所撷取而得。
6.根据权利要求5所述的利用深度学习的自动光学检测方法，其特征在于，所取得的该无瑕影像及该瑕疵影像预先经由灰阶处理。
7.根据权利要求5所述的利用深度学习的自动光学检测方法，其特征在于，该反向传播算法包括：
将训练影像输入至该卷积神经网络架构，以获得数据；
将数据分成训练集以及验证集；
依据该训练集计算梯度，估计出前导层的误差，并借此更新每一神经元的权重和阈值；以及
依据该验证集估计误差，当迭代次数或是容许误差到达该阈值时，停止该训练集。
8.根据权利要求5所述的利用深度学习的自动光学检测方法，其特征在于，该卷积神经网络架构执行以下的方法：
经由多个卷积层由输入的该成对影像组合中筛选出特征影像；
将筛选出的该特征影像经由线性整流单元使一部分该特征影像上的像元输出为0；
进行池化处理将所获得的该特征影像进行压缩以简化该特征影像；以及
经由该全连接层筛选该特征影像，以将该特征影像依据权重比例进行分类，并将分类的结果进行正规化处理，以获得检测的结论。
9.一种执行权利要求1-8中任一项所述方法的自动光学检测设备，其特征在于，更包括：
一影像捕获设备，用以撷取一待测工件的影像；以及
一运算装置，耦合至该影像捕获设备，根据已训练的该卷积神经网络架构，对该待测工件的影像执行该光学检测程序。
10.根据权利要求9所述的自动光学检测设备，其特征在于，该卷积神经网络架构，由输入至输出的顺序包括：
一第一特征提取器，具有一第一卷积群层与一用以执行空间降维的第一池化层；
一第二特征提取器，耦合至该第一特征提取器，其中该第二特提取器征具有一第二卷积群层与一用以执行空间降维的第二池化层；
一第三特征提取器，耦合至该第二特征提取器，该第三特征提取器具有一第三卷积群层与一用以执行空间降维的第三池化层；
一第四特征提取器，耦合至该第三特征提取器，该第四特征提取器具有一第四卷积群层与一用以执行空间降维的第四池化层；
一第五特征提取器，耦合至该第四特征提取器，该第五特征提取器具有一第五卷积群层与一用以执行空间降维的第五池化层；
一个或多个全连接层，设置于该第五特征提取器的输出，依据权重比例进行分类；以及
一正规化输出层，输出分类的结果。
11.一种深度学习系统，其特征在于，包括：
一个或多个特征提取器，该特征提取器包括一个或多个卷积层、一个或多个线性整流单元、以及一个或多个池化层进行特征强化及影像压缩处理；
一个或多个全连接层，依据权重比例进行分类；
一正规化输出层，输出分类的结果；
一比较模块，在取得分类的结果后，将检测结果与预期输出进行比对，判断检测结果是否符合预期；以及
一权重调整模块，若该检测结果不符合预期的话，基于反向传播算法计算并调整全连接层的权重。
12.一种计算机程序，其特征在于，用于安装在一计算机设备上，并执行如权利要求1-8中任一项所述的利用深度学习的自动光学检测方法。
13.一种计算机可读取的记录媒体，其特征在于，储存有一计算机程序，该计算机程序用以安装在一计算机设备，并执行如权利要求1-8中任一项所述的利用深度学习的自动光学检测方法。
CN201810189495.5A 2017-12-25 2018-03-08 自动光学检测方法、设备、及其深度学习系统 Pending CN109959661A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW106145566 2017-12-25
TW106145566A TWI653605B (zh) 2017-12-25 2017-12-25 利用深度學習的自動光學檢測方法、設備、電腦程式、電腦可讀取之記錄媒體及其深度學習系統

Publications (1)

Publication Number Publication Date
CN109959661A true CN109959661A (zh) 2019-07-02

Family

ID=66590752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810189495.5A Pending CN109959661A (zh) 2017-12-25 2018-03-08 自动光学检测方法、设备、及其深度学习系统

Country Status (3)

Country Link
US (1) US10964004B2 (zh)
CN (1) CN109959661A (zh)
TW (1) TWI653605B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110610214A (zh) * 2019-09-23 2019-12-24 桂林电子科技大学 基于dcnn的晶圆图故障模式识别方法及系统
CN110940672A (zh) * 2019-12-13 2020-03-31 智泰科技股份有限公司 智能光学检测样品特征与瑕疵ai模型自动产生方法及装置
CN110956627A (zh) * 2019-12-13 2020-04-03 智泰科技股份有限公司 智能型光学检测样品特征与瑕疵智能打光取像方法及装置
CN111079831A (zh) * 2019-12-13 2020-04-28 智泰科技股份有限公司 智能型光学检测的样品特征与瑕疵自动标记方法及其装置
CN113125440A (zh) * 2019-12-30 2021-07-16 纬创资通股份有限公司 物件的瑕疵判断方法及装置
JP2021180309A (ja) * 2020-05-15 2021-11-18 清華大学Tsinghua University 深層学習に基づく２次元ｐｃｂ外観欠陥のリアルタイム自動検出方法
CN113837209A (zh) * 2020-06-23 2021-12-24 乐达创意科技股份有限公司 改良机器学习使用数据进行训练的方法及系统
CN114002225A (zh) * 2021-10-19 2022-02-01 业成科技（成都）有限公司 光学检测系统与方法
TWI755953B (zh) * 2020-12-01 2022-02-21 凌華科技股份有限公司 自動檢測系統及其操作方法

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019047461A (ja) * 2017-09-07 2019-03-22 富士通株式会社 画像処理プログラム、画像処理方法および画像処理装置
DE102018109819A1 (de) * 2018-04-24 2019-10-24 Yxlon International Gmbh Verfahren zur Gewinnung von Information aus Röntgen-Computertomographiedaten zur Optimierung des Spritzgussprozesses von kurzfaserverstärkten Kunststoffteilen
US10902579B1 (en) * 2018-11-13 2021-01-26 Kla-Tencor Corporation Creating and tuning a classifier to capture more defects of interest during inspection
KR102082970B1 (ko) * 2019-04-29 2020-02-28 주식회사 루닛 기계학습을 위한 정규화 방법 및 그 장치
US11521309B2 (en) 2019-05-30 2022-12-06 Bruker Nano, Inc. Method and apparatus for rapid inspection of subcomponents of manufactured component
CN110415190B (zh) * 2019-07-25 2023-03-14 青岛科技大学 基于深度学习去除图像压缩噪声的方法、装置及处理器
CN110570393B (zh) * 2019-07-31 2023-06-23 华南理工大学 一种基于机器视觉的手机玻璃盖板视窗区缺陷检测方法
RU2716465C1 (ru) * 2019-08-27 2020-03-11 Самсунг Электроникс Ко., Лтд. Способ оптической проверки и использующее его устройство
CN110533099B (zh) * 2019-08-28 2024-01-09 上海零眸智能科技有限公司 一种基于深度学习的多摄像头采集图像的物品识别方法
CN110726735A (zh) * 2019-09-03 2020-01-24 北京精思博智科技有限公司 一种基于深度学习的全自动电路板缺陷检测系统及方法
CN110598717B (zh) * 2019-09-12 2022-06-21 北京迈格威科技有限公司 图像特征的提取方法、装置及电子设备
TWI712991B (zh) * 2019-10-08 2020-12-11 智泰科技股份有限公司 兼具自動化光學檢測及人工智慧檢測功能之瑕疵檢測方法及其裝置
CN110837867A (zh) * 2019-11-08 2020-02-25 深圳市深视创新科技有限公司 基于深度学习自动判别同类异类产品方法
TWI719713B (zh) 2019-11-14 2021-02-21 緯創資通股份有限公司 物件偵測方法、電子裝置與物件偵測系統
FR3105861B1 (fr) * 2019-12-31 2022-09-02 Vit Système et procédé pour réduire les altérations dans des données de capteurs
CN113453153B (zh) * 2020-03-27 2022-05-17 威海北洋电气集团股份有限公司 基于深度学习的无线定位融合方法及系统
TWI759733B (zh) * 2020-04-28 2022-04-01 友達光電股份有限公司 人工智慧自動光學檢測方法及系統
CN111598855B (zh) * 2020-05-07 2023-04-18 西安电子科技大学 一种基于深度学习和迁移学习的2c设备高铁接触网吊弦缺陷检测方法
US11657279B2 (en) 2020-06-16 2023-05-23 National Taiwan University Of Science And Technology Electronic device and method for document segmentation
CN111754497B (zh) * 2020-06-28 2023-09-01 深圳大学 一种基于几何代数的工业缺陷检测方法和系统
CN112053318B (zh) * 2020-07-20 2024-01-05 清华大学 基于深度学习的二维pcb缺陷实时自动检测与分类装置
CN112651920A (zh) * 2020-07-24 2021-04-13 深圳市唯特视科技有限公司 Pcb裸板线路瑕疵检测方法、装置、电子设备
CN112083017A (zh) * 2020-09-10 2020-12-15 上海航天精密机械研究所 焊缝内部缺陷智能检测装置、方法及介质
CN112149682B (zh) * 2020-09-29 2023-08-15 青海大学 基于深度学习的悬钩子植物自动识别方法、存储介质和装置
CN112232400B (zh) * 2020-10-12 2023-06-20 太原科技大学 一种基于深浅特征融合的不锈钢焊缝超声缺陷检测方法
CN112730437B (zh) * 2020-12-28 2023-01-10 中国纺织科学研究院有限公司 基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法、装置、存储介质及设备
CN112884712B (zh) * 2021-01-22 2021-11-30 深圳精智达技术股份有限公司 一种显示面板缺陷分类的方法及相关装置
CN114913108A (zh) * 2021-01-29 2022-08-16 京东方科技集团股份有限公司 显示基板的图像分类方法和装置
CN112861789A (zh) * 2021-03-10 2021-05-28 上海交通大学 基于图像深度学习的crt荧光粉智能清理及品质控制方法
TWI785535B (zh) * 2021-03-15 2022-12-01 住華科技股份有限公司 一種檢測光學膜的方法、裝置及系統
TWI752846B (zh) * 2021-03-15 2022-01-11 英業達股份有限公司 自動光學與類神經網路整合的二次檢測系統及其方法
US11941792B2 (en) * 2021-04-09 2024-03-26 Dell Products L.P. Machine learning-based analysis of computing device images included in requests to service computing devices
US11694315B2 (en) * 2021-04-29 2023-07-04 Kyocera Document Solutions Inc. Artificial intelligence software for document quality inspection
CN113706509B (zh) * 2021-08-30 2024-02-27 常州工利精机科技有限公司 一种可用于冲压件表面微缺陷成像的检测方法
CN115100095B (zh) * 2021-12-29 2023-08-22 苏州真目人工智能科技有限公司 一种基于非监督算法的pcb板检测方法
CN114347687B (zh) * 2022-01-05 2023-05-12 珠海中京电子电路有限公司 Outer离线AOI自动化上、下板记录方法、自动手臂机及应用
EP4242919A1 (en) * 2022-03-07 2023-09-13 Siemens Aktiengesellschaft Efficient deep learning inference of a neural network for line camera data
CN114782830B (zh) * 2022-06-22 2022-09-06 天津大学 一种图像深度学习特征增强方法、系统及装置
EP4325206A1 (en) 2022-08-18 2024-02-21 F. Hoffmann-La Roche AG Method for compensating defective partitions of a microfluidic chip

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447566A (zh) * 2014-05-30 2016-03-30 富士通株式会社 训练装置、训练方法以及检测装置
CN106127746A (zh) * 2016-06-16 2016-11-16 广州视源电子科技股份有限公司 电路板元件漏件检测方法和系统
US20170191948A1 (en) * 2016-01-04 2017-07-06 Kla-Tencor Corporation Optical Die to Database Inspection
WO2017123561A1 (en) * 2016-01-11 2017-07-20 Kla-Tencor Corporation Image based specimen process control
TW201734825A (zh) * 2015-12-31 2017-10-01 克萊譚克公司 用於半導體應用之以機器學習之模型為基礎之加速訓練
CN107392896A (zh) * 2017-07-14 2017-11-24 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的木材缺陷检测方法和系统
CN107408209A (zh) * 2014-12-03 2017-11-28 科磊股份有限公司 无需取样及特征选择的自动缺陷分类

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6466314B1 (en) 1998-09-17 2002-10-15 Applied Materials, Inc. Reticle design inspection system
US11423311B2 (en) 2015-06-04 2022-08-23 Samsung Electronics Co., Ltd. Automatic tuning of artificial neural networks
CN105118044B (zh) * 2015-06-16 2017-11-07 华南理工大学 一种轮形铸造产品缺陷自动检测方法
US10186026B2 (en) * 2015-11-17 2019-01-22 Kla-Tencor Corp. Single image detection
US9864912B2 (en) * 2016-03-30 2018-01-09 Nec Corporation Large margin high-order deep learning with auxiliary tasks for video-based anomaly detection
US10395356B2 (en) * 2016-05-25 2019-08-27 Kla-Tencor Corp. Generating simulated images from input images for semiconductor applications
US10346740B2 (en) 2016-06-01 2019-07-09 Kla-Tencor Corp. Systems and methods incorporating a neural network and a forward physical model for semiconductor applications
US11580398B2 (en) * 2016-10-14 2023-02-14 KLA-Tenor Corp. Diagnostic systems and methods for deep learning models configured for semiconductor applications
TWI582721B (zh) 2016-11-03 2017-05-11 英業達股份有限公司 工件導電特徵檢查方法及工件導電特徵檢查系統
CN106845549B (zh) 2017-01-22 2020-08-21 珠海习悦信息技术有限公司 一种基于多任务学习的场景与目标识别的方法及装置
CN106991368A (zh) 2017-02-20 2017-07-28 北京大学 一种基于深度卷积神经网络的指静脉验证身份识别方法
EP3596449A4 (en) * 2017-03-14 2021-01-06 University of Manitoba DETECTION OF STRUCTURAL DEFECTS USING AUTOMATIC LEARNING ALGORITHMS
US11379688B2 (en) * 2017-03-16 2022-07-05 Packsize Llc Systems and methods for keypoint detection with convolutional neural networks
GB201704373D0 (en) * 2017-03-20 2017-05-03 Rolls-Royce Ltd Surface defect detection
US10234848B2 (en) * 2017-05-24 2019-03-19 Relativity Space, Inc. Real-time adaptive control of additive manufacturing processes using machine learning
US10346969B1 (en) * 2018-01-02 2019-07-09 Amazon Technologies, Inc. Detecting surface flaws using computer vision
JP7015001B2 (ja) * 2018-03-14 2022-02-02 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
US10599951B2 (en) * 2018-03-28 2020-03-24 Kla-Tencor Corp. Training a neural network for defect detection in low resolution images
CN108776808A (zh) * 2018-05-25 2018-11-09 北京百度网讯科技有限公司 一种用于检测钢包溶蚀缺陷的方法和装置
TWI787296B (zh) * 2018-06-29 2022-12-21 由田新技股份有限公司 光學檢測方法、光學檢測裝置及光學檢測系統
JP2020160616A (ja) * 2019-03-25 2020-10-01 ブラザー工業株式会社 生成装置、コンピュータプログラム、生成方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447566A (zh) * 2014-05-30 2016-03-30 富士通株式会社 训练装置、训练方法以及检测装置
CN107408209A (zh) * 2014-12-03 2017-11-28 科磊股份有限公司 无需取样及特征选择的自动缺陷分类
TW201734825A (zh) * 2015-12-31 2017-10-01 克萊譚克公司 用於半導體應用之以機器學習之模型為基礎之加速訓練
US20170191948A1 (en) * 2016-01-04 2017-07-06 Kla-Tencor Corporation Optical Die to Database Inspection
WO2017123561A1 (en) * 2016-01-11 2017-07-20 Kla-Tencor Corporation Image based specimen process control
CN106127746A (zh) * 2016-06-16 2016-11-16 广州视源电子科技股份有限公司 电路板元件漏件检测方法和系统
CN107392896A (zh) * 2017-07-14 2017-11-24 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的木材缺陷检测方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
毕盼盼: "图像处理技术在印刷缺陷检测中的应用研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110610214A (zh) * 2019-09-23 2019-12-24 桂林电子科技大学 基于dcnn的晶圆图故障模式识别方法及系统
CN110940672A (zh) * 2019-12-13 2020-03-31 智泰科技股份有限公司 智能光学检测样品特征与瑕疵ai模型自动产生方法及装置
CN110956627A (zh) * 2019-12-13 2020-04-03 智泰科技股份有限公司 智能型光学检测样品特征与瑕疵智能打光取像方法及装置
CN111079831A (zh) * 2019-12-13 2020-04-28 智泰科技股份有限公司 智能型光学检测的样品特征与瑕疵自动标记方法及其装置
CN113125440A (zh) * 2019-12-30 2021-07-16 纬创资通股份有限公司 物件的瑕疵判断方法及装置
JP2021180309A (ja) * 2020-05-15 2021-11-18 清華大学Tsinghua University 深層学習に基づく２次元ｐｃｂ外観欠陥のリアルタイム自動検出方法
TWI796681B (zh) * 2020-05-15 2023-03-21 清華大學 基於深度學習的二維ｐｃｂ外觀缺陷實時自動檢測之方法
JP7347836B2 (ja) 2020-05-15 2023-09-20 清華大学 深層学習に基づく２次元ｐｃｂ外観欠陥のリアルタイム自動検出方法
CN113837209A (zh) * 2020-06-23 2021-12-24 乐达创意科技股份有限公司 改良机器学习使用数据进行训练的方法及系统
TWI755953B (zh) * 2020-12-01 2022-02-21 凌華科技股份有限公司 自動檢測系統及其操作方法
CN114002225A (zh) * 2021-10-19 2022-02-01 业成科技（成都）有限公司 光学检测系统与方法
CN114002225B (zh) * 2021-10-19 2023-05-12 业成科技（成都）有限公司 光学检测系统与方法

Also Published As

Publication number Publication date
US10964004B2 (en) 2021-03-30
US20190197679A1 (en) 2019-06-27
TW201928869A (zh) 2019-07-16
TWI653605B (zh) 2019-03-11

Similar Documents

Publication Publication Date Title
CN109959661A (zh) 自动光学检测方法、设备、及其深度学习系统
CN111179251B (zh) 基于孪生神经网络利用模板比对的缺陷检测系统及方法
CN110659660B (zh) 利用深度学习系统的自动光学检测分类设备及其训练设备
CN111325713B (zh) 基于神经网络的木材缺陷检测方法、系统及存储介质
US11763443B2 (en) Method for monitoring manufacture of assembly units
CN109724984B (zh) 一种基于深度学习算法的缺陷检测识别装置和方法
US20190213725A1 (en) Board defect filtering method and device thereof and computer-readable recording medium
CN109840900A (zh) 一种应用于智能制造车间的故障在线检测系统及检测方法
CN116843650A (zh) 融合aoi检测与深度学习的smt焊接缺陷检测方法及系统
CN107886131A (zh) 一种基于卷积神经网络检测电路板元器件极性方法和装置
CN113379686A (zh) 一种pcb板缺陷检测方法及装置
CN114494780A (zh) 基于特征对比的半监督工业缺陷检测方法及系统
CN114140385A (zh) 基于深度学习的印刷电路板缺陷检测方法及系统
CN112505049B (zh) 基于蒙版抑制的精密零组件表面缺陷检测方法和系统
CN116468961A (zh) 一种图像分类方法及注塑产品智能瑕疵检测系统
CN114596244A (zh) 基于视觉处理和多特征融合的红外图像识别方法及系统
Metzner et al. Automated optical inspection of soldering connections in power electronics production using convolutional neural networks
CN111307817A (zh) 一种智能产线pcb生产过程的在线检测方法及系统
CN114549414A (zh) 一种针对轨道数据的异常变化检测方法及系统
CN113267506A (zh) 木板ai视觉缺陷检测装置、方法、设备及介质
TW202120917A (zh) 智慧型光學檢測之樣品特徵與瑕疵自動標記方法及其裝置
Jamal et al. Fine-tuning strategy for re-classification of false call in automated optical inspection post reflow
CN113344041B (zh) 一种基于多模型融合卷积神经网络的pcb缺陷图像识别方法
CN217332186U (zh) 木板ai视觉缺陷检测装置
Kavitha et al. Component Identification and Defect Detection of Printed Circuit Board using Artificial Intelligence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination