CN110659660B - 利用深度学习系统的自动光学检测分类设备及其训练设备 - Google Patents

利用深度学习系统的自动光学检测分类设备及其训练设备 Download PDF

Info

Publication number
CN110659660B
CN110659660B CN201811141019.2A CN201811141019A CN110659660B CN 110659660 B CN110659660 B CN 110659660B CN 201811141019 A CN201811141019 A CN 201811141019A CN 110659660 B CN110659660 B CN 110659660B
Authority
CN
China
Prior art keywords
layer
image
output
neural network
operator set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811141019.2A
Other languages
English (en)
Other versions
CN110659660A (zh
Inventor
亚鲁木鲁甘 安比卡帕
安比卡帕亚鲁木鲁甘
林建仲
谢承桦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Utechzone Co Ltd
Original Assignee
Utechzone Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Utechzone Co Ltd filed Critical Utechzone Co Ltd
Publication of CN110659660A publication Critical patent/CN110659660A/zh
Application granted granted Critical
Publication of CN110659660B publication Critical patent/CN110659660B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种利用深度学习系统的自动光学检测分类设备，包括摄影机、以及处理器。该处理器加载储存单元后执行深度学习系统，包括：输入层；神经网络群层，用以对输入影像执行特征提取并于最终获取多个影像特征，该神经网络群层包括一或多个神经网络子区块层、以及最大值池化层，该神经网络子区块层中包括具有共同输入的第一运算符集及第二运算符集、进行残差运算的残差映像层、以及进行非线性化运算的线性整流单元；以及全连接群层用以依据权重比例进行分类，最终输出检测结果。

Description

利用深度学习系统的自动光学检测分类设备及其训练设备
技术领域
本发明有关于一种自动光学检测分类设备及其训练设备，特别是指一种利用深度学习系统的自动光学检测分类设备及其训练设备。。
背景技术
深度学习(Deep Learning)最常见的应用，包括影像识别、语音识别、自然语言处理等，甚至推荐系统、生医信息等，各种和生活相关的领域都可以看到深度学习的推广应用。而其中影像辨识于深度学习的应用上最为广泛，技术成熟度也相较其他的领域来得要高。
光学检测为了避免人检的缺失，通常利用人工智能(Artificial Intelligence)和机器学习(Machine Learning)来取代一般的肉眼检测，由此减少误判的可能性。在类神经网络的发展中，目前主流的方式是通过增加类神经网络的深度借以提升分类的准确度。然而经过大量实验的结果，单纯增加类神经网络的深度最终并没有增加分类的准确度，实实际上反而降低了分类的准确度，细究其原因可能在于反像传播的训练方式随着类神经网络的深度增加反而增加了收敛的难度，而比起末端的神经网络层，前端的神经网络层对于检测的结果的影响更大。另一方面，单纯的增加类神经网络的深度，检测的速度及效率也会随之下降，变程必须要提供更高的硬件效能去推动类神经网络的运作，是以，有必要针对现有的类神经网络架构进行改善。
发明内容
本发明的主要目的，在于改善增加类神经网络深度时，训练的收敛效果不佳、且运算的效率亦随之下降的缺点。
为达到上述目的，本发明系提供一种利用深度学习系统的自动光学检测分类设备，通过待测物影像，检测待测物瑕疵。该自动光学检测分类设备包括连接至该摄影机的处理器。该摄影机用以拍摄并获取待测物的待测影像。该处理器系加载储存单元后系执行该深度学习系统，该深度学习系统由输入至输出包括：输入层，用以接收待测影像并将该待测影像进行正规化处理；神经网络群层，用以对输入影像执行特征提取并于最终获取多个影像特征，该神经网络群层由输入至输出包括一或多个神经网络子区块层、以及最大值池化层(Max Pool)，其中任一或多个该神经网络子区块层中包括具有共同输入的第一运算符集及第二运算符集、将该第一运算符集及该第二运算符集的输出进行残差运算的残差映像层(Eltwise)、以及将该残差映像层的输出进行非线性化运算的线性整流单元(ReLU)；以及全连接群层，包括一或多个全连接层依据权重比例进行分类，最终输出检测结果。
本发明的另一目的，在于提供一种深度学习系统的训练设备，包含自动视觉检测设备(AVI)、以及如上所述的自动光学检测分类设备。该自动视觉检测设备(AVI)用以对待测物进行检测，以产生瑕疵影像与相关瑕疵信息，其中，该相关瑕疵信息包括瑕疵种类及瑕疵位置。该自动光学检测分类设备经由该自动视觉检测设备获得该瑕疵影像后将该瑕疵影像传送至该深度学习系统进行训练。
经多次测试的结果，本发明不仅可以有效地增加自动光学检测对瑕疵的检出率及准确率，改良后的神经网络架构于检测的速度上亦有大幅的提升，增加了瑕疵检测的效果及效率。
附图说明
图1，为本发明自动光学检测分类设备的方块示意图。
图2，为本发明深度学习系统的结构示意图(一)。
图3，为本发明深度学习系统的结构示意图(二)。
图4，为本发明训练系统的方块示意图。
图5，为反向传播的训练流程。
附图标记说明：
100 自动光学检测分类设备
10 摄影机
20 图像处理设备
21 处理器
22 储存单元
30 移载设备
40 辅助光源
50 自动视觉检测设备
60 拍照机
L1 输入层
L2 神经网络群层
L3 全连接群层
1A 第一神经网络子区块层
1B 第二神经网络子区块层
1C 第三神经网络子区块层
S1 非线性卷积特征提取层
S11 卷积层
S12 正规化层
S2 线性卷积特征提取层
S21 卷积层
S22 正规化层
S3 最大值池化层
S4 残差映像层
S5 线性整流单元
P 待测物
步骤S21-S24
具体实施方式
有关本发明之详细说明及技术内容，现就配合图式说明如下。
本发明应用于自动光学检测分类设备(Automated Optical Inspection,AOI)上，用于对半导体芯片、晶圆、工件、面板、电路板(PCB、FPC、陶瓷电路板)等零件进行表面瑕疵检测，检测对象表面的缺陷或瑕疵。
以下针对自动光学检测分类设备的架构举一具体实施例进行说明，请参阅图1，为本发明自动光学检测分类设备的方块示意图，如图所示：
本实施例中所述的自动光学检测分类设备100主要包括摄影机10、以及连接至该摄影机的图像处理设备20。一般而言，为了实现全自动化检测，通常会再增加移载设备30，用于将待测物P移载至检测区域进行拍摄，实现全自动化控制；此外，针对不同的待测物P或瑕疵种类，自动光学检测分类设备100上亦可安装有各式的辅助光源40，用以对待测物P进行照明。所述的辅助光源40例如可以为但不限定于平行光灯具、漫射光灯具、穹形灯等，一些特殊的待测物可能会用到两组以上的辅助光源40，端看所对应的待测物种类决定。
用于自动光学检测的摄影机10依据实际需求而配置。通常对于工件的精密度及可靠度有相当程度的需求时，必须要配置更为精密的摄影机：反之，为了减少设备的成本，可选用较为低阶的摄影机，此部分端看厂商的需求而定。一般摄影机10种类可分为面扫描摄影机(Area Scan Camera)、以及线扫描摄影机(Line Scan Camera)，配合实际上的需求所述的两种摄影机都有可能被使用。线扫描摄影机较常用于动态检测，于待测物P移动的同时进行拍摄，可确保检测流程的连续性。
摄影机10连接于后台的图像处理设备20，经由图像处理设备20分析摄影机10所获得的影像，以经由影像中得到待测物P表面上的瑕疵。在一优选的实施例中，摄影机10配置有微处理器(通常于摄影机10出厂时配置)用以控制摄影机10或是针对摄影机10所拍摄到的影像进行预处理。图像处理设备20经由该摄影机10(或微处理器)获取影像后，将该影像进行前处理程序(例如影像强化、去除噪声、加强对比、加强边缘、获取特征、影像压缩、影像转换等)，并将输出的影像经由视觉软件工具和算法进行分析，以获得判定结果并将判定结果输出或储存于数据库。所述的图像处理设备20用以加载深度学习系统执行影像辨识处理。该图像处理设备20包括处理器21以及连接至该处理器21、或与该处理器21共构而成的储存单元22，处理器21经由加载该储存单元22执行本发明的深度学习系统。
自动光学检测中，待测物P上的异尘及瑕疵不管是经由人工检测的方式或是机器视觉检测的方式经常有混淆误认的情况，主要原因在于机器视觉中对于异尘及瑕疵的定义都是相对母片而言的噪点，虽然异尘及瑕疵在特性上尚有一些差异(例如异尘通常是立体、突出于表面上，瑕疵例如刮痕、碎亮点通常形成于内侧)，但对于一般机器视觉而言，两者均是与母片不相同的部分，一般的辨识逻辑难以分出区别。早期的方式通常是由软件工程师经由一般常见的瑕疵特性进行逻辑编程，并将其加载自动视觉检测设备(AutomatedVisual Inspector,AVI)检出缺陷后，再由光学检查操作员经由人检的方式进行二次确认。然而在大量制程(mass production)中，产品生产的数量可能是以每小时数万计，人检相较于机器视觉于效率及可靠度上就不是那么的合适。
以下针对本发明的深度学习系统举一优选实施例进行说明，请一并参阅图2及图3，为本发明深度学习系统的结构示意图(一)及结构示意图(二)，如图所示：
如图2所示，于本实施例中所提供的深度学习系统由输入至输出主要包括：输入层L1，用以接收待测影像并将该待测影像进行正规化处理；神经网络群层L2，用以对输入影像执行特征提取并于最终获取多个影像特征；该神经网络群层L2由输入至输出包括一或多个神经网络子区块层(1A、1B、1C)、以及最大值池化层(Max Pool)S3，于其中任一或多个该神经网络子区块层中包括具有共同输入的第一运算符集及第二运算符集、将该第一运算符集及该第二运算符集的输出进行残差运算的残差映像层(Eltwise)S4、以及将该残差映像层S4的输出进行非线性化运算的线性整流单元(Rectified Linear Unit,ReLU)S5；以及全连接群层L3，包括一或多个全连接层依据权重比例进行分类，最终输出检测结果。
如图3所示，本实施例中所提供的卷积神经网络层主要包括以下五种子区块：第一神经网络子区块层1A，第二神经网络子区块层1B，第三神经网络子区块层1C，非线性卷积特征提取层S1，以及线性卷积特征提取层S2，以下针对五种子区块层的架构分别进行说明。
所述的第一神经网络子区块层1A主要包括共同输入的第一运算符集及第二运算符集、将该第一运算符集及该第二运算符集的输出进行残差运算的残差映像层S4(Eltwise)、以及将该残差映像层S4的输出进行非线性化运算的线性整流单元(ReLU)S5。其中，该第一运算符集包括线性卷积特征提取层S2(第一卷积神经单元)。该第二运算符集由输入至输出包括两个非线性卷积特征提取层S1(第二卷积神经单元)、以及一线性卷积特征提取层S2(第三卷积神经单元)。其中该非线性卷积特征提取层S1包括一进行特征提取的卷积层S11、一将该提取的特征取平方值或方差以进行批量正规化处理的正规化层S12、以及一将正规化处理后的特征进行非线性化运算的线性整流单元S5(ReLU)；该线性卷积特征提取层S2包括一进行特征提取的卷积层S21、以及一将该提取的特征取平方值或方差以进行批量正规化处理的正规化层S22。在卷积神经网络中插入线性整流单元(ReLU)可以减少参数依存关系，减少过拟合(over fitting)的现象。
所述的第二神经网络子区块层1B主要包括共同输入的第一运算符集及第二运算符集、将该第一运算符集及该第二运算符集的输出进行残差运算的残差映像层(Eltwise)S4、以及将该残差映像层S4的输出进行非线性化运算的线性整流单元(ReLU)S5。其中，该第二神经网络子区块层1B的该第一运算符集为空操作数S6(第一卷积神经单元)，该空操作数S6不进行任何运算，直接将输入的内容输出至该残差映像层(Eltwise)；该第二运算符集由输入至输出包括两个非线性卷积特征提取层S1(第二卷积神经单元)、以及一线性卷积特征提取层S2(第三卷积神经单元)。
所述的第三神经网络子区块层1C主要包括一共同输入的第一运算符集及第二运算符集、一将该第一运算符集及该第二运算符集的输出进行残差运算的残差映像层(Eltwise)S4、以及一将该残差映像层S4的输出进行非线性化运算的线性整流单元(ReLU)S5。其中，该第一运算符集包括一线性卷积特征提取层S2(第一卷积神经单元)；该第二运算符集由输入至输出包括一非线性卷积特征提取层S1(第二卷积神经单元)、以及一线性卷积特征提取层S2(第三卷积神经单元)。
再次一并参阅图2，本实施例的深度学习系统依据输入至输出的排序为：非线性卷积特征提取层S1→最大值池化层(Max Pool)S3→第一神经网络子区块层1A→第二神经网络子区块层1B→第二神经网络子区块层1B→第一神经网络子区块层1A→第二神经网络子区块层1B→第二神经网络子区块层1B→第二神经网络子区块层1B→第一神经网络子区块层1A→第二神经网络子区块层1B→第二神经网络子区块层1B→第二神经网络子区块层1B→第二神经网络子区块层1B→第二神经网络子区块层1B→第一神经网络子区块层1A→第三神经网络子区块层1C→第三神经网络子区块层1C→最大值池化层(Max Pool)S3→全连接群层L3。其中，上述重复出现的区块指架构上定义相同的区块，而非指同一区块重复执行循环，在此必须先行叙明。
所述的残差映像层(Eltwise)S4主要进行以下运算：H(X)＝F(X)+X；其中，X为第一运算符集的输出，F(X)为第二运算符集的输出，H(X)为残差映像层(Eltwise)的输出。在另一实施例中，该残差映像层(Eltwise)S4亦可以进行以下运算：H(X)＝F(X)-X；其中，X为第一运算符集的输出，F(X)为第二运算符集的输出，H(X)为残差映像层(Eltwise)的输出。通过残差映像层可以经由添加快捷方式实现前向神经网络，降低了进行反向传播训练时收敛的难度。
所述的全连接群层L3最后经由正规化输出层输出分类的结果，以区分瑕疵的种类。在本实施例中，所述的全连接群层L3的输出可以为多种不同的瑕疵种类，借此对NG品进行更进一步的细分。举例而言，若检测的对象为PCB板，该全连接层最终的输出可以包括刮伤分类结果、短路分类结果、露铜分类结果、凹陷分类结果、异物分类结果、断路分类结果、以及无瑕分类结果；若检测的对象为面板，该全连接层最终的输出可以包括PS欠缺分类结果、砂状异物分类结果、膜上异物分类结果、膜下异物分类结果、以及无瑕分类结果；若检测的对象为软板(Flexible Printed Circuit,FPC)，该全连接层的输出包括小板不良分类结果、手指异物分类结果、压折伤分类结果、破损分类结果、PAD异物分类结果、U型金面分类结果、以及无瑕分类结果。对应于检测的需求不同，全连接群层L3的配置亦会有所调整，以决定输出结果的数量。
除上述的实施例外，本发明又提供一套训练系统，用以通过自动化、半自动化的模式训练深度学习系统，以增加深度学习系统的准确度。以下针对本发明的训练系统进行详细的说明，请参阅图4，为本发明训练系统的方块示意图，如图所示：
在本实施例中，该训练设备主要包含自动视觉检测设备50、拍照机60、以及如上所述利用深度学习系统的自动光学检测分类设备100。
该自动视觉检测设备50(Automated Visual Inspector,AVI)用以通过摄影机对待测物进行拍照，并经由获取的待测物影像取得待测物的瑕疵影像、瑕疵种类、位置等相关瑕疵信息，并将该等瑕疵信息输出至拍照机。
该拍照机60耦合至该自动视觉检测设备接收自自动视觉检测设备50传送的瑕疵影像与相关瑕疵信息后，依据该等瑕疵信息对待测物进行取像，并强化该待测物的瑕疵特征，以产生瑕疵强化影像。具体而言，该拍照机60可以提供固定式或自动移动式的辅助光源装置至待测物的瑕疵位置，对待测物的瑕疵位置进行补光以强化瑕疵特征，并对待测物的瑕疵进行拍摄。
输出的结果经由光学检测工程师进行目检以确保训练用样本母片的正确性，避免深度学习系统进行了错误的学习，该等影像中的瑕疵可经由光学检测工程师或图像处理装置进行标记；目检的程序可以通过机器视觉判断进行省略，例如可直接将自动视觉检测设备50所产生的待测物影像与相关瑕疵信息传送至拍照机60，以进行后续的瑕疵影像特征强化，以经由该拍照机进行拍摄。最终的影像通过图像处理装置将所拍摄到的瑕疵影像进行标准化处理(例如将瑕疵区域分割为标准化尺寸的影像)，以便于深度学习系统进行训练。
最终获得的瑕疵影像可以与其他瑕疵影像、无暇影像或母片批量输入深度学习系统进行训练。在训练的过程中，如果分类的结果与预期结果相同时被归类为正确，若不同时则归类为误差并依据误差数值反向传播修改各层的权重。
反向传播的具体流程如图5所示，包括以下步骤：将训练影像输入至该深度学习系统，经由深度学习系统计算后获得数据(步骤S21)；将所获得的数据(误差)分成训练集以及验证集两个部分(步骤S22)；依据该训练集计算梯度，估计出前导层的误差，并借此更新每一神经元的权重和阈值(步骤S23)；其中在步骤S23计算出权重和阈值时，依据该验证集估计误差，当叠代次数或是该验证集的容许误差到达阈值时，停止该训练集，以结束反向传播的程序(步骤S24)。
本发明最终将训练过后的深度学习系统进行测试，并于测试后的结果获得非常良好的瑕疵辨识准确率，经由PCB、LCD、FPC测试的结果，检测结果准确率经常高于98％以上的数值，单张影像的检测速度则经常低于0.05秒，显示出本发明的深度学习系统可以达到相当高的准确率及检测效率。
综上所述，本发明不仅可以有效地增加自动光学检测对瑕疵的检出率及准确率，改良后的神经网络架构于检测的速度上亦有大幅的提升，增加了瑕疵检测的效果及效率。
以上已将本发明做一详细说明，惟以上所述者，仅为本发明之一优选实施例而已，当不能以此限定本发明实施之范围，即凡依本发明申请专利范围所作之均等变化与修饰，皆应仍属本发明之专利涵盖范围内。

Claims (8)

1.一种利用深度学习系统的自动光学检测分类设备，通过待测物影像，检测待测物瑕疵，其特征在于，该自动光学检测分类设备包括：
处理器，该处理器加载储存单元后执行该深度学习系统，该深度学习系统由输入至输出包括：
输入层，用以接收待测影像并将该待测影像进行正规化处理；
神经网络群层，用以对输入影像执行特征提取并于最终获取多个影像特征，该神经网络群层由输入至输出包括多个神经网络子区块层、以及最大值池化层，其中该神经网络子区块层中包括具有共同输入的第一运算符集及第二运算符集、将该第一运算符集及该第二运算符集的输出进行残差运算的残差映像层、以及将该残差映像层的输出进行非线性化运算的线性整流单元；以及
全连接群层，包括一或多个全连接层依据权重比例进行分类，最终输出检测结果；
其中，多个该神经网络子区块层包括三种子区块层：第一神经网络子区块层、第二神经网络子区块层、以及第三神经网络子区块层；
其中，该第一神经网络子区块层的第一运算符集包括线性卷积特征提取层；该第二运算符集由输入至输出包括两个非线性卷积特征提取层、以及一线性卷积特征提取层；
该第二神经网络子区块层的该第一运算符集为空操作数，该空操作数不进行任何运算，直接将输入的内容输出至该残差映像层；该第二运算符集由输入至输出包括两个非线性卷积特征提取层、以及一线性卷积特征提取层；
该第三神经网络子区块层的该第一运算符集包括一线性卷积特征提取层；该第二运算符集由输入至输出包括一非线性卷积特征提取层、以及一线性卷积特征提取层；
其中该非线性卷积特征提取层包括一进行特征提取的卷积层、一将该提取的特征取平方值或方差以进行批量正规化处理的正规化层、以及一将正规化处理后的特征进行非线性化运算的线性整流单元；该线性卷积特征提取层包括一进行特征提取的卷积层、以及一将该提取的特征取平方值或方差以进行批量正规化处理的正规化层。
2.如权利要求1所述的自动光学检测分类设备，其特征在于，该残差映像层进行以下之运算：
H(X)=F(X)+X；
其中，X为第一运算符集的输出，F(X)为第二运算符集的输出，H(X)为残差映像层的输出。
3.如权利要求1所述的自动光学检测分类设备，其特征在于，该残差映像层进行以下的运算：
H(X)=F(X)-X；
其中，X为第一运算符集的输出，F(X)为第二运算符集的输出，H(X)为残差映像层的输出。
4.如权利要求1所述的自动光学检测分类设备，其特征在于，该全连接层的输出包括刮伤分类结果、短路分类结果、露铜分类结果、凹陷分类结果、异物分类结果、断路分类结果、以及无瑕分类结果。
5.如权利要求1所述的自动光学检测分类设备，其特征在于，该全连接层的输出包括PS欠缺分类结果、砂状异物分类结果、膜上异物分类结果、膜下异物分类结果、以及无瑕分类结果。
6.如权利要求1所述的自动光学检测分类设备，其特征在于，该全连接层的输出包括小板不良分类结果、手指异物分类结果、压折伤分类结果、破损分类结果、PAD异物分类结果、U型金面分类结果、以及无瑕分类结果。
7.一种深度学习系统的训练设备，其特征在于，包含：
自动视觉检测设备，用以对待测物进行检测，以产生瑕疵影像与相关瑕疵信息，其中，该相关瑕疵信息包括瑕疵种类及瑕疵位置；以及：
如权利要求1至6中任一项所述的自动光学检测分类设备，经由该自动视觉检测设备获得该瑕疵影像后将该瑕疵影像传送至该深度学习系统进行训练。
8.如权利要求7所述的训练设备，其特征在于，更进一步包括拍照机，耦合至该自动视觉检测设备，根据该瑕疵影像与该相关瑕疵信息，对该待测物进行取像，以强化该瑕疵影像上的瑕疵特征，以产生瑕疵强化影像，并将该瑕疵强化影像传送至该深度学习系统进行训练。
CN201811141019.2A 2018-06-29 2018-09-28 利用深度学习系统的自动光学检测分类设备及其训练设备 Active CN110659660B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107122640A TWI689875B (zh) 2018-06-29 2018-06-29 利用深度學習系統的自動光學檢測分類設備及其訓練設備
TW107122640 2018-06-29

Publications (2)

Publication Number Publication Date
CN110659660A CN110659660A (zh) 2020-01-07
CN110659660B true CN110659660B (zh) 2023-09-15

Family

ID=69028791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811141019.2A Active CN110659660B (zh) 2018-06-29 2018-09-28 利用深度学习系统的自动光学检测分类设备及其训练设备

Country Status (3)

Country Link
US (1) US11455528B2 (zh)
CN (1) CN110659660B (zh)
TW (1) TWI689875B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI731565B (zh) * 2020-01-30 2021-06-21 遠傳電信股份有限公司 片狀材料快速檢測瑕疵整合系統及其使用方法
CN111272776A (zh) * 2020-02-17 2020-06-12 上海感图网络科技有限公司 一种基于ai技术的柔性电路板缺陷检测方法
CN113267501A (zh) * 2020-02-17 2021-08-17 远传电信股份有限公司 片状材料快速检测瑕疵整合系统及其使用方法
CN113496233A (zh) * 2020-03-19 2021-10-12 荷盛崧钜智财顾问股份有限公司 图像近似度分析系统
TWI778341B (zh) * 2020-03-19 2022-09-21 荷盛崧鉅智財顧問股份有限公司 圖像近似度分析系統
CN111582435B (zh) * 2020-04-02 2023-04-18 清华大学 基于残差网络的衍射深度神经网络系统
CN111612739B (zh) * 2020-04-16 2023-11-03 杭州电子科技大学 一种基于深度学习的脑梗死分类方法
CN111598855B (zh) * 2020-05-07 2023-04-18 西安电子科技大学 一种基于深度学习和迁移学习的2c设备高铁接触网吊弦缺陷检测方法
TWI765266B (zh) * 2020-05-15 2022-05-21 鴻海精密工業股份有限公司 機器學習模型訓練方法、裝置及電子設備
CN113673706A (zh) 2020-05-15 2021-11-19 富泰华工业（深圳）有限公司 机器学习模型训练方法、装置及电子设备
TWI732618B (zh) * 2020-07-02 2021-07-01 撼訊科技股份有限公司 影像辨識方法及其系統
US20230298310A1 (en) * 2020-07-09 2023-09-21 Hitachi High-Tech Corporation Pattern Matching Device, Pattern Measuring System, Pattern Matching Program
CN112651920A (zh) * 2020-07-24 2021-04-13 深圳市唯特视科技有限公司 Pcb裸板线路瑕疵检测方法、装置、电子设备
CN112070134A (zh) * 2020-08-28 2020-12-11 广东电网有限责任公司 电力设备图像分类方法、装置、电力设备及存储介质
CN112485259A (zh) * 2020-11-13 2021-03-12 湖南交通工程学院 一种自适应强的金属表面智能缺陷视觉检测装备及检测方法
CN112651428A (zh) * 2020-12-03 2021-04-13 北京信息科技大学 一种用于远程拉曼矿物识别的深度学习模型多分类方法
TWI752846B (zh) * 2021-03-15 2022-01-11 英業達股份有限公司 自動光學與類神經網路整合的二次檢測系統及其方法
CN113011567B (zh) * 2021-03-31 2023-01-31 深圳精智达技术股份有限公司 一种卷积神经网络模型的训练方法及装置
CN113674305B (zh) * 2021-08-25 2022-05-31 茶陵县强强陶瓷有限公司 应用于陶瓷生产的智能储坯系统及控制方法
CN115100095B (zh) * 2021-12-29 2023-08-22 苏州真目人工智能科技有限公司 一种基于非监督算法的pcb板检测方法
CN115938966A (zh) * 2022-12-15 2023-04-07 西安奕斯伟材料科技有限公司 外延硅片检测方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996056A (zh) * 2014-04-08 2014-08-20 浙江工业大学 一种基于深度学习的纹身图像分类方法
WO2016165082A1 (zh) * 2015-04-15 2016-10-20 中国科学院自动化研究所 基于深度学习的图像隐写检测方法
CN106228124A (zh) * 2016-07-17 2016-12-14 西安电子科技大学 基于卷积神经网络的sar图像目标检测方法
CN106845371A (zh) * 2016-12-31 2017-06-13 中国科学技术大学 一种城市路网机动车尾气排放遥感监控系统
CN107018422A (zh) * 2017-04-27 2017-08-04 四川大学 基于深度卷积神经网络的静止图像压缩方法
CN107316295A (zh) * 2017-07-02 2017-11-03 苏州大学 一种基于深度神经网络的织物瑕疵检测方法
CN107563446A (zh) * 2017-09-05 2018-01-09 华中科技大学 一种微操作系统目标检测方法
CN108122247A (zh) * 2017-12-25 2018-06-05 北京航空航天大学 一种基于图像显著性和特征先验模型的视频目标检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016111809A1 (en) * 2015-01-05 2016-07-14 Anki, Inc. Adaptive data analytics service
US10346740B2 (en) * 2016-06-01 2019-07-09 Kla-Tencor Corp. Systems and methods incorporating a neural network and a forward physical model for semiconductor applications
US11580398B2 (en) * 2016-10-14 2023-02-14 KLA-Tenor Corp. Diagnostic systems and methods for deep learning models configured for semiconductor applications
CN108154504A (zh) * 2017-12-25 2018-06-12 浙江工业大学 一种基于卷积神经网络的钢板表面缺陷的检测方法
CN108319972B (zh) * 2018-01-18 2021-11-02 南京师范大学 一种针对图像语义分割的端到端差异网络学习方法
CN109389667B (zh) * 2018-08-23 2023-07-18 北京大学 一种基于深度学习的高效全局光照明绘制方法
CN110533041B (zh) * 2019-09-05 2022-07-01 重庆邮电大学 基于回归的多尺度场景文本检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103996056A (zh) * 2014-04-08 2014-08-20 浙江工业大学 一种基于深度学习的纹身图像分类方法
WO2016165082A1 (zh) * 2015-04-15 2016-10-20 中国科学院自动化研究所 基于深度学习的图像隐写检测方法
CN106228124A (zh) * 2016-07-17 2016-12-14 西安电子科技大学 基于卷积神经网络的sar图像目标检测方法
CN106845371A (zh) * 2016-12-31 2017-06-13 中国科学技术大学 一种城市路网机动车尾气排放遥感监控系统
CN107018422A (zh) * 2017-04-27 2017-08-04 四川大学 基于深度卷积神经网络的静止图像压缩方法
CN107316295A (zh) * 2017-07-02 2017-11-03 苏州大学 一种基于深度神经网络的织物瑕疵检测方法
CN107563446A (zh) * 2017-09-05 2018-01-09 华中科技大学 一种微操作系统目标检测方法
CN108122247A (zh) * 2017-12-25 2018-06-05 北京航空航天大学 一种基于图像显著性和特征先验模型的视频目标检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
卷积神经网络的贴片电阻识别应用;谌贵辉等;《智能系统学报》;20180423;第14卷(第2期);第263-272页 *

Also Published As

Publication number Publication date
US11455528B2 (en) 2022-09-27
TWI689875B (zh) 2020-04-01
CN110659660A (zh) 2020-01-07
US20200005141A1 (en) 2020-01-02
TW202001696A (zh) 2020-01-01

Similar Documents

Publication Publication Date Title
CN110659660B (zh) 利用深度学习系统的自动光学检测分类设备及其训练设备
US10964004B2 (en) Automated optical inspection method using deep learning and apparatus, computer program for performing the method, computer-readable storage medium storing the computer program, and deep learning system thereof
CN109934814B (zh) 表面缺陷侦测系统及其方法
US11341626B2 (en) Method and apparatus for outputting information
TWI238366B (en) Image processing method for appearance inspection
CN109060817B (zh) 人工智能复检系统及其方法
CN106501272B (zh) 机器视觉焊锡定位检测系统
CN108257171A (zh) 基于光视觉的汽车雷达装配孔径检测方法
WO2024002187A1 (zh) 缺陷检测方法、缺陷检测设备及存储介质
CN112884743B (zh) 检测方法及装置、检测设备和存储介质
CN114494780A (zh) 基于特征对比的半监督工业缺陷检测方法及系统
TWI694250B (zh) 表面缺陷偵測系統及其方法
CN114549414A (zh) 一种针对轨道数据的异常变化检测方法及系统
CN114240877A (zh) 一种检测焊接质量的方法及装置
CN112505049B (zh) 基于蒙版抑制的精密零组件表面缺陷检测方法和系统
CN112763496A (zh) 一种手机电池表面缺陷检测装置及其检测方法
CN113267506A (zh) 木板ai视觉缺陷检测装置、方法、设备及介质
JP2003076991A (ja) 自動検査装置及び方法並びに画像信号の処理方法
CN116523882B (zh) 一种基于视觉的光学目标区域准确率检测方法与系统
CN117470872B (zh) 分板品质检测方法、装置、分板机及电路板生产线
TWI810016B (zh) 軟性電路板檢測系統
CN111539933B (zh) 一种直插元件检测方法及系统
TW202134634A (zh) 共生式複檢系統、及共生式複檢方法
CN115330713A (zh) 基于机器视觉的阴极板检测方法、服务器及可读存储介质
TWM651593U (zh) 鏡片外觀瑕疵檢測系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant