CN112362679A - 影像辨识装置、影像辨识方法及其计算机程序产品 - Google Patents

影像辨识装置、影像辨识方法及其计算机程序产品 Download PDF

Info

Publication number
CN112362679A
CN112362679A CN202010349232.3A CN202010349232A CN112362679A CN 112362679 A CN112362679 A CN 112362679A CN 202010349232 A CN202010349232 A CN 202010349232A CN 112362679 A CN112362679 A CN 112362679A
Authority
CN
China
Prior art keywords
model
image
artificial intelligence
training
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010349232.3A
Other languages
English (en)
Other versions
CN112362679B (zh
Inventor
郑志伟
申再生
王光宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from TW109112602A external-priority patent/TWI761806B/zh
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN112362679A publication Critical patent/CN112362679A/zh
Application granted granted Critical
Publication of CN112362679B publication Critical patent/CN112362679B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7747—Organisation of the process, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N2021/95638—Inspecting patterns on the surface of objects for PCB's
    • G01N2021/95646—Soldering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种影像辨识方法、影像辨识装置及其计算机程序产品。该影像辨识方法包括：接收一结构化数据，其中该结构化数据包括一训练集数据及一测试集数据，其中该结构化数据包括多个群组，且各群组包括一或多个类别，且各类别包括多张检测点影像；依据该训练集数据对一人工智能模型进行训练；将该测试集数据输入至该人工智能模型以得到该人工智能模型的一模型评价；判断在该结构化数据中整体辨识率或信心度较差的一或多个第一类别，并将对应于该一或多个第一类别中的该等第一检测点影像删除或修正以更新该结构化数据。本发明利用人工智能模型自行判断在结构化数据中的训练集数据的各检测点影像的状态，达到降低作业人员工作负担及降低生产成本的功效。

Description

影像辨识装置、影像辨识方法及其计算机程序产品
技术领域
本发明涉及自动光学检测，特别涉及一种影像辨识装置、影像辨识方法及其计算机程序产品。
背景技术
自动光学检测(Automated Optical Inspection，AOI)是工业制程中常见的代表性手法，例如可用于检查印刷电路板(printed circuit board，PCB)、平面显示器(flatdisplay panel)、半导体装置、电子产品、光学装置、机械机构、模具等等的待测物品。举例来说，自动光学检测系统可利用光学仪器取得成品的表面状态，再以计算机影像处理技术来检出异物或图案异常等瑕疵，因为是非接触式检查，所以可在生产线的中间节点来检查半成品，例如空白PCB(bare PCB)以及组装完成的PCB均为中间节点。
自动光学检测系统可用于待测物品的制造或组装过程中以检查待测物品或半成品的不同特征，例如但不限于：导体(例如电线)的完整性(例如断裂、连续性、破裂)及尺寸、绝缘体或基板的尺寸及位置、孔洞(hole)的尺寸及位置、通孔(via)的尺寸及位置、导体间距、线宽和长度、焊锡状况、元件位置、焊点缺陷等等。
然而，传统的自动光学检测系统均会设定相当严格的判断条件以剔除不合格的产品，但是在上述过程中会得到许多质量合格但是被自动光学检测系统判断为有缺陷的产品，且在工厂端大量制造产品时，并无有效的方法可以一一检测被误判为有缺陷的产品。
发明内容
有鉴于此，需要一种用于自动光学检测的影像辨识装置、影像辨识方法及其计算机程序产品以解决上述问题。
本发明实施例提供一种计算机程序产品，用以被一机器载入且执行一影像辨识方法，该计算机程序产品包括：一模型训练模块，用以接收一结构化数据，其中该结构化数据包括一训练集数据及一测试集数据，该模型训练模块还依据该训练集数据对一人工智能模型进行训练，其中该结构化数据包括多个群组，且各群组包括一或多个类别，且各类别包括多张检测点影像；以及一模型评价模块，用以将该测试集数据输入至该人工智能模型以得到该人工智能模型的一模型评价，其中该模型评价模块还判断在该结构化数据中整体辨识率或信心度较差的一或多个第一类别，并将对应于该一或多个第一类别中的该等第一检测点影像删除或修正以更新该结构化数据。
在一些实施例中，在该结构化数据中的各群组的该等检测点影像均具有第一数量，且各群组中的各类别的该等检测点影像的第二数量为该第一数量除以各群组中的该等类别的数量。该模型训练模块依据一预定比例将该第二结构化数据划分为该训练集数据及该测试集数据。
在一些实施例中，该人工智能模型包括一输入层、一迁移模型、一分类层、及一输出层，且该模型训练模块定义该迁移模型的训练过程的多个策略参数，其中该等策略参数包括优化器种类、学习率、回合数、批次尺寸。
在一些实施例中，该模型训练模块还定义该人工智能模型所使用的影像分辨率，其中该影像分辨率符合该迁移模型的影像分辨率限制。当该结构化数据中的该等检测点影像的尺寸与该人工智能模型所使用的该影像分辨率不同时，该模型训练模块对该结构化数据中的该等检测点影像进行内插计算以将该等检测点影像缩放为该人工智能模型所使用的该影像分辨率。
在一些实施例中，该模型训练模块在训练该人工智能模型时产生在训练阶段当下的训练准确率及测试准确率，并比对该训练准确率及测试准确率以判断该人工智能模型是否发生过适(overfitting)的现象。
在一些实施例中，当该人工智能模型的训练阶段开始时，该模型训练模块产生一训练损失曲线及一训练准确率曲线。
在一些实施例中，该模型评价模块将该人工智能模型所判断出在各类别中的该等检测点影像的数量除以在该测试集数据中的各类别的该等检测点影像的标记数量以得到各类别的第一正确率，并且将该人工智能模型的判断结果与该测试集数据的各类别中的检测点影像的标记一致的数量除以该人工智能模型所判断出在各类别中的该等检测点影像的数量以得到各类别的第二正确率，其中该模型评价模块依据在该测试集数据中的各类别相应的该第一正确率及该第二正确率以判断该人工智能模型对于该测试集数据中的各类别的该等检测点影像的辨识能力。
在一些实施例中，该模型评价模块还过滤出在该结构化数据中标示错误及多重标记的该等检测点影像。该模型评价模块还执行一第一数据清理程序以将在该结构化数据中标示错误的该等检测点影像从该训练集数据删除以更新该结构化数据。该模型评价模块还执行一第二数据清理程序以过滤出在该结构化数据中有多重标记的该等检测点影像，并将该等检测点影像在该训练集数据中对应的该等检测点影像删除以更新该结构化数据。在另一些实施例中，该模型评价模块还搬移标记错误及多重标记的该等检测点影像至一待修正类别数据夹以更新该结构化数据。当该模型评价模块已执行该第一数据清理程序及该第二数据清理程序并更新该训练集数据后，该模型评价模块呼叫该影像标示模块或该影像归类模块以逐一检查过滤出的该等检测点影像并重新进行标示，其中当过滤出的该等检测点影像的群组标记或类别经过重新标示后而改变，该模型评价模块将修正标记后的该等检测点影像搬运至修正类别数据夹中。
在一些实施例中，该计算机程序产品还包括一影像生成模块，且该模型评价模块呼叫该影像生成模块以进一步检视在该一或多个第一类别中的各检测点影像，并针对该一或多个第一类别生成多张模拟检测点影像以更新该结构化数据。该模型训练模块还依据更新后的该结构化数据以分割出新的该训练集数据以重新训练该人工智能模型。
本发明实施例还提供一种影像辨识方法，包括：接收一结构化数据，其中该结构化数据包括一训练集数据及一测试集数据，其中该结构化数据包括多个群组，且各群组包括一或多个类别，且各类别包括多张检测点影像；依据该训练集数据对一人工智能模型进行训练；将该测试集数据输入至该人工智能模型以得到该人工智能模型的一模型评价；以及判断在该结构化数据中整体辨识率或信心度较差的一或多个第一类别，并将对应于该一或多个第一类别中的该等第一检测点影像删除或修正以更新该结构化数据。
本发明实施例还提供一种影像辨识装置，包括：一非易失性存储器，用以储存一模型产生程序；以及一处理器，用以执行该模型产生程序以进行下列步骤：接收一结构化数据，其中该结构化数据包括一训练集数据及一测试集数据，其中该结构化数据包括多个群组，且各群组包括一或多个类别，且各类别包括多张检测点影像；依据该训练集数据对一人工智能模型进行训练；将该测试集数据输入至该人工智能模型以得到该人工智能模型的一模型评价；以及判断在该结构化数据中整体辨识率或信心度较差的一或多个第一类别，并将对应于该一或多个第一类别中的该等第一检测点影像删除或修正以更新该结构化数据。
本发明实施例所提供的影像辨识装置、影像辨识方法及其计算机程序产品，可利用人工智能模型自行判断在结构化数据中的训练集数据的各检测点影像的状态。此外，经由模型评价的过程，可适度地过滤出标记错误或多重标记的训练集数据，并据以更新训练集数据并且重新训练人工智能模型以增进人工智能模型的辨识率及信心度。因此，可达到让生产线的作业人员的工作负担降低以及降低生产成本的功效。
附图说明
图1显示依据本发明一实施例中的自动光学检测系统的示意图。
图2显示依据本发明一实施例中的影像辨识装置的框图。
图3显示依据本发明一实施例中的第一结构化数据的示意图。
图4A为依据本发明一实施例中的模型产生程序的使用者界面的示意图。
图4B及图4C为依据本发明图4A的实施例中的训练损失曲线及训练准确率曲线的示意图。
图4D为依据本发明一实施例中的模型产生程序的使用者界面的另一示意图。
图5为依据本发明一实施例中的模型训练模块的操作过程的流程图。
图6为依据本发明一实施例中的模型评价模块的操作过程的流程图。
图7为依据本发明一实施例的影像辨识方法的流程图。
主要组件符号说明：
10 自动光学检测系统
12 自动输送装置
14 自动光学检测装置
16 影像检测装置
18 影像辨识装置
20 待测物
30 箭头
122 机壳
124 驱动机构
126 控制器
128 检测定位点
142 影像感测器
144 照明装置
180 人工智能影像检测程序
181 处理器
182 存储器单元
183 储存装置
1801 影像切割模块
1802 影像标记模块
1803 影像归类模块
1804 影像生成模块
1805 模型训练模块
1806 模型评价模块
1807 模型产生程序
400 使用者界面
401、420、421、422、440、442、530、630 框
4001～4002、4011～4013、411～417、431～432 按钮
4014～4019、4201～4205、4221～4225、433～436 栏位
451～454 按钮
461、472、473、476、477 框
463～471、474～475 栏位
S502～S522、S602～S616、S710～S750 步骤
具体实施方式
以下说明为完成发明的较佳实现方式，其目的在于描述本发明的基本精神，但并不用以限定本发明。实际的发明内容必须参考所附的权利要求范围。
必须了解的是，使用于本说明书中的"包含"、"包括"等词，用以表示存在特定的技术特征、数值、方法步骤、作业处理、元件和/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、元件、组件，或以上的任意组合。
在权利要求中使用如"第一"、"第二"、"第三"等词用来修饰权利要求中的元件，并非用来表示之间具有优先权顺序，先行关系，或者是一个元件先于另一个元件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的元件。
图1显示依据本发明一实施例中的自动光学检测系统的示意图。
如图1所示，自动光学检测系统10包括一自动输送装置12、一自动光学检测装置14、一影像检测装置16以及一影像辨识装置18。自动输送装置12例如包括一机壳122及一驱动机构124。驱动机构124设置于机壳122的上方，用以将一或多个待测物20(device undertest)依序输送至机壳122上的一检测定位点128，使得自动光学检测装置14可对待测物20拍照或执行光学检测程序以得到一或多张物件影像。驱动机构124例如可用输送带或是机器手臂所实现，且驱动机构124输送待测物20的方向(如箭头30所示)由控制器126所控制。控制器126例如可用一微控制器(controller)、一可编程逻辑控制器(programmable logiccontroller，PLC)或是一个人计算机所实现，但本发明实施例并不限于此。
自动光学检测装置14包括一或多个影像感测器142及一或多个照明装置144，其中照明装置144用以提供光线至检测定位点128上的待测物20，以使影像感测器142对检测定位点128上的待测物20拍照以得到物件影像。照明装置144例如可用发光二极管(LED)或不同类型的光源所实现，且影像感测器142例如可由电荷耦合装置(charge-coupled device，CCD)感测器或互补式金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)感测器所实现，但本发明实施例并不限于此。此外，在自动光学检测装置14中的一或多个影像感测器142的整体的拍照视野(field of view)可涵盖在检测定位点128上的待测物20。
影像检测装置16例如可为一个人计算机或服务器所实现。在一实施例中，影像检测装置16用以从影像感测器142取得待测物的物件影像，并且对物件影像进行影像前处理(image pre-processing)，并且对处理后的物件影像进行光学影像辨识，借以判断待测物中的一或多个检测点是否有缺陷(defect)。
举例来说，上述影像前处理包括但不限于去除噪声、加强影像对比、加强影像边缘、撷取影像特征、影像缩放/旋转、影像对齐/校正、影像转换等等。可利用相关的影像前处理技术对物件影像进行处理，且经过处理后的物件影像更易于进行后续的影像分析及影像辨识。在一些实施例中，影像检测装置16可省略，且上述影像前处理例如可由影像辨识装置18所执行。在另一些实施例中，影像检测装置16可整合至影像辨识装置18。
在第一实施例中，影像检测装置16用以从影像感测器142取得待测物的物件影像，并且对物件影像中之进行影像前处理(image pre-processing)。此时，影像检测装置16将处理后的物件影像(例如可称为AOI物件影像)传送至影像辨识装置18以进行后续处理。
在第二实施例中，影像检测装置16可执行机器视觉软件(machine-visionsoftware)将处理后的物件影像切割为一或多个检测点影像，并对各检测点影像进行影像辨识，其中上述机器视觉软件可预先对待测物的物件影像中的各检测点影像设定相应的影像辨识条件以辨识出各个检测点的缺陷状态。以印刷电路板(PCB)为例，各检测点的缺陷状态可包括：缺件(missing component)、偏斜(skew)、墓碑(tombstone)、错件(wrongcomponent)、多件(foreign component)、翻件(flipped component)、极性反(wrongpolarity)、脚翘(lifted lead)、脚变形(lead defective)、锡桥(solder bridge)、少锡(insufficient solder)、短路(short circuit)、假焊(空焊)、冷焊等等，但本发明实施例并不限于此。针对不同类型的待测物设定相应的影像辨识条件。接着，影像检测装置16将辨识出有缺陷状态的检测点影像传送至影像辨识装置18以进行后续处理。在一些实施例中，影像辨识装置18也可以从其他外部装置取得检测点影像或物件影像、或是通过网络从云端数据库(图1未绘示)取得检测点影像或物件影像，但本发明实施例并不限于此。为了便于说明，在后述实施例中的待测物20以印刷电路板为例进行说明。
图2显示依据本发明一实施例中的影像辨识装置的框图。
影像辨识装置18可由一或多台个人计算机、服务器、或其他类型的运算装置所实现。影像辨识装置18包括一处理器181、一存储器单元182及一储存装置183。处理器181例如可用中央处理器(central processing circuit，CPU)或一般用途处理器(general-purpose processor)所实现，但本发明实施例并不限于此。存储器单元182为一易失性存储器，例如可为静态随机存取存储器(static random access memory，SRAM)或动态随机存取存储器(dynamic random access memory，DRAM)。
储存装置183为一非易失性存储器，例如可为一硬盘机(hard disk drive)、一固态硬盘(solid-state disk)、一快闪存储器(flash memory)、一只读存储器(read-onlymemory)、可擦除可编程只读存储器(erasable programmable read-only memory，EPROM)、电子可擦除可编程只读存储器(electrically erasable programmable read-onlymemory，EEPROM)或电子熔丝(e-fuse)，但本发明实施例并不限于此。
储存装置183储存一人工智能影像检测程序180用以对来自影像检测装置16或自动光学检测装置14的物件影像或辨识出的检测点影像进行对应的处理。举例来说，人工智能影像检测程序180包括一影像切割模块1801、一影像标记模块1802、一影像归类模块1803、一影像生成模块1804、一模型训练模块1805以及一模型评价模块1806。处理器181将人工智能影像检测程序180从储存装置183读取至存储器单元182并执行，借以控制并协调各模块1801～1806相应的功能。
影像切割模块1801用以对来自自动光学检测装置14或影像检测装置16的AOI物件影像进行裁切以得到在待测物的各检测点相应的检测点影像。需注意的是，因为在第二实施例中，影像检测装置16将辨识出有通过状态或缺陷状态的检测点影像传送至影像辨识装置18，故上述检测点影像不需再经过影像切割模块1801进行处理，故影像切割模块1801适用于第一实施例的情况。
在一些实施例中，在影像检测装置16将AOI物件影像传送至影像辨识装置18后，影像切割模块1801先载入AOI物件影像，并且通过影像切割模块1801的使用者界面设定基准点、标记范围、搜索范围、以及检测点的范围及数量，其中每组不同的设定可储存为相应的样板(template)。因为不同AOI物件影像之间可能会有像素平移的情况，故影像切割模块1801需要在各个标记范围之外设定一较大的搜索范围，在各个标记范围内可以设定不同的检测点的相对位置。此外，标记范围可视为一定位点或定位范围。当同一个待测物20的AOI物件影像输入至影像切割模块1801时，可在目前使用的样板的预定搜索范围寻找定位点(即标记范围)，并依据各个检测点与标记范围的相对位置从AOI物件影像切割出相应于各个检测点的检测点影像，其中各检测点影像的文件名称可包含其待测物名称、时间、位置、编号等等。
影像标记模块1802用以从影像切割模块1801或影像检测装置16取得各检测点相应的检测点影像，其中上述检测点影像尚未进行标记或分类。举例来说，影像标记模块1802可批次载入各检测点影像，例如8张检测点影像(非限定)为一批次。在一些实施例中，作业人员可针对每个批次中的各检测点影像进行标记，影像标记模块1802产生一使用者界面显示各检测点影像，并获取每个检测点影像对应的标记，其中上述标记可包括通过状态(pass)、以及缺陷状态(例如NG1、NG2、NG3、…、NGN等等)。在另一些实施例中，影像标记模块1802可包含影像辨识的功能，其用以对各检测点影像进行影像辨识以判断出各检测点影像的状态，例如为通过或是缺陷状态。以印刷电路板(PCB)为例，各检测点的缺陷状态可包括：缺件(missing component)、偏斜(skew)、墓碑(tombstone)、错件(wrong component)、多件(foreign component)、翻件(flipped component)、极性反(wrong polarity)、脚翘(lifted lead)、脚变形(lead defective)、锡桥(solder bridge)、少锡(insufficientsolder)、短路(short circuit)、假焊(空焊)、冷焊等等，但本发明实施例并不限于此。
因此，在经过影像标记模块1802对各检测点影像进行标记后，可得到不同群组的检测点影像，例如通过(pass)、以及各缺陷状态NG1、NG2、NG3、…、NGN等等均可视为不同群组，且影像标记模块1802将不同群组的检测点影像储存至不同的子目录下。
影像归类模块1803用以让作业人员对影像标记模块1802标记后的各群组中的检测点影像进行归类(classification)，影像归类模块1803例如可将内容或属性的相似度高的多张检测点影像分类在同一类别。在另一实施例中，影像归类模块1803设定相似度阈值，并产生另一使用者界面显示各群组中的检测点影像。举例来说，影像归类模块1803可设定一相似度阈值，影像归类模块1803计算各群组中各检测点影像对应至少其中一类别的相似度，并通过使用者界面显示在各群组中相似度高于相似度阈值的检测点影像，详细来说，使用者可预先于通过(pass)的群组中将至少一张检测点影像分类为对应类别，影像归类模块1803分类各群组中的检测点影像时，计算预先分类的检测点影像与各群组中尚未分类的检测点影像之间的相似度，筛选出高于相似度阈值的检测点影像后，显示于使用者界面，并进行归类。举例来说，电阻和电阻之间具有较高的相似度，但电阻与电容之间则具有较低的相似度。因应于各群组中的各检测点影像的相似度高于相似度阈值，影像归类模块1803将在各群组中相似度高于相似度阈值的各检测点影像分类为同一类别。经由上述处理后，可获取每一检测点影像对应的类别。若影像标记模块1802标记后的多个群组可分为通过(PASS)、缺陷1(NG1)、缺陷2(NG2)及缺陷3(NG3)共四个群组，影像归类模块1803可将上述四个群组中的各检测点影像进一步归类为多个类别(type)，例如依据不同元件的相似度做为归类标准，并将相同种类或类似的元件分类至同一类别。举例来说，影像归类模块1803将PASS群组中的电阻元件、电容元件及其他元件的检测点影像分别归类至类别1(Type 1)、类别2(Type 2)及类别3(Type 3)。类似地，影像归类模块1803亦可将NG1群组、NG2群组及NG3群组中的电阻元件、电容元件及其他元件的检测点影像分别归类至类别1(Type 1)、类别2(Type 2)及类别3(Type 3)。
当上述影像归类操作完成后，影像归类模块1803可得到群组－类别的结构化数据(例如第一结构化数据)，且各群组的各类别均包括对应的检测点编号，例如PASS-Type1群组类别包括检测点1、3、5，PASS-Type2群组类别包括检测点2，PASS-Type3群组类别包括检测点4、6等等。此外，在NG1群组、NG2群组及NG3群组亦可用类似的方式将电阻元件、电容元件及其他元件的检测点影像分别归类至类别1(Type 1)、类别2(Type2)及类别3(Type 3)。
归类完成的结构化数据(例如第一结构化数据)如图3所示，影像归类模块1803并可将归类完成的结构化数据的相关信息(例如包括检测点影像的编号)及相应的检测点影像输出为一归类文件，并将归类文件写入至储存装置183，例如各群组为主目录，在各群组中的各类别为次目录，各次目录包括了归类完成后的检测点影像及其编号。此外，影像归类模块1803所产生的归类文件可供影像辨识装置18进行后续使用。使用者例如可通过影像归类模块1803的使用者界面以读取先前所储存的归类文件，故影像归类模块1803可利用读取的归类文件的结构化数据的相关信息以分类由影像切割模块1801所产生的检测点影像或由影像检测装置16所接收的检测点影像。
需注意的是，在上述实施例中，不一定每种缺陷状态均会包含全部的类别。举例来说，若NG1群组表示在印刷电路板上的元件为极性反，且NG1-Type1群组类别表示电容焊反，但是电阻并没有极性反的问题，所以NG1群组里面并不包含Type2类别，如图3所示。
影像生成模块1804用以对影像归类模块1803所产生的一或多个群组类别进行影像生成，以解决某些群组类别的检测点影像的样本数不平均的问题。对于待测物20的各检测点影像经由上述流程所产生的群组类别的归类结果来说，在各群组类别中的检测点影像的数量并不一定为平均。
举例来说，对于模型训练模块1805中的人工智能模型而言，其在训练阶段时需要大量数据及样本数。若模型训练模块1805直接依据影像归类模块1803所产生群组类别的归类结果(即第一结构化数据)对人工智能模型进行训练，则可能造成人工智能模型的辨识率不佳、出现误判或信心度(confidence)不足的情况。
因此，影像生成模块1804可针对影像归类模块1803所产生的一或多个群组类别进行影像生成，使得各个群组类别中的检测点影像的数量平均。影像生成模块1804例如可让使用者预先设定影像生成的各种影像参数的范围，其中上述影像参数可包括但不限于检测点影像的红色/绿色/蓝色像素的亮度、对比及伽玛(gamma)值、旋转角度、X方向/Y方向的平移像素值、锐利化、模糊度、缩放比率等等。在一实施例中，旋转角度的范围可设定在-10度至+10度，像素X平移的范围可设定在-10像素至+10像素，像素Y平移的范围可设定在-10像素至+10像素。其他未更动的影像参数则可使用影像生成模块1804的预设值。
举例来说，影像生成模块1804可读取影像归类模块1803所产生的一或多个群组－类别结构化数据(例如第一结构化数据)，并统计在各群组类别中的检测点影像的数量。为了让模型训练模块1805中的人工智能模型可达到较佳的训练效果及模型评价，在各个群组类别中的影像数量愈多且平均为佳。使用者例如可通过影像生成模块1804产生的使用者界面预先设定要将所选择的群组类别的检测点影像的数量增加X张或是增加至Y张，使得在同一群组中的不同类别的检测点影像的数量平均，并产生第二结构化数据。
详细而言，影像归类模块1803所产生的一或多个群组－类别结构化数据(第一结构化数据)的各群组类别的检测点影像例如可称为原始检测点影像，且经由影像生成模块1804套用上述各影像参数的范围随机生成的检测点影像则称为模拟检测点影像。举例来说，若PASS群组中的Type1、Type2及Type3原本分别有500、250、1000张原始检测点影像，且影像生成模块1804设定的目标影像数量为1000张(X＝1000，即增加至1000张)，经过影像生成模块1804对PASS群组中的Type1、Type2及Type3类别进行处理后，在PASS群组中的Type1、Type2及Type3类别中的影像数量均改变为1000张，其中在PASS-Type1群组类别包含500张原始检测点影像及500张模拟检测点影像，在PASS-Type2群组类别包含250张原始检测点影像及750张模拟检测点影像，在PASS-Type3群组类别包含1000张原始检测点影像及0张模拟检测点影像。意即，经过影像生成模块1804处理之后，在PASS群组中的各个类别的影像数量均会平衡。此时，PASS群组中会具有3000张检测点影像。因此，若在多个群组中的第一群组(例如PASS群组)的检测点影像的数量及模拟检测点影像的数量的总和等于一第一数量(例如3000张)，则在该等群组中的其他各群组(例如NG1～NG3群组)中的检测点影像的数量及模拟检测点影像的数量的总和同样等于第一数量。
类似地，影像生成模块1804亦对NG1、NG2及NG3群组进行相应的影像生成处理，意即在经过影像生成模块1804处理之后，在NG1、NG2及NG3群组均会具有3000张检测点影像。若NG1群组仅包含Type1及Type3类别，则NG1-Type1及NG1-Type3群组类别均包含1500张检测点影像。类似地，NG3群组仅包含Type1及Type2类别，则NG3-Type1及NG3-Type2群组类别均包含1500张检测点影像。此外，因为NG2群组包含Type1～Type3类别，所以在经过影像生成模块1804处理之后，NG2群组中的各个类别Type1～Type3均会包含1000张检测点影像。在一些实施例中，影像生成模块1804例如可将各个群组类别中经由影像生成的模拟检测点影像另存于其他子数据夹以与原始检测点影像区别。换言之，在每一群组中的各类别的该等检测点影像的数量及该等模拟检测点影像的数量的总和等于第一数量(例如3000张)除以每一群组的该等类别的数量(例如NG1群组包括2个类别，NG2群组包括3个类别)。
模型产生程序1807包括模型训练模块1805及模型评价模块1806。模型训练模块1805用以让一人工智能模型依据一训练集数据以进行模型训练。模型评价模块1806用以评价由模型训练模块1805所训练完成的人工智能模型对第二结构化数据中的测试集数据的效能表现，意即可将测试集数据输入至已训练完成的人工智能模型以得到人工智能模型的模型评价。
图4A为依据本发明一实施例中的模型产生程序的使用者界面的示意图。图4B及图4C为依据本发明图4A的实施例中的训练损失曲线及训练准确率曲线的示意图。图5为依据本发明一实施例中的模型训练模块的操作过程的流程图。
请同时参考图2、图4A及图5。模型训练模块1805采用迁移学习(transferlearning)技术以建立人工智能模型，其中人工智能模型例如可包括输入层、迁移模型、分类层及输出层，且使用者可通过模型产生程序1807的使用者界面400以设定输入层、迁移模型、分类层及输出层的相关参数。举例来说，使用者可在模型产生程序1807的使用者界面400上的按钮4001或4002选择欲切换至模型训练模块1805或是模型评价模块1806的使用者界面。当使用者选择按钮4001后，使用者界面400切换至模型训练模块1805的使用者界面，如图4A所示。在使用者界面400的上方工具列可选择“项目”的选项以建立项目或开启项目(步骤S502)。
举例来说，人工智能模型在训练阶段所使用的训练集数据与测试集数据应不同，这样人工智能模型才较不易在判断结果时产生过适(overfitting)的情况。在一实施例中，影像生成模块1804所产生的第二结构化数据可分为训练集(training set)数据及测试集(testing set)数据，且分别存放于不同目录。
框530例如可称为模型训练设定阶段，且步骤S504、S506及S508可同时进行或是不同顺序的组合依序执行。在框401中的按钮4011及4012可分别设定训练集数据及测试集数据的来源目录路径(例如可分别显示于栏位4016及4017)借以载入训练集/测试集数据夹(步骤S504)。按钮4013则可设定输出模型数据夹的路径，其可显示于栏位4018，栏位4019则可填入模型文件名前头(prefix)。
在另一实施例中，影像生成模块1804所产生的第二结构化数据并不特别区分出训练集数据及测试集数据，且模型训练模块1805可选择第二结构化数据的目录，并且可依据预先设定的训练集数据的分配比例将上述第二结构化数据中的各群组类别中的检测点影像(包含原始检测点影像及模拟检测点影像)划分为训练集数据及测试集数据。举例来说，模型训练模块1805可指定数据集(例如第二结构化数据)的存放目录，且模型训练模块1805依据已选取自动分配功能(对应于栏位4014)及分配比率(对应于栏位4015)以将上述数据集之中的检测点影像自动随机分类为训练集数据及测试集数据。若训练集数据的分配比例为0.3，则模型训练模块1805将第二结构化数据中的各群组类别中的30％数量的检测点影像做为训练集数据，其余的70％数量的检测点影像则做为测试集数据。
在框420、421及422中，可设定人工智能模型的不同参数。举例来说，框420可设定建立人工智能模型的相关参数。模型训练模块1805包含多种迁移模型，例如MobileNet、ResNet、InceptionV3、InceptionResNetV2、NASNetMobile、NASLarge、Xception等数十种人工智能模型。在步骤S506，进行模型设定。举例来说，栏位4201可供选择其中一种欲进行训练的人工智能模型，栏位4202及4203则可以填入在栏位4201所选择的人工智能模型的重新训练层数以及分类网络结构的全连接层的层数。栏位4204还可勾选是否要开启平坦化(flatten)的功能。此外，栏位4205旁的上下按钮可调整人工智能模型在每一全连接层中的神经元数量，且增加或减少的神经元数量显示于栏位4205。每一全连接层是否引进丢弃(dropout)的功能则为选择性设定，并无强制要求设定。对于人工智能模型的输出层而言，模型训练模块1805可依据输入数据(例如：第二结构化数据)的数据结构以自动读取输入数据第一层的数据夹文件名作为分类标记，借以自动建立输出层。
在步骤S508，进行分辨率设定。举例来说，框421中的栏位4211及4212可分别设定训练人工智能模型在X轴及Y轴所使用的影像分辨率。需注意的是，在栏位4201所选择的人工智能模型在进行训练时均有相应于迁移模型(特征网络)的影像分辨率限制，且框4213可显示不同的人工智能模型的特征网络所需的影像分辨率的限制，如表1所示：
表1
特征网络 影像分辨率
InceptionV3 >＝75
InceptionResNetV2 >＝75
MobileNet 128,160,192,224
MobileNetV2 96,128,160,192,224
NASNetMobile 224
NASLarge 331
Xception >＝71
需注意的是，本发明实施例并不限定于表1中的特征网络及相应的影像分辨率。对于输入层来说，使用者可依据实际欲处理的检测点影像的尺寸以设定输入层的输入影像尺寸(需符合特征网络的影像分辨率的要求)。当实际的检测点影像的尺寸与设定的输入影像的尺寸不同时，模型训练模块1805可对输入的检测点影像进行内插计算以将其缩放为所设定的输入影像的尺寸。
当步骤S504、S506及S508均完成后，表示模型设计已完成(步骤S510)。接着，在步骤S512，进行模型参数设定。举例来说，框422中的栏位4221可供选择不同的优化器(optimizer)，例如adam、rmsprop、sgd及nadam优化器以提供训练人工智能模型的优化策略。栏位4222可设定人工智能模型在训练时所执行的回合数(epochs)。栏位4224旁的上下按钮可调整人工智能模型的学习率(learning rate)，且增加或减少的学习率显示于栏位4224。栏位4223及4225可分别设定人工智能模型在训练时及测试时所使用的批次尺寸(batch size)。
在步骤S514，储存项目的设定文件。举例来说，经过步骤S504至S512后，可利用按钮413将人工智能模型的相关选项及设定储存至对应的设定文件(setting file)以供后续使用。若已有先前储存的设定文件，使用者可经由按钮412以读取先前储存的设定文件或是经由按钮411以读取预设的设定文件以供目前的使用者界面400进行操作。
在步骤S516，判断数据夹内的数据是否正确。举例来说，模型训练模块1805可检查在步骤S504中所设定的训练集/测试集数据夹中的数据(例如检测点影像)是否有损坏或是格式是否符合人工智能模型的要求。若模型训练模块1805检测到训练集/测试集数据夹中的数据均未损坏且格式均符合人工智能模型的要求，则模型训练模块1805判断数据夹内的数据正确，并执行步骤S518。若模型训练模块1805检测到训练集/测试集数据夹中的数据有损坏或是格式不符合人工智能模型的要求，则模型训练模块1805判断数据夹内的数据不正确，回到步骤S504。
在步骤S518，建立输出模型数据夹于相应的储存位置。举例来说，模型训练模块1805可在栏位4018中所设定的路径建立输出模型数据夹以供储存训练后的人工智能模型。
在步骤S520，训练人工智能模型。举例来说，模型训练模块1805可依据在框401中所设定的训练集数据以及在框420-422中的设定对所选定的人工智能模型进行训练，例如经由按钮414即可开始进行人工智能模型的训练阶段。若要停止训练阶段，按下按钮415即可停止。当训练阶段开始时，模型训练模块1805可产生或在框440中显示训练损失(training loss)曲线，并且可产生或在框442中显示训练准确率(training accuracy)曲线，如图4B及图4C所示。此外，在栏位433及434可分别显示训练阶段当下的回合数及批次信息，且栏位435及436可显示在训练阶段当下的训练准确率及测试准确率(test accuracy)。模型训练模块1805例如可在每一个批次完成后即更新一次训练准确率信息，但在完成一个回合后才会计算并更新测试准确率信息。因此，模型训练模块1805可比对训练准确率及测试准确率以判断人工智能模型是否发生过适(overfitting)的现象。
在步骤S522，完成人工智能模型的训练。当人工智能模型训练完成后，可按下按钮416以储存训练完成的人工智能模型。若不要保留训练完成或中途停止训练的人工智能模型，则可按下按钮417以丢弃本次人工智能模型的训练结果，并且不储存人工智能模型。
图4D为依据本发明一实施例中的模型产生程序的使用者界面的另一示意图。图6为依据本发明一实施例中的模型评价模块的操作过程的流程图。
请同时参考图1、图4D及图6。模型评价模块1806用以评价由模型训练模块1805所训练完成的人工智能模型对第二结构化数据中的测试集数据的效能表现，意即可将测试集数据输入至已训练完成的人工智能模型以得到人工智能模型的模型评价。此外，模型评价模块1806还可利用模型训练模块1805所训练完成的人工智能模型对第二结构化数据中的训练集数据进行数据清理。
框630可称为模型评价设定阶段，且步骤S602、S604及S606可同时进行或是不同顺序的组合依序执行。举例来说，通过按钮451可载入由模型训练模块1805所储存的人工智能模型(步骤S604)并且可载入相应于人工智能模型的评价文件(步骤S602)。通过按钮454可设定测试集数据的来源目录路径(例如可显示于栏位466借以载入测试集数据夹(步骤S606)。
在步骤S608，开始模型评价。举例来说，按下按钮453可开始对人工智能模型进行评价。在人工智能模型的评价阶段时，模型评价模块1806读取测试集数据夹中的子目录名称，并计算各子数据夹中的文件数量(步骤S610)。已进行辨识的检测点影像数量及全部的检测点影像的数量分别显示于栏位467及468。
在步骤S612，计算各类别的辨识率并进行回顾检视。举例来说，当在测试集数据中的每张检测点影像输入至人工智能模型，人工智能模型均会产生相应的辨识结果及信心度。接着，模型评价模块1806将测试集数据中的每张检测点影像的辨识结果对照各检测点影像已标示的类别，即可计算出人工智能模型的模型评价，其中模型评价可用辨识率(正确率)表示，例如：辨识率＝正确辨识结果数量/测试集的检测点影像数量。经由计算所得到的模型评价，可找出整体辨识率或信心度较差的群组类别。
举例来说，当人工智能模型的评价阶段结束后，模型评价模块1806将在测试集数据中的各类别的名称及其检测点影像数量与正确率显示于框472，且框476及477分别显示正确图表及错误图表，栏位469及470则分别显示未定义的检测点影像的比例以及误判率。其中正确图表表示在不同的信心度区间的辨识正确的检测点影像数量，错误图表表示在不同的信心度区间的辨识错误的检测点影像数量。
使用者可在框472中选择其中一个类别以进一步检视，例如选择的类别(例如铝质电容_90)显示于框473。框472及473的内容例如表2及表3所示：
表2
类别名称 数量 正确率
铝质电容_0 150 97.33
铝质电容_180 150 94.67
铝质电容_270 150 92.67
铝质电容_90 150 97.33
表3
类别名称 数量 正确率
铝质电容_0 146 92.46
铝质电容_180 142 97.18
铝质电容_270 139 95.68
铝质电容_90 146 95.89
在框472的表2中，在各类别的正确率的计算方式是以在测试集中各类别中的检测点影像的标记数量做为分母，且人工智能模型判断出各类别的检测点影像数量为分子。举例来说，若在测试集中的特定类别(例如铝质电容_180)具有150张检测点影像及相应的正确标记，则分母为150。若人工智能模型判断为该特定类别的检测点影像的数量为142，则分子为142，故在表2中，人工智能模型在特定类别的正确率(例如第一正确率)＝142/150＝94.67％。在表2中的其他类别的正确率亦可用类似方式计算而得。
在框473的表3中，各类别的正确率的计算方式是以人工智能模型之判断出各类别的检测点影像数量做为分母，且人工智能模型的判断结果与测试集的各类别中的检测点影像的标记一致的数量(即正确辨识出的检测点影像数量)为分子。举例来说，若人工智能模型判断在测试集中有142张检测点影像属于特定类别(例如铝质电容_180)，则分母为142。若人工智能模型正确判断为该特定类别的检测点影像的数量为138(表示有4张影像为其他类别被误判此特定类别)，则分子为138，故在表3中，人工智能模型在特定类别的正确率(例如第二正确率)＝138/142＝97.18％。在表3中的其他类别的正确率亦可用类似方式计算而得。
因此，模型评价模块1806可由表2及表3中的各类别所相应的第一正确率及第二正确率可得知人工智能模型对于各类别的检测点影像的辨识能力，进而针对正确率较差的类别中的各检测点影像进行检视。
此外，使用者亦可在使用者界面400中手动检视在测试集数据的各类别中的检测点影像，其中目前检视的检测点影像及其影像信息例如可分别显示于框461及栏位478。当按下按钮452时，模型评价模块1806将目前检视的检测点影像输入至人工智能模型，并将其数据类别、辨识结果及信心度分别显示于栏位463、464及465。若在栏位464的辨识结果为错误，则可将辨识结果的类别名称显示于栏位471，且使用者可手动修改为正确的类别名称。详细而言，模型评价模块1806可将在测试集数据中辨识错误的检测点影像过滤出来，并且修正检测点影像对应的类别。举例来说，模型评价模块1806，将需要修正的检测点影像从原本的类别数据夹，搬移至对应辨识结果的修正类别数据夹。
辨识结果及其对应的检测点影像数量分别显示于栏位474及475，其中辨识结果例如可为“判断错误、高信心度”、“判断正确、低信心度”、“判断错误、低信心度”、“判断正确、高信心度”等等。举例来说，若模型评价模块1806将测试集数据中的每张检测点影像的辨识结果经过测试集的各检测点影像已标示的群组进行比对后，在测试集数据中有部分检测点影像辨识结果是错误的，但具有很高的信心度，则可判断这些辨识结果对应的检测点影像可能有“标记错误”的情况。因此，模型评价模块1806可执行第一数据清理程序以过滤出这些可能标记错误的检测点影像及辨识结果，并将这些检测点影像从训练集数据中删除。
若模型评价模块1806将测试集中的每张检测点影像的辨识结果经过测试集的各检测点影像已标示的群组进行比对后，在测试集数据之中有部分检测点影像辨识结果是正确的，但是信心度不高(例如低于一阈值，上述阈值可为但不限定于50％)，表示在测试集数据中相应的检测点影像可能有“多重标记”的情况，意即同一张检测点影像可能被标记为不同的群组类别，所以会造成人工智能模型的辨识结果的信心度偏低。因此，模型评价模块1806可执行第二数据清理程序以过滤出在测试集数据之中这些信心度偏低的检测点影像，并将这些检测点影像在训练集数据之中对应的检测点影像删除。
在步骤S614，判断是否修正文件标记。举例来说，当模型评价模块1806执行第一数据清理程序及第二数据清理程序并更新训练集数据后，模型评价模块1806可再呼叫影像标示模块1802或影像归类模块1803，借以逐一检查过滤出的检测点影像并重新进行标示。若检测点影像经由上述修正而改变了其群组标记或是类别，则模型评价模块1806(或影像标示模块1802、影像归类模块1803)将修正标记后的检测点影像搬运至修正类别数据夹中(步骤S616)。
若有特定检测点影像会造成人工智能模型在不同群组类别的误判，则此特定检测点影像不再重新标示并放回训练集数据之中，故模型评价模块1806或影像标示模块1802可删除此特定检测点影像。此外，人工智能影像检测程序180可再执行影像生成模块1804，进一步检视辨识率和/或信心度较低的群组类别的检测点影像的数量，再针对这些群组类别生成合适的模拟检测点影像以更新第二结构化数据。因此，当第二结构化数据更新后，模型训练模块1805即可从更新后的第二结构化数据分割出新的训练集数据以对人工智能模型重新进行训练，借以提升人工智能模型的辨识率及辨识结果的信心度。当人工智能模型重新训练后，可再执行图6的流程，且在步骤S602及S610可反应在虚线框中所标示的更新后的第二结构化数据，且在步骤S612可反应更新后的第二结构化数据的数据信息(例如辨识率及辨识结果的信心度)。
图7为依据本发明一实施例的影像辨识方法的流程图。请同时参考图2及图7。
在步骤S710，接收一结构化数据，其中该结构化数据包括一训练集数据及一测试集数据，其中该结构化数据包括多个群组，且各群组包括一或多个类别，且各类别包括多张检测点影像。举例来说，在步骤S710中的结构化数据例如可为前述实施例中的由影像生成模块1804所产生的第二结构化数据。影像生成模块1804套用不同影像参数范围随机生成的检测点影像则可称为模拟检测点影像，其中第一结构化数据经由影像生成模块1804处理之后，在第二结构化数据的同一群组中的不同类别的原始检测点影像及模拟检测点影像的总数量会相同，且第二结构化数据可做为人工智能模型的输入影像。
在步骤S720，依据该训练集数据对一人工智能模型进行训练。举例来说，人工智能模型包括一输入层、一迁移模型、一分类层、及一输出层，且该模型训练模块定义该迁移模型的训练过程的多个策略参数，其中该等策略参数包括优化器种类、学习率、回合数(epoch)、批次尺寸(batch size)。
在步骤S730，将该测试集数据输入至该人工智能模型以得到在该人工智能模型的一模型评价。举例来说，在人工智能模型的评价阶段时，模型评价模块1806将在测试集中的每张检测点影像输入至人工智能模型产生相应的辨识结果及信心度。模型评价模块1806将测试集数据中的每张检测点影像的辨识结果对照各检测点影像已标示的类别，即可得到人工智能模型的模型评价(例如正确率＝正确辨识结果数量/测试集的检测点影像数量)。
在步骤S740，判断在结构化数据中整体辨识率或信心度较差的一或多个第一类别。经由步骤S730计算所得到的模型评价，可找出在结构化数据中整体辨识率或信心度较差(例如低于一信心度阈值)的一或多个群组类别(即第一类别)。此外，模型评价模块1806可再检测在测试集数据中的影像辨识结果是错误的但具有很高的信心度的检测点影像，判断有标记错误的情况。模型评价模块1806可再检测影像辨识结果是正确的但是信心度不高的检测点影像，判断有多重标记的情况。
在步骤S750，将对应于该一或多个第一类别中的该等检测点影像删除或修正以更新结构化数据。举例来说，在步骤S750可执行前述实施例中的第一数据清理程序及第二数据清理程序以分别从结构化数据中删除标记错误及多重标记的该等检测点影像。在另一些实施例中，模型评价模块1806可搬移标记错误及多重标记的该等检测点影像至一待修正类别数据夹以更新结构化数据。此外，人工智能影像检测程序180可再执行影像标示模块1802或影像归类模块1803，借以逐一检查过滤出的检测点影像并重新进行标示。人工智能影像检测程序180可再执行影像生成模块1804(或是可由模型评价模块1806呼叫影像生成模块1804)以进一步检视辨识率和/或信心度较低的群组类别(例如一或多个第一类别)的检测点影像的数量，再针对这些群组类别生成合适的模拟检测点影像以更新结构化数据。因此，当结构化数据更新后，模型训练模块1805即可从更新后的结构化数据分割出新的训练集数据以对人工智能模型重新进行训练，借以提升人工智能模型的辨识率及辨识结果的信心度。
综上所述，本发明实施例提供一种影像辨识装置、影像辨识方法及其计算机程序产品，其可利用人工智能模型自行判断在结构化数据中的训练集数据的各检测点影像的状态。此外，经由模型评价的过程，可适度地过滤出标记错误或多重标记的训练集数据，并据以更新训练集数据并且重新训练人工智能模型以增进人工智能模型的辨识率及信心度。因此，可达到让生产线的作业人员的工作负担降低以及降低生产成本的功效。
本发明虽以较佳实施例公开如上，然而其并非用以限定本发明的范围，任何所属技术领域中的普通技术人员，在不脱离本发明的精神和范围的情况下，应当可做些许的更动与润饰，因此本发明的保护范围应当视所附的权利要求书所界定者为准。

Claims (17)

1.一种计算机程序产品，用以被一机器载入且执行一影像辨识方法，该计算机程序产品包括：
一模型训练模块，该模型训练模块用以接收一结构化数据，其中该结构化数据包括一训练集数据及一测试集数据，该模型训练模块还依据该训练集数据对一人工智能模型进行训练，其中该结构化数据包括多个群组，且各群组包括一或多个类别，且各类别包括多张检测点影像；以及
一模型评价模块，该模型评价模块用以将该测试集数据输入至该人工智能模型以得到该人工智能模型的一模型评价；
其中该模型评价模块还判断在该结构化数据中整体辨识率或信心度较差的一或多个第一类别，并将对应于该一或多个第一类别中的该等检测点影像删除或修正以更新该结构化数据。
2.如权利要求1所述的计算机程序产品，其中在该结构化数据中的各群组的该等检测点影像均具有第一数量，且各群组中的各类别的该等检测点影像的第二数量为该第一数量除以各群组中的该等类别的数量。
3.如权利要求1所述的计算机程序产品，其中该模型训练模块依据一预定比例将该第二结构化数据划分为该训练集数据及该测试集数据。
4.如权利要求1所述的计算机程序产品，其中该人工智能模型包括一输入层、一迁移模型、一分类层、及一输出层，且该模型训练模块定义该迁移模型的训练过程的多个策略参数，其中该等策略参数包括优化器种类、学习率、回合数、批次尺寸。
5.如权利要求4所述的计算机程序产品，其中该模型训练模块还定义该人工智能模型所使用的影像分辨率，其中该影像分辨率符合该迁移模型的影像分辨率限制。
6.如权利要求5所述的计算机程序产品，其中当该结构化数据中的该等检测点影像的尺寸与该人工智能模型所使用的该影像分辨率不同时，该模型训练模块对该结构化数据中的该等检测点影像进行内插计算以将该等检测点影像缩放为该人工智能模型所使用的该影像分辨率。
7.如权利要求1所述的计算机程序产品，其中该模型训练模块在训练该人工智能模型时产生在训练阶段当下的训练准确率及测试准确率，并比对该训练准确率及测试准确率以判断该人工智能模型是否发生过适的现象。
8.如权利要求1所述的计算机程序产品，其中当该人工智能模型的训练阶段开始时，该模型训练模块显示该人工智能模型的一训练损失曲线及一训练准确率曲线。
9.如权利要求1所述的计算机程序产品，其中该模型评价模块将该人工智能模型所判断出在各类别中的该等检测点影像的数量除以在该测试集数据中的各类别的该等检测点影像的标记数量以得到各类别的第一正确率，并且将该人工智能模型的判断结果与该测试集数据的各类别中的检测点影像的标记一致的数量除以该人工智能模型所判断出在各类别中的该等检测点影像的数量以得到各类别的第二正确率；
其中该模型评价模块依据在该测试集数据中的各类别相应的该第一正确率及该第二正确率以判断该人工智能模型对于该测试集数据中的各类别的该等检测点影像的辨识能力。
10.如权利要求1所述的计算机程序产品，其中该模型评价模块还过滤出在该结构化数据中标示错误及多重标记的该等检测点影像。
11.如权利要求10所述的计算机程序产品，其中该模型评价模块还执行一第一数据清理程序以将在该结构化数据中标记错误的该等检测点影像从该结构化数据删除以更新该结构化数据；
其中该模型评价模块还执行一第二数据清理程序以将有多重标记的该等检测点影像从该结构化数据删除以更新该结构化数据。
12.如权利要求10所述的计算机程序产品，其中该模型评价模块还搬移标记错误及多重标记的该等检测点影像至一待修正类别数据夹以更新该结构化数据。
13.如权利要求12所述的计算机程序产品，其中当该模型评价模块已执行该第一数据清理程序及该第二数据清理程序并更新该训练集数据后，该模型评价模块呼叫该影像标示模块或该影像归类模块以逐一检查过滤出的该等检测点影像并重新进行标示；
其中当过滤出的该等检测点影像的群组标记或类别经过重新标示后而改变，该模型评价模块将修正标记后的该等检测点影像搬运至该修正类别数据夹中。
14.如权利要求1所述的计算机程序产品，其中该计算机程序产品还包括一影像生成模块，且该模型评价模块呼叫该影像生成模块以进一步检视在该一或多个第一类别中的各检测点影像，并针对该一或多个第一类别生成多张模拟检测点影像以更新该结构化数据。
15.如权利要求14所述的计算机程序产品，其中该模型训练模块还依据更新后的该结构化数据以分割出新的该训练集数据以重新训练该人工智能模型。
16.一种影像辨识方法，该影像辨识方法包括：
接收一结构化数据，其中该结构化数据包括一训练集数据及一测试集数据，其中该结构化数据包括多个群组，且各群组包括一或多个类别，且各类别包括多张检测点影像；
依据该训练集数据对一人工智能模型进行训练；
将该测试集数据输入至该人工智能模型以得到该人工智能模型的一模型评价；以及
判断在该结构化数据中整体辨识率或信心度较差的一或多个第一类别，并将对应于该一或多个第一类别中的该等检测点影像删除或修正以更新该结构化数据。
17.一种影像辨识装置，该影像辨识装置包括：
一非易失性存储器，该非易失性存储器用以储存一模型产生程序；以及
一处理器，该处理器用以执行该模型产生程序以进行下列步骤：
接收一结构化数据，其中该结构化数据包括一训练集数据及一测试集数据，其中该结构化数据包括多个群组，且各群组包括一或多个类别，且各类别包括多张检测点影像；
依据该训练集数据对一人工智能模型进行训练；
将该测试集数据输入至该人工智能模型以得到该人工智能模型的一模型评价；以及
判断在该结构化数据中整体辨识率或信心度较差的一或多个第一类别，并将对应于该一或多个第一类别中的该等检测点影像删除或修正以更新该结构化数据。
CN202010349232.3A 2019-07-23 2020-04-28 影像辨识装置、影像辨识方法及其计算机程序产品 Active CN112362679B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962877375P 2019-07-23 2019-07-23
US62/877,375 2019-07-23
TW109112602A TWI761806B (zh) 2019-07-23 2020-04-15 影像辨識裝置、影像辨識方法及其電腦程式產品
TW109112602 2020-04-15

Publications (2)

Publication Number Publication Date
CN112362679A true CN112362679A (zh) 2021-02-12
CN112362679B CN112362679B (zh) 2024-06-04

Family

ID=74187680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010349232.3A Active CN112362679B (zh) 2019-07-23 2020-04-28 影像辨识装置、影像辨识方法及其计算机程序产品

Country Status (2)

Country Link
US (1) US11521015B2 (zh)
CN (1) CN112362679B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113933296A (zh) * 2021-03-15 2022-01-14 住华科技股份有限公司 一种检测光学膜的方法、装置及系统
CN114998166A (zh) * 2021-03-01 2022-09-02 瑞昱半导体股份有限公司 影像数据增强装置与方法
CN115855950A (zh) * 2022-11-23 2023-03-28 环维电子(上海)有限公司 针对微小瑕疵与错件的影像检测方法及其系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210182873A1 (en) * 2019-09-24 2021-06-17 Ulrich Lang Method and system for detecting and analyzing anomalies
US12242233B2 (en) 2021-09-24 2025-03-04 Rockwell Automation Technologies, Inc. Machine learning models for asset optimization within industrial automation environments
US12314039B2 (en) * 2021-09-24 2025-05-27 Rockwell Automation Technologies, Inc. Providing a model as an industrial automation object
CN114596302B (zh) * 2022-03-18 2024-09-06 湖南科技大学 一种pcb板缺陷检测方法、系统、介质、设备及终端
CN116664492B (zh) * 2023-05-04 2024-11-19 鲸朵(上海)智能科技有限公司 一种自学习质检方法和装置
CN117475066B (zh) * 2023-12-28 2024-03-15 苏州元脑智能科技有限公司 材质贴图处理方法、装置、电子设备及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009222626A (ja) * 2008-03-18 2009-10-01 Advanced Mask Inspection Technology Kk パターン検査装置、パターン検査方法及びプログラム
CN104990926A (zh) * 2015-06-25 2015-10-21 哈尔滨工业大学 一种基于视觉的tr元件定位和缺陷检测方法
US20160328837A1 (en) * 2015-05-08 2016-11-10 Kla-Tencor Corporation Method and System for Defect Classification
CN106290378A (zh) * 2016-08-23 2017-01-04 东方晶源微电子科技（北京）有限公司 缺陷分类方法和缺陷检查系统
US20170177997A1 (en) * 2015-12-22 2017-06-22 Applied Materials Israel Ltd. Method of deep learining-based examination of a semiconductor specimen and system thereof
US20170352145A1 (en) * 2016-06-07 2017-12-07 Globalfoundries Inc. Semiconductor wafer inspection using care area group-specific threshold settings for detecting defects
JP2018005640A (ja) * 2016-07-04 2018-01-11 タカノ株式会社 分類器生成装置、画像検査装置、及び、プログラム
CN107843599A (zh) * 2017-10-24 2018-03-27 武汉精测电子集团股份有限公司 一种基于aoi的面板检测判等方法与装置
CN109635110A (zh) * 2018-11-30 2019-04-16 北京百度网讯科技有限公司 数据处理方法、装置、设备以及计算机可读存储介质
CN109711474A (zh) * 2018-12-24 2019-05-03 中山大学 一种基于深度学习的铝材表面缺陷检测算法
CN109740661A (zh) * 2018-12-28 2019-05-10 沈阳工业大学 一种基于模糊评估的油井动液面自适应预测方法
CN109754005A (zh) * 2018-12-25 2019-05-14 任飞翔 动态增减方法及装置
CN109844918A (zh) * 2016-10-14 2019-06-04 科磊股份有限公司 用于经配置用于半导体应用的深度学习模型的诊断系统及方法
US20190205620A1 (en) * 2017-12-31 2019-07-04 Altumview Systems Inc. High-quality training data preparation for high-performance face recognition systems

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002320676B2 (en) 2001-12-20 2005-03-03 Canon Kabushiki Kaisha Method of Automatic Production of Image Presentations
CN104677914B (zh) 2015-03-10 2017-03-08 华中科技大学 一种芯片连晶缺陷识别方法
CN106530284A (zh) 2016-10-21 2017-03-22 广州视源电子科技股份有限公司 基于图像识别的焊点类型检测和装置
US20190138786A1 (en) * 2017-06-06 2019-05-09 Sightline Innovation Inc. System and method for identification and classification of objects
US11017272B2 (en) * 2017-11-30 2021-05-25 Facebook, Inc. Random and active learning for classifier training
US10628660B2 (en) * 2018-01-10 2020-04-21 Trax Technology Solutions Pte Ltd. Withholding notifications due to temporary misplaced products
EP3754546A1 (en) * 2018-01-10 2020-12-23 Trax Technology Solutions Pte Ltd. Automatically monitoring retail products based on captured images
US10140553B1 (en) 2018-03-08 2018-11-27 Capital One Services, Llc Machine learning artificial intelligence system for identifying vehicles
TWI664586B (zh) 2018-03-22 2019-07-01 National Taiwan Normal University 透過瑕疵複數光場之透明基板瑕疵檢測方法
JP7129669B2 (ja) * 2018-07-20 2022-09-02 株式会社エヌテック ラベル付き画像データ作成方法、検査方法、プログラム、ラベル付き画像データ作成装置及び検査装置
CN109190643A (zh) 2018-09-14 2019-01-11 华东交通大学 基于卷积神经网络中药识别方法及电子设备
US11494614B2 (en) * 2019-03-20 2022-11-08 Microsoft Technology Licensing, Llc Subsampling training data during artificial neural network training
EP3731154A1 (en) * 2019-04-26 2020-10-28 Naver Corporation Training a convolutional neural network for image retrieval with a listwise ranking loss function
US11238314B2 (en) * 2019-11-15 2022-02-01 Salesforce.Com, Inc. Image augmentation and object detection

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009222626A (ja) * 2008-03-18 2009-10-01 Advanced Mask Inspection Technology Kk パターン検査装置、パターン検査方法及びプログラム
US20160328837A1 (en) * 2015-05-08 2016-11-10 Kla-Tencor Corporation Method and System for Defect Classification
CN104990926A (zh) * 2015-06-25 2015-10-21 哈尔滨工业大学 一种基于视觉的tr元件定位和缺陷检测方法
US20170177997A1 (en) * 2015-12-22 2017-06-22 Applied Materials Israel Ltd. Method of deep learining-based examination of a semiconductor specimen and system thereof
US20170352145A1 (en) * 2016-06-07 2017-12-07 Globalfoundries Inc. Semiconductor wafer inspection using care area group-specific threshold settings for detecting defects
JP2018005640A (ja) * 2016-07-04 2018-01-11 タカノ株式会社 分類器生成装置、画像検査装置、及び、プログラム
CN106290378A (zh) * 2016-08-23 2017-01-04 东方晶源微电子科技（北京）有限公司 缺陷分类方法和缺陷检查系统
CN109844918A (zh) * 2016-10-14 2019-06-04 科磊股份有限公司 用于经配置用于半导体应用的深度学习模型的诊断系统及方法
CN107843599A (zh) * 2017-10-24 2018-03-27 武汉精测电子集团股份有限公司 一种基于aoi的面板检测判等方法与装置
US20190205620A1 (en) * 2017-12-31 2019-07-04 Altumview Systems Inc. High-quality training data preparation for high-performance face recognition systems
CN109635110A (zh) * 2018-11-30 2019-04-16 北京百度网讯科技有限公司 数据处理方法、装置、设备以及计算机可读存储介质
CN109711474A (zh) * 2018-12-24 2019-05-03 中山大学 一种基于深度学习的铝材表面缺陷检测算法
CN109754005A (zh) * 2018-12-25 2019-05-14 任飞翔 动态增减方法及装置
CN109740661A (zh) * 2018-12-28 2019-05-10 沈阳工业大学 一种基于模糊评估的油井动液面自适应预测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998166A (zh) * 2021-03-01 2022-09-02 瑞昱半导体股份有限公司 影像数据增强装置与方法
CN113933296A (zh) * 2021-03-15 2022-01-14 住华科技股份有限公司 一种检测光学膜的方法、装置及系统
CN115855950A (zh) * 2022-11-23 2023-03-28 环维电子(上海)有限公司 针对微小瑕疵与错件的影像检测方法及其系统

Also Published As

Publication number Publication date
CN112362679B (zh) 2024-06-04
US11521015B2 (en) 2022-12-06
US20210027105A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
CN112362679A (zh) 影像辨识装置、影像辨识方法及其计算机程序产品
TWI761806B (zh) 影像辨識裝置、影像辨識方法及其電腦程式產品
US11423531B2 (en) Image-recognition apparatus, image-recognition method, and non-transitory computer-readable storage medium thereof
US10991088B2 (en) Defect inspection system and method using artificial intelligence
CN112308816B (zh) 影像辨识装置、影像辨识方法及其存储介质
CN112394071B (zh) 基板缺陷检查装置及方法
CN112053318A (zh) 基于深度学习的二维pcb缺陷实时自动检测与分类装置
TW202001795A (zh) 瑕疵分類標記系統及瑕疵分類標記方法
CN113591965A (zh) 一种aoi检测图像处理方法、装置、存储介质及计算机设备
CN114627089B (zh) 缺陷识别方法、装置、计算机设备及计算机可读存储介质
CN110223269A (zh) 一种fpc缺陷检测方法和装置
CN1323369C (zh) 图像识别装置和方法以及图像识别装置的示教装置和方法
CN116228741A (zh) 一种pcba元器件缺陷检测方法及装置
US20250225639A1 (en) Inspection of printed circuit board assemblies
Lv et al. A dataset for deep learning based detection of printed circuit board surface defect
CN114842275A (zh) 电路板缺陷判别方法、训练方法、装置、设备及存储介质
JP2008185395A (ja) 実装基板外観検査方法
Nevliudov et al. Automated System Development for the Printed Circuit Boards Optical Inspection Using Machine Learning Methods
JP2015075412A (ja) 外観検査システム
US20240104753A1 (en) Mark detection method and computer program
CN119290919A (zh) Pcb板的检测系统及检测方法
CN119888457A (zh) 一种基于et防漏的缺陷检测方法、装置及存储介质
CN119579518A (zh) 一种smt表面缺陷检测方法
KR20110001460U (ko) 반도체의 아이씨의 트리밍 검사장치 및 그사용법
CN117788412A (zh) 一种基于aoi的pcb板缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant