CN113111903A - 智能产线监测系统及监测方法 - Google Patents

智能产线监测系统及监测方法 Download PDF

Info

Publication number
CN113111903A
CN113111903A CN202110009665.9A CN202110009665A CN113111903A CN 113111903 A CN113111903 A CN 113111903A CN 202110009665 A CN202110009665 A CN 202110009665A CN 113111903 A CN113111903 A CN 113111903A
Authority
CN
China
Prior art keywords
image
classification decision
training
subsystem
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110009665.9A
Other languages
English (en)
Inventor
萧百亨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yixiang Co ltd
Original Assignee
Yixiang Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yixiang Co ltd filed Critical Yixiang Co ltd
Publication of CN113111903A publication Critical patent/CN113111903A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41865—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32193—Ann, neural base quality management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种智能产线监测系统及监测方法，可监测一取像装置所取像的一被检物影像，主要使一操作站主机提供一标记模组，以对分类器子系统的分类决定进行复判，而可基于人机协作达到验证分类决定或检查是否有漏判的目的；另外，分类器子系统可自动筛选出可信度较低的分类决定，以有效减少复判次数；另外，多张被检物影像构成的一被检物群组影像，可先经过分析而从中比对出差异图像特征，以适用于某些瑕疵训练样本较不足的情况；另外，标记模组可同时对高度相关的历史分类决定进行复判；另还可包括一第二取像装置，以使系统可基于修补前后的被检物影像，自动标记瑕疵位置进而学习是否存在瑕疵的价值判断。

Description

智能产线监测系统及监测方法
技术领域
本发明涉及机器学习、影像辨识、影像处理与瑕疵检测等技术，尤指一种可提高检测效率与准确度、可复判分类器的判断结果、可调整历史判读数据、可适用于训练样本数较少的被检物、以及可避免漏判瑕疵的智能产线监测系统及监测方法。
背景技术
随着科技进步，电子零件的精密度要求日益趋高，为确保产品良率，在电子零件的制作过程通常会经过光学检测与复判两个阶段，光学检测阶段主要以一自动外观检测装置取得待检物影像，并判断待检物是否存在瑕疵，复判阶段是以人工方式对光学检测阶段所判定的瑕疵进一步检查标记。
然而，虽自动外观检测装置的检测效率优于传统的人工检测方式，而可降低制作过程中所耗费的大量人力，但自动外观检测装置的判读结果若发生误判与漏判，将可能使有瑕疵的产品流向客户端，并且，为了降低复判阶段的工作量，作业员通常仅能针对自动外观检测装置判断为瑕疵品的影像进行检查标记，并无法针对完整或其它部分的待检物影像进行检查标记。
并且，目前于复判阶段，由于作业员仍须对自动外观检测装置所判断的每张瑕疵影像进行检查标记，故仍有人力消耗大的缺点，且可能因为人的视觉疲劳等原因，而仍存在一定的漏检机率，并且，若部分电子零件的瑕疵训练样本数不足，则复判阶段的作业员将可能因为自动外观检测装置难以判别是否有瑕疵，而导致其需要自行判断每张待检物影像是否有瑕疵与进行标记，故针对极少数瑕疵的情况，仍有复判阶段人力消耗较大的缺点。
因此，由于现有的瑕疵监测系统，仍有上述缺点，故如何基于人机协作模式，而提出一种可改善工业流程、可提高瑕疵检测效率与准确度、可适用于训练样本数较少的待检物、以及可避免漏判瑕疵特征的瑕疵监测技术，仍为有待解决的问题。
发明内容
为解决上述现有技术中不足，本发明的其中一个目的在于提供一种智能产线监测系统，可监测一取像装置对一被检物所取像的一被检物影像，系统主要包括一训练子系统、一操作站主机及一分类器子系统；训练子系统储存有对应于被检物的类型的一训练模组；操作站主机连接于该训练子系统并运行有一标记模组；分类器子系统分别连接于该取像装置、该训练子系统及该操作站主机，分类器子系统可读取训练模组以解析被检物影像的图像特征，并作出一分类决定以发送至操作站主机，其中，若分类决定若被视为异常，则分类决定可包括一完整影像及具有至少一复判标记的一异常影像；标记模组可输入关联于异常影像的一复判操作，以更新分类决定，并由操作站主机发送至训练子系统，标记模组也用于标记关联于完整影像的一漏判标记，以输入一第二复判操作而生成取代分类决定的一第二分类决定，并由操作站主机发送至训练子系统，接着，训练子系统可依据更新后的分类决定及第二分类决定，即时更新训练模组及连接于训练模组的一标记资料库。本发明依本实施例据以实施后，因操作站主机不止可监测到具有复判标记的异常影像，还可对完整的被检物影像进行检查标记，故相较于作业员仅能对自动外观检测装置所发出的瑕疵影像进行检查标记的现有作法，本发明可使操作站主机于复判阶段时，分别监测到完整影像、及分类器子系统判断为异常的异常影像，而能避免使分类器子系统漏判的异常被检物输送至产线的下一阶段，而至少可达成降低瑕疵产品流向客户端的机率的有利功效。
于另一实施例中，还可包括一影像相关性分析模组，其可对多张被检物影像构成的一被检物群组影像进行分析，若多张被检物影像之间存在差异，则可从被检物群组影像中比对出至少一差异图像特征，依此，分类器子系统可解析影像相关性分析模组所生成的差异图像特征，以作出分类决定。本发明依本实施例据以实施后，可使影像相关性分析模组将取像装置所获取的多张被检物影像(即原始影像)、或取像装置基于自动光学检测技术而过滤出的多张异常被检物影像，均视为被检物群组影像，并进行差异图像特征的比对，而可适用于某些被检物的异常影像(即瑕疵影像的训练样本)普遍较少的情况，并且，前述的异常被检物影像还可包括对应于复判标记的瑕疵位置资讯。
于再一实施例中，还可包括一第二取像装置，分别连接于该操作站主机与该训练子系统，其可对基于异常影像而完成修补的被检物进行取像，以取得至少一修补后被检物影像，并可标记被检物影像与修补后被检物影像之间的至少一图像差异特征，并将被标记的图像差异特征、及修补后被检物影像即时发送至训练子系统。本发明依本实施例据以实施后，针对作废成本高于修补成本、且人工修补成本普遍低于客户端的退货成本的被检物，尤其适于即时修补的被检物，并且，本实施例的操作站主机借此可无需运行标记模组，以由训练子系统自行依据修补前后的被检物影像，学习瑕疵位置的所在，以及学习是否存在瑕疵的价值判断。
其中，分类器子系统可具有一标记筛选单元，其可筛选出可信度较低的分类决定，再由分类器子系统发送至操作站主机。
其中，操作站主机可运行有一历史标记复判模组，其可显示与分类决定形成高度相关的一历史分类决定，该历史分类决定包括具有至少一历史标记的一历史影像，历史标记复判模组可输入关联于历史分类决定的一第三复判操作，以更新储存于训练子系统的历史分类决定。
其中，分类器子系统从该取像装置取得的至少一该被检物影像，为该取像装置基于AOI技术而过滤出的至少一异常被检物影像。
其中，该第二取像装置为一扩增实境显示器，用于使该分类决定呈现在该扩增实境显示器，且该第二取像装置也用于记录该被检物于修补时的一修补点资讯，以指定该修补点资讯为该被检物影像、及该修补后被检物影像之间的至少一图像差异特征，并由该第二取像装置发送至该训练子系统，以供该训练子系统依据被标记的该图像差异特征、以及该修补后被检物影像，即时更新该训练模组、及连接于该训练模组的一标记资料库。
本发明的另一目的在于提供一种智能产线监测方法，一取像装置对一被检物进行取像，而获取至少一被检物影像后，可执行以下步骤：（A）一解析图像特征与作出分类决定步骤：一分类器子系统读取一训练模组以解析该被检物影像的图像特征，并作出至少一分类决定以发送至一操作站主机，该分类决定若被视为异常，则该分类决定包括一完整影像及具有一复判标记的一异常影像；（B）一自动筛选标记步骤：如该复判标记为多个，则该分类器子系统筛选出可信度较低的该分类决定，再由该分类器子系统发送至该操作站主机；（C）一输入复判操作步骤：该操作站主机的一标记模组输入关联于该异常影像的一复判操作，以更新该分类决定，并由该操作站主机发送至该训练子系统；以及（D）一即时更新训练模组步骤：该训练子系统依据更新后的该分类决定，即时更新该训练模组、及连接于该训练模组的一标记资料库。
其中，(C)步骤执行时，该标记模组也标记关联于该完整影像的一漏判标记，以输入一第二复判操作而生成取代该分类决定的一第二分类决定，并由该操作站主机发送至该训练子系统，其后，(D)步骤执行时，该训练子系统也依据该第二分类决定，即时更新该训练模组及该标记资料库。
其中，(B)步骤执行时，该操作站主机显示与该分类决定形成高度相关的一历史分类决定，该历史分类决定包括具有至少一历史标记的一历史影像，并使一历史标记复判模组输入关联于该历史分类决定的一第三复判操作，以更新储存于该训练子系统的该历史分类决定。
其中，(A)步骤执行前，该分类器子系统从该取像装置取得的至少一该被检物影像，为该取像装置基于AOI技术而过滤出的至少一异常被检物影像。
本发明的另一目的在于提供一种智能产线监测方法，一取像装置对一被检物进行取像，而获取至少一被检物影像后，可执行以下步骤：（A）一分析群组影像步骤：一影像相关性分析模组对多张该被检物影像构成的一被检物群组影像进行分析，若多张该被检物影像之间存在差异，则该影像相关性分析模组从群组影像中比对出至少一差异图像特征，若多张该被检物影像之间不存在差异，则该影像相关性分析模组将该被检物群组影像转传至该分类器子系统；（B）一解析图像特征与作出分类决定步骤：若多张该被检物影像之间存在差异，则一分类器子系统读取一训练模组以解析该差异图像特征，并作出一分类决定；若多张该被检物影像之间不存在差异，则该分类器子系统读取该训练模组以解析该多张该被检物影像的图像特征，并作出该分类决定，该分类决定由该分类器子系统发送至一操作站主机，其中，该分类决定若被视为异常，则该分类决定包括一完整影像及具有至少一复判标记的一异常影像；（C）一自动筛选标记步骤：如该复判标记为多个，则该分类器子系统筛选出可信度较低的该分类决定，再由该分类器子系统发送至该操作站主机；（D）一输入复判操作步骤：该操作站主机的一标记模组输入关联于该异常影像的一复判操作，以更新该分类决定，并由该操作站主机发送至该训练子系统；以及（E）一即时更新训练模组步骤：该训练子系统依据更新后的该分类决定，即时更新该训练模组、及连接于该训练模组的一标记资料库。
其中，(D)步骤执行时，该标记模组也标记关联于该完整影像的一漏判标记，以输入一第二复判操作而生成取代该分类决定的一第二分类决定，并由该操作站主机发送至该训练子系统，其后，(E)步骤执行时，该训练子系统也依据该第二分类决定，即时更新该训练模组及该标记资料库。
其中，(C)步骤执行时，该操作站主机显示与该分类决定形成高度相关的一历史分类决定，该历史分类决定包括具有至少一历史标记的一历史影像，并使一历史标记复判模组输入关联于该历史分类决定的一第三复判操作，以更新储存于该训练子系统的该历史分类决定。
其中，(A)步骤执行前，该分类器子系统从该取像装置取得的至少一该被检物影像，为该取像装置基于AOI技术而过滤出的至少一异常被检物影像。
本发明的另一目的在于提供一种智能产线监测方法，一取像装置对一被检物进行取像，而获取至少一被检物影像后，可执行以下步骤：（A）一解析图像特征与作出分类决定步骤：一分类器子系统读取一训练模组以解析该被检物影像的图像特征，并作出至少一分类决定以发送至一操作站主机，该分类决定若被视为异常，则该分类决定至少包括一异常影像；（B）一撷取修补后影像与标记步骤：一第二取像装置对基于该异常影像而完成修补的该被检物进行取像，以取得至少一修补后被检物影像，并标记该被检物影像与该修补后被检物影像之间的至少一图像差异特征，并将该修补后被检物影像视为一非异常影像，并由该第二取像装置发送至该训练子系统；以及（C）一即时更新训练模组步骤：该训练子系统依据被标记的该图像差异特征、以及该修补后被检物影像，即时更新该训练模组、及连接于该训练模组的一标记资料库。
其中，(A)步骤执行前，该分类器子系统从该取像装置取得的至少一该被检物影像，为该取像装置基于AOI技术而过滤出的至少一异常被检物影像。
附图说明
下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1：本发明第一实施例的方块示意图(一)；
图2：本发明第一实施例的方块示意图(二)；
图3：本发明第一实施例的复判操作示意图；
图4：本发明第一实施例的一变化例的方块示意图；
图5：本发明第一实施例的一变化例的方法流程图；
图6：本发明第一实施例的另一变化例的方块示意图；
图7：本发明第二实施例的方块示意图；
图8：本发明第二实施例的方法流程图；
图9：本发明第二实施例的一变化例的方块示意图；
图10：本发明第二实施例的另一变化例的方块示意图；
图11：本发明第三实施例的方块示意图；
图12：本发明第三实施例的方法流程图；
图13：本发明第三实施例的一变化例的方块示意图。
附图标记说明
10 智能产线监测系统
101 取像装置
102 训练子系统
1021 训练模组
1022 标记资料库
103 操作站主机
1031 标记模组
R 参考影像
E 异常影像
OP1 复判操作
C1’ 更新后分类决定
OP2 第二复判操作
C2 第二分类决定
1032 历史标记复判模组
HC 历史分类决定
OP3 第三复判操作
HC’ 更新后历史分类决定
104 分类器子系统
1041 标记筛选单元
C1 分类决定
C1_LOW 分类决定
T 复判标记
105 影像相关性分析模组
106 第二取像装置
ARD 扩增实境显示器
Fix 修补点资讯
I 被检物影像
I_G 被检物群组影像
I’ 修补后被检物影像
S1 智能产线监测方法
S105 分析群组影像
S110 解析图像特征与作出分类决定
S120 自动筛选标记
S130 输入复判操作
S140 即时更新训练模组
S2 智能产线监测方法
S210 解析图像特征与作出分类决定
S220 撷取修补后影像与标记
S230 即时更新训练模组。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
请参阅图1~图2，其皆为本发明第一实施例的方块示意图，并请搭配参阅图3，本实施例的智能产线监测系统10可监测一取像装置101对一被检物所取像的一被检物影像I，主要包括一训练子系统102、一操作站主机103及一分类器子系统104，分类器子系统104可分别通过一网络与取像装置101、训练子系统102及操作站主机103通讯连接，其中：
取像装置101可包括多个影像感测单元(图中未绘示)，这些影像感测单元可为一电荷耦合元件(CCD)或一互补式金属氧化物半导体(CMOS)元件，取像装置101还可包括至少一镜头(图中未绘示)，其用于将被检物影像I聚焦于影像感测单元；
训练子系统102可储存对应于被检物类型(例如对应于特定料号)的至少一训练模组1021，训练模组1021可为例如LeNet、AlexNet、VGGnet、NIN、GoogLeNet, MobileNet、SqueezeNet、ResNet、SiameseNet、NASNet、RNN或其它基于卷积神经网络的训练模型，但不以此为限，且部分的训练模型可对应至例如物件检测(Detection)、物件切割、物件分类等任务的训练模型，并且训练模组1021可连接于一标记资料库1022，标记资料库1022本身可为一资料库主机，或是储存于训练子系统102的多个资料表(Table)的集合，标记资料库1022可储存多笔预训练资料集，例如包括预先标记的分类决定及对应的训练样本影像，标记资料库1022也可储存随时更新的多张被检物影像I及多个对应的分类决定(更新自操作站主机103的回传资料，分类决定可为更新后分类决定C1’及/或第二分类决定C2，细节详述如后)；
操作站主机103连接于训练子系统，且操作站主机103运行有一标记模组1031，操作站主机103也可读取训练子系统102，以通过网络即时调整各训练模组1021的训练模型的权重参数，或是通过网络即时调整训练模组1021所使用的预训练资料集等资讯；
分类器子系统104可读取训练模组1021以解析被检物影像I的图像特征，并作出一分类决定C1以发送至操作站主机103，分类决定C1若被视为异常，则分类决定C1可包括一完整影像及具有至少一复判标记T的一异常影像；较佳地，本实施例的分类决定C1还可包括一参考影像；较佳地，在分类器子系统104作出分类决定C1前，分类器子系统104或取像装置101可先对被检物影像I执行一影像处理程序，前述的影像处理程序可被定义为一影像预处理程序、一图像分割程序(Region Segmentation)及一特征提取程序的其中一种或其组合；较佳地，分类器子系统104从取像装置101所接收的被检物影像I，也可为取像装置101基于一自动光学检测（Automated Optical Inspection，AOI）技术而过滤出的多张异常被检物影像，并且，前述的异常被检物影像还可包括对应于复判标记T的瑕疵位置资讯；
标记模组1031可输入关联于异常影像的一复判操作OP1，以生成一更新后分类决定C1’，并由操作站主机103发送至训练子系统102，标记模组1031也可标记关联于完整影像的一漏判标记(图中未绘示)，以输入一第二复判操作OP2，而生成取代分类决定C1的一第二分类决定C2，并由操作站主机103发送至训练子系统102；
其中，标记模组1031得以一图形化使用者介面(GUI)的形式呈现于操作站主机103的显示屏幕，即如图3所示，图中例示了分类决定C1可包括完整影像、复判标记T、参考影像R及异常影像E，而复判操作OP1可通过例如触发图中所示的“GOOD”或“NG”按钮元件(Button)而产生，而完整影像则可通过例如显示模式的切换予以呈现，但并不以此为限；
依此，训练子系统102可依据更新后分类决定C1’及第二分类决定C2，即时更新训练模组1021及连接于训练模组1021的标记资料库1022，意即可将更新后分类决定C1’及第二分类决定C2即时输入至标记资料库1022的预训练资料集，以使训练模组1021依据更新后的预训练资料集，即时训练训练模组1021的训练模型；
其中，作为示例，被检物可为一印刷电路板(PCBA)、一紧固件(Fasteners)、一软性印刷电路板(Flexible Print Circuit)、一橡胶品(Rubber)、一医疗影像(例如X光、超音波、CT、MRI等影像)、一数码病理影像或一影像感测器(Image Sensor)等，但均不以此为限；若检测印刷电路板，则可监测其是否存在有短路、空焊、锡多、锡少、锡洞、异物等情形；若检测紧固件，则可监测其是否存在有刮伤、异物、缺角等情形；若检测软性印刷电路板或橡胶品，则可监测其是存在有刮伤、毛边、缺角、异物等情形；若检测影像感测器，则可监测其是否存在有瑕疵、异物等情形，若检测医疗影像，则可监测例如其病灶之处。
承上，本发明依第一实施例据以实施后，因操作站主机103不止可监测到具有复判标记T的异常影像，还可对完整的被检物影像I进行检查标记，故相较于作业员仅能对自动外观检测装置所发出的瑕疵影像进行检查标记的现有作法，本发明可使操作站主机103于复判阶段时，分别监测到完整影像、及分类器子系统104判断为异常的异常影像，而能避免使分类器子系统104漏判的异常被检物输送至产线的下一阶段，而至少可达成降低瑕疵产品流向客户端的机率的有利功效，并且，假设被检物为一般螺丝，由于其修补成本(内部成本)可能普遍高于客户端的退货成本(外部成本)，故本实施例尤其适于此种不需即时修补的被检物。
请接续参阅图4及图5，其分别为本发明第一实施例的一变化例的方块示意图及方法流程图，作为进一步的改进，本实施例的智能产线监测系统10的分类器子系统104还具有可被调整为开启或关闭状态的一标记筛选单元1041，且本发明于此实施例提出一智能产线监测方法S1，当分类器子系统104对被检物影像I解析图像特征与作出分类决定(步骤S110:解析图像特征与作出分类决定)后，标记筛选单元1041可例如依据各复判标记T所对应的一信心分数(confidence)，自动筛选出可信度较低的分类决定C1_LOW，其中，分类决定C1_LOW可包括复判标记T与异常影像，较佳地，本实施例的分类决定C1_LOW也可包括参考影像，其后，分类器子系统104可将可信度较低的分类决定C1_LOW发送至操作站主机103(步骤S120:自动筛选标记)，以由标记模组1031依据可信度较低的分类决定C1_LOW接续生成更新后分类决定C1’及/或第二分类决定C2(步骤S130:输入复判操作)，并更新训练子系统102的标记资料库1022与训练模组1021(步骤S140:即时更新训练模组)，借此，可信度较高的复判标记T及其对应的异常影像将无需再由操作站主机103进行复判，故操作站主机103的标记模组1031可无需一一对各张异常影像进行复判标记T的验证(或称复判)，而可减少操作站主机103输入复判操作的次数，进而能减少于复判阶段的人力消耗。
请接续参阅图6，其为本发明第一实施例的另一变化例的方块示意图，并请参照图2，为使操作站主机103的标记模组1031于当下输入复判操作OP1及/或第二复判操作OP2的同时，有机会对此前误判的分类决定进行修正，以避免下次操作站主机103再次从分类器子系统104接收不够正确的分类决定C1，故作为进一步的改进，本实施例的智能产线监测系统10的操作站主机103可运行有一历史标记复判模组1032，其可显示与分类决定C1形成高度相关的一历史分类决定HC，其中，历史分类决定HC可包括具有至少一历史标记的一历史影像，更具体而言，例如当操作站主机103接收的分类决定C1若包括出现 “短路”特征的异常影像时，则历史标记复判模组1032可从训练子系统102的标记资料库1022读取出历史分类决定HC同样包括“短路”特征，但该笔历史分类决定HC却未被归类于“异常”(即此前复判为良品)的历史影像，而本实施例的历史标记复判模组1032可供输入关联于历史分类决定HC的一第三复判操作OP3，以修改过去的历史分类决定HC，进而将原先储存于训练子系统102的历史分类决定HC，更新为一更新后历史分类决定HC’，意即将更新后历史分类决定HC’即时输入至标记资料库1022的预训练资料集中，以使训练模组1021依据更新后的预训练资料集，即时训练训练模组1021储存的训练模型。
请参阅图7及图8，其分别为本发明第二实施例的方块示意图与方法流程图，本实施例与图1~图3所示实施例的技术类同，主要差异在于，本实施例的智能产线监测系统10还可包括连接于取像装置101的一影像相关性分析模组105，故当智能产线监测方法S1中的取像装置101对被检物完成取像后，影像相关性分析模组105可先对多张被检物影像I构成的一被检物群组影像I_G进行分析(步骤S105:分析群组影像)，若多张被检物影像I之间存在差异，则影像相关性分析模组105可从被检物群组影像I_G中比对出至少一差异图像特征，例如抓取该些被检物影像I中于特定影像位置的差异，而作出分类决定C1；反之，若多张被检物影像I之间不存在差异，则影像相关性分析模组105可直接将多张被检物影像I转传至分类器子系统104，以由分类器子系统104直接对多张被检物影像I进行图像特征的解析，而作出分类决定C1，本实施例的分类器子系统104可分别连接于训练子系统102、影像相关性分析模组105及操作站主机103，其中，本实施例的分类器子系统104可读取训练模组1021以解析被检物群组影像I_G所发送的差异图像特征，并作出分类决定C1以发送至操作站主机103，另外，分类决定C1可包括的资讯包括标记模组1031所能输入的资讯、以及操作站主机103发送至训练子系统102的资讯，皆与第一实施例类同，于此不再赘述。
承上，本发明依第二实施例据以实施后，可使影像相关性分析模组105将取像装置101所获取的多张被检物影像I(即原始影像)、或取像装置101基于自动光学检测(AOI)技术而过滤出的多张异常被检物影像，均视为被检物群组影像I_G，并进行差异图像特征的比对，而可适用于某些被检物的异常影像(即瑕疵影像的训练样本)普遍较少的情况，并且，前述的异常被检物影像还可包括对应于复判标记T的瑕疵位置资讯。
请接续参阅图9，其为本发明第二实施例的一变化例的方块示意图，并请搭配参阅图1，作为进一步的改进，本实施例的智能产线监测系统10的分类器子系统104还可具有一标记筛选单元1041，其可例如依据各复判标记(T、…)所对应的一信心分数，筛选出可信度较低的分类决定C1_LOW，其中，此分类决定C1_LOW可包括复判标记T与异常影像，较佳地，本实施例的分类决定C1_LOW还可包括参考影像，其后，分类器子系统104可将可信度较低的分类决定C1_LOW发送至操作站主机103，进而由标记模组1031接续生成更新后分类决定C1’及/或第二分类决定C2，借此，本实施例的标记模组1031可使使用者无需一一对各张异常影像均进行复判标记T的验证(或称复判)，而可减少操作站主机103输入复判操作的次数，而能减少人力消耗。
请接续参阅图10，其为本发明第二实施例的另一变化例的方块示意图，作为进一步的改进，本实施例的智能产线监测系统10的操作站主机103可运行有一历史标记复判模组1032，其可显示与分类决定C1形成高度相关的一历史分类决定HC，其中，历史分类决定HC可包括具有至少一历史标记的一历史影像，历史标记复判模组1032可供输入关联于历史分类决定HC的一第三复判操作OP3，以修改过去的分类决定，而将储存于训练子系统102的历史分类决定HC，更新为一更新后历史分类决定HC’，意即将更新后历史分类决定HC’即时输入至标记资料库1022的预训练资料集中，以使训练模组1021依据更新后的预训练资料集，即时训练训练模组1021储存的训练模型。
请参阅图11及图12，其分别为本发明第三实施例的方块示意图与方法流程图，本实施例的智能产线监测系统10与图1所示实施例的技术类同，主要差异在于，本实施例的智能产线监测系统10还可包括分别连接于操作站主机103与训练子系统102的一第二取像装置106，且本发明于此实施例提出一智能产线监测方法S2，当分类器子系统104对被检物影像I解析图像特征与作出分类决定C1后(步骤S210：解析图像特征与作出分类决定)，第二取像装置106可对基于分类器子系统104所发送的异常影像(本实施例的分类决定C1可不具有复判标记)而完成修补的被检物进行取像，以取得至少一修补后被检物影像I’(步骤S220:撷取修补后影像与标记)，并可由第二取像装置106标记（例如基于自动光学检测(AOI)技术）被检物影像I与修补后被检物影像I’之间的至少一图像差异特征，以及将修补后被检物影像I’视为一非异常影像，并由第二取像装置106发送至训练子系统102，以供训练子系统102依据被标记的图像差异特征，以及修补后被检物影像I’，即时更新训练模组1021及连接于训练模组1021的标记资料库1022(步骤S230:即时更新训练模组)；其中，作为示例，本实施例所提及的第二取像装置106可通过设置于操作站主机103的方式完成资讯连接，并且，操作站主机103本身也可具备修补功能，且操作站主机103可为一工业用或消费用机器人；另外，第二取像装置106的元件组成可类同于第一或第二实施例的取像装置101，于此不再赘述；另外，操作站主机103或分类器子系统104也可标记被检物影像I与修补后被检物影像I’之间的图像差异特征。
承上，本发明依第三实施例据以实施后，针对作废成本高于修补成本、且人工修补成本普遍低于客户端的退货成本的被检物，例如生产完即需出货的PCBA插件(Dual in-line Package，DIP)，第三实施例尤其适于此种须即时修补的被检物，并且，本实施例的操作站主机103借此可无需运行标记模组1031，以由训练子系统102自行依据修补前后的被检物影像，学习瑕疵位置的所在，以及学习是否存在瑕疵的价值判断。
请接续参阅图13，其为本发明第三实施例的一变化例的方块示意图，作为进一步的改进，本实施例的智能产线监测系统10的第二取像装置可为一扩增实境显示器ARD，用于使分类决定C1包括的异常影像可呈现在扩增实境显示器ARD，而本实施例的分类决定C1中的复判标记及参考影像也可同步呈现在扩增实境显示器ARD，且本实施例的第二取像装置(即扩增实境显示器ARD)也可记录被检物于修补时的一修补点资讯Fix，以指定修补点资讯Fix为一图像差异特征，并由第二取像装置发送至训练子系统102，以供训练子系统102即时更新训练模组1021及连接于训练模组1021的标记资料库1022，依此，本实施例由于可使使用者通过扩增实境显示器ARD一边修补被检物，一边自动记录被检物的修补点资讯，故可达到替代图1所示标记模组1031的功能，而无需使使用者进行复判操作或第二复判操作的输入。
其中，作为示例，本发明所称的取像装置、训练子系统、操作站主机、分类器子系统、影像相关性分析模组及第二取像装置若皆为实体装置，则其皆可包括一处理器，其可具备逻辑运算、暂存运算结果、保存执行指令位置等功能，且处理器可以例如是一中央处理器(CPU)、一虚拟处理器(vCPU)、一微处理器(MPU)、一微控制器(MCU)、一应用处理器(AP)、一嵌入式处理器、一特殊应用积体电路(ASIC)、一张量处理器(TPU)或一图形处理器(GPU)等，但均不以此为限。
其中，作为示例，本发明所称的训练子系统、分类器子系统及影像相关性分析模组可为一伺服器或一软件模组，且前述的伺服器及操作站主机可为实体的伺服器、或以虚拟机器(VM)形式运行的伺服器、或以虚拟专属主机(Virtual Private Server)形式运行的伺服器、或一公有云、或一私有云、或一边缘终端装置(edge device)、或一嵌入式系统(Embedded System)或一移动装置(例如手机)，但均不以此为限。
其中，作为示例，本发明所称的网络可为公众或私人网络，如无线网络(例如3G、4GLTE、Wi-Fi、蓝牙)、有线网络、区域网络(LAN)、广域网络(WA)等，但均不以此为限。
综上可知，本发明据以实施后，至少可达成改善工业流程、提高瑕疵检测效率与准确度、适用于训练样本数较少的待检物、可避免漏判瑕疵、可减少瑕疵复判次数、可修正历史误判决定、可自动记录修补点而无需复判分类器结果、以及可线上即时训练模型的有益功效。
以上说明内容仅为本发明较佳实施例，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (21)

1.一种智能产线监测系统，用于监测一取像装置对一被检物所取像的至少一被检物影像，其特征在于，包括：
一训练子系统，储存有对应于该被检物的类型的一训练模组；
一操作站主机，连接于该训练子系统，该操作站主机运行有一标记模组；
一分类器子系统，分别连接于该取像装置、该训练子系统及该操作站主机；
该分类器子系统用于读取该训练模组以解析该被检物影像的图像特征，并作出一分类决定以发送至该操作站主机，该分类决定若被视为异常，则该分类决定包括一完整影像及具有至少一复判标记的一异常影像；
该标记模组用于输入关联于该异常影像的一复判操作，以更新该分类决定，并由该操作站主机发送至该训练子系统，该标记模组也用于标记关联于该完整影像的一漏判标记，以输入一第二复判操作，而生成取代该分类决定的一第二分类决定，并由该操作站主机发送至该训练子系统；以及
该训练子系统依据更新后的该分类决定及该第二分类决定，即时更新该训练模组、及连接于该训练模组的一标记资料库。
2.根据权利要求1所述的智能产线监测系统，其特征在于，该分类器子系统具有一标记筛选单元，其用于筛选出可信度较低的该分类决定，再由该分类器子系统发送至该操作站主机。
3.根据权利要求1所述的智能产线监测系统，其特征在于，该操作站主机运行有一历史标记复判模组，其显示与该分类决定形成高度相关的一历史分类决定，该历史分类决定包括具有至少一历史标记的一历史影像，该历史标记复判模组用于输入关联于该历史分类决定的一第三复判操作，以更新储存于该训练子系统的该历史分类决定。
4.根据权利要求1、2或3所述的智能产线监测系统，其特征在于，该分类器子系统从该取像装置取得的至少一该被检物影像，为该取像装置基于AOI技术而过滤出的至少一异常被检物影像。
5.一种智能产线监测系统，用于监测一取像装置对一被检物所取像的至少一被检物影像，其特征在于，包括：
一训练子系统，储存有对应于该被检物的类型的一训练模组；
一操作站主机，连接于该训练子系统，该操作站主机运行有一标记模组；
一影像相关性分析模组，连接于该取像装置，其用于对多张该被检物影像构成的一被检物群组影像进行分析，以从群组影像中比对出至少一差异图像特征；
一分类器子系统，分别连接于该训练子系统、该影像相关性分析模组及该操作站主机；
该分类器子系统用于读取该训练模组以解析该差异图像特征，并作出一分类决定以发送至该操作站主机，该分类决定若被视为异常，则该分类决定包括一完整影像及具有至少一复判标记的一异常影像；
该标记模组用于输入关联于该异常影像的一复判操作，以更新该分类决定，并由该操作站主机发送至该训练子系统；以及
该标记模组也用于输入关联于该完整影像的一漏判标记，以生成取代该分类决定的一第二分类决定，并由该操作站主机发送至该训练子系统，以供该训练子系统依据更新后的该分类决定及该第二分类决定，即时更新该训练模组、及连接于该训练模组的一标记资料库。
6.根据权利要求5所述的智能产线监测系统，其特征在于，该分类器子系统具有一标记筛选单元，其用于筛选出可信度较低的该分类决定，再由该分类器子系统发送至该操作站主机。
7.根据权利要求5所述的智能产线监测系统，其特征在于，该操作站主机运行有一历史标记复判模组，其显示与该分类决定形成高度相关的一历史分类决定，该历史分类决定包括具有至少一历史标记的一历史影像，该历史标记复判模组用于输入关联于该历史分类决定的一第三复判操作，以更新储存于该训练子系统的该历史分类决定。
8.根据权利要求5、6或7所述的智能产线监测系统，其特征在于，该分类器子系统从该取像装置取得的至少一该被检物影像，为该取像装置基于AOI技术而过滤出的至少一异常被检物影像。
9.一种智能产线监测系统，用于监测一取像装置对一被检物所取像的至少一被检物影像，其特征在于，包括：
一训练子系统，储存有至少一训练模组，且该训练模组对应于该被检物的类型；
一操作站主机；
一分类器子系统，分别连接于该取像装置、该训练子系统及该操作站主机；
该分类器子系统用于读取该训练模组以解析该被检物影像的图像特征，并作出一分类决定以发送至该操作站主机，该分类决定若被视为异常，则该分类决定至少包括一异常影像；以及
一第二取像装置，分别连接于该操作站主机与该训练子系统，用于对基于该异常影像而完成修补的该被检物进行取像，以取得至少一修补后被检物影像，并将该修补后被检物影像视为一非异常影像，再由该第二取像装置发送至该训练子系统，以供该训练子系统依据被标记的该图像差异特征、以及该修补后被检物影像，即时更新该训练模组、及连接于该训练模组的一标记资料库。
10.根据权利要求9所述的智能产线监测系统，其特征在于，该第二取像装置为一扩增实境显示器，用于使该分类决定呈现在该扩增实境显示器，且该第二取像装置也用于记录该被检物于修补时的一修补点资讯，以指定该修补点资讯为该被检物影像、及该修补后被检物影像之间的至少一图像差异特征，并由该第二取像装置发送至该训练子系统，以供该训练子系统依据被标记的该图像差异特征、以及该修补后被检物影像，即时更新该训练模组、及连接于该训练模组的一标记资料库。
11.根据权利要求9或10所述的智能产线监测系统，其特征在于，该分类器子系统从该取像装置取得的至少一该被检物影像，为该取像装置基于AOI技术而过滤出的至少一异常被检物影像。
12.一种智能产线监测方法，其特征在于，一取像装置对一被检物进行取像，而获取至少一被检物影像后，可执行以下步骤：
（A）一解析图像特征与作出分类决定步骤：一分类器子系统读取一训练模组以解析该被检物影像的图像特征，并作出至少一分类决定以发送至一操作站主机，该分类决定若被视为异常，则该分类决定包括一完整影像及具有一复判标记的一异常影像；
（B）一自动筛选标记步骤：如该复判标记为多个，则该分类器子系统筛选出可信度较低的该分类决定，再由该分类器子系统发送至该操作站主机；
（C）一输入复判操作步骤：该操作站主机的一标记模组输入关联于该异常影像的一复判操作，以更新该分类决定，并由该操作站主机发送至该训练子系统；以及
（D）一即时更新训练模组步骤：该训练子系统依据更新后的该分类决定，即时更新该训练模组、及连接于该训练模组的一标记资料库。
13.根据权利要求12所述的智能产线监测方法，其特征在于，其中，(C)步骤执行时，该标记模组也标记关联于该完整影像的一漏判标记，以输入一第二复判操作而生成取代该分类决定的一第二分类决定，并由该操作站主机发送至该训练子系统，其后，(D)步骤执行时，该训练子系统也依据该第二分类决定，即时更新该训练模组及该标记资料库。
14.根据权利要求12所述的智能产线监测方法，其特征在于，其中，(B)步骤执行时，该操作站主机显示与该分类决定形成高度相关的一历史分类决定，该历史分类决定包括具有至少一历史标记的一历史影像，并使一历史标记复判模组输入关联于该历史分类决定的一第三复判操作，以更新储存于该训练子系统的该历史分类决定。
15.根据权利要求12、13或14所述的智能产线监测方法，其特征在于，其中，(A)步骤执行前，该分类器子系统从该取像装置取得的至少一该被检物影像，为该取像装置基于AOI技术而过滤出的至少一异常被检物影像。
16.一种智能产线监测方法，其特征在于，一取像装置对一被检物进行取像，而获取至少一被检物影像后，可执行以下步骤：
（A）一分析群组影像步骤：一影像相关性分析模组对多张该被检物影像构成的一被检物群组影像进行分析，若多张该被检物影像之间存在差异，则该影像相关性分析模组从群组影像中比对出至少一差异图像特征，若多张该被检物影像之间不存在差异，则该影像相关性分析模组将该被检物群组影像转传至分类器子系统；
（B）一解析图像特征与作出分类决定步骤：若多张该被检物影像之间存在差异，则一分类器子系统读取一训练模组以解析该差异图像特征，并作出一分类决定；若多张该被检物影像之间不存在差异，则该分类器子系统读取该训练模组以解析该多张该被检物影像的图像特征，并作出该分类决定，该分类决定由该分类器子系统发送至一操作站主机，其中，该分类决定若被视为异常，则该分类决定包括一完整影像及具有至少一复判标记的一异常影像；
（C）一自动筛选标记步骤：如该复判标记为多个，则该分类器子系统筛选出可信度较低的该分类决定，再由该分类器子系统发送至该操作站主机；
（D）一输入复判操作步骤：该操作站主机的一标记模组输入关联于该异常影像的一复判操作，以更新该分类决定，并由该操作站主机发送至该训练子系统；以及
（E）一即时更新训练模组步骤：该训练子系统依据更新后的该分类决定，即时更新该训练模组、及连接于该训练模组的一标记资料库。
17.根据权利要求16所述的智能产线监测方法，其特征在于，其中，(D)步骤执行时，该标记模组也标记关联于该完整影像的一漏判标记，以输入一第二复判操作而生成取代该分类决定的一第二分类决定，并由该操作站主机发送至该训练子系统，其后，(E)步骤执行时，该训练子系统也依据该第二分类决定，即时更新该训练模组及该标记资料库。
18.根据权利要求16所述的智能产线监测方法，其特征在于，其中，(C)步骤执行时，该操作站主机显示与该分类决定形成高度相关的一历史分类决定，该历史分类决定包括具有至少一历史标记的一历史影像，并使一历史标记复判模组输入关联于该历史分类决定的一第三复判操作，以更新储存于该训练子系统的该历史分类决定。
19.根据权利要求16、17或18所述的智能产线监测方法，其特征在于，其中，(A)步骤执行前，该分类器子系统从该取像装置取得的至少一该被检物影像，为该取像装置基于AOI技术而过滤出的至少一异常被检物影像。
20.一种智能产线监测方法，其特征在于，一取像装置对一被检物进行取像，而获取至少一被检物影像后，可执行以下步骤：
（A）一解析图像特征与作出分类决定步骤：一分类器子系统读取一训练模组以解析该被检物影像的图像特征，并作出至少一分类决定以发送至一操作站主机，该分类决定若被视为异常，则该分类决定至少包括一异常影像；
（B）一撷取修补后影像与标记步骤：一第二取像装置对基于该异常影像而完成修补的该被检物进行取像，以取得至少一修补后被检物影像，并标记该被检物影像与该修补后被检物影像之间的至少一图像差异特征，并将该修补后被检物影像视为一非异常影像，并由该第二取像装置发送至该训练子系统；以及
（C）一即时更新训练模组步骤：该训练子系统依据被标记的该图像差异特征、以及该修补后被检物影像，即时更新该训练模组、及连接于该训练模组的一标记资料库。
21.根据权利要求20所述的智能产线监测方法，其特征在于，其中，(A)步骤执行前，该分类器子系统从该取像装置取得的至少一该被检物影像，为该取像装置基于AOI技术而过滤出的至少一异常被检物影像。
CN202110009665.9A 2020-01-13 2021-01-05 智能产线监测系统及监测方法 Pending CN113111903A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW109101082 2020-01-13
TW109101082A TWI707137B (zh) 2020-01-13 2020-01-13 智能產線監測系統及監測方法

Publications (1)

Publication Number Publication Date
CN113111903A true CN113111903A (zh) 2021-07-13

Family

ID=74103638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110009665.9A Pending CN113111903A (zh) 2020-01-13 2021-01-05 智能产线监测系统及监测方法

Country Status (6)

Country Link
US (1) US11947345B2 (zh)
JP (1) JP2021119341A (zh)
CN (1) CN113111903A (zh)
DE (1) DE102021100496A1 (zh)
SG (1) SG10202100377SA (zh)
TW (1) TWI707137B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI748685B (zh) * 2020-10-13 2021-12-01 中華電信股份有限公司 優化聯合物件偵測模型的方法及伺服器
CN115147329A (zh) * 2021-03-29 2022-10-04 北京小米移动软件有限公司 一种柔性面板的修复方法、装置、设备及存储介质
IT202100025502A1 (it) * 2021-10-07 2023-04-07 Innoida S R L Metodo di automatizzazione dei processi di controllo qualita’ in ambito manifatturiero
CN116165220B (zh) * 2023-04-25 2023-07-04 苏州鑫信腾科技有限公司 一种基于人工智能的aoi内观检测装置及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070019865A1 (en) * 2005-03-04 2007-01-25 Yuri Owechko Object recognition using a congnitive swarm vision framework with attention mechanisms
CN106203523A (zh) * 2016-07-17 2016-12-07 西安电子科技大学 基于梯度提升决策树半监督算法融合的高光谱图像分类
JP2019087078A (ja) * 2017-11-08 2019-06-06 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
CN110659662A (zh) * 2018-06-29 2020-01-07 由田新技股份有限公司 利用人工智能的瑕疵检测系统及其方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8116575B1 (en) * 2008-02-26 2012-02-14 Hrl Laboratories, Llc System for anomaly detection using sub-space analysis
US20160065306A1 (en) * 2014-09-02 2016-03-03 Chin Sheng Henry Chong System and method for green communication for intelligent mobile internet of things
US10937168B2 (en) * 2015-11-02 2021-03-02 Cognex Corporation System and method for finding and classifying lines in an image with a vision system
US10699926B2 (en) * 2017-08-30 2020-06-30 Kla-Tencor Corp. Identifying nuisances and defects of interest in defects detected on a wafer
EP3564846A1 (en) * 2018-04-30 2019-11-06 Merck Patent GmbH Methods and systems for automatic object recognition and authentication
TW202001795A (zh) * 2018-06-29 2020-01-01 由田新技股份有限公司 瑕疵分類標記系統及瑕疵分類標記方法
US20200005422A1 (en) * 2018-06-29 2020-01-02 Photogauge, Inc. System and method for using images for automatic visual inspection with machine learning
WO2021097486A1 (en) * 2019-11-12 2021-05-20 Bright Machines, Inc. Image analysis system for testing in manufacturing
EP4080406A4 (en) * 2019-12-20 2022-12-28 BOE Technology Group Co., Ltd. SYSTEM AND METHOD FOR DISTRIBUTED PRODUCT DEFECT ANALYSIS AND COMPUTER READABLE STORAGE MEDIA

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070019865A1 (en) * 2005-03-04 2007-01-25 Yuri Owechko Object recognition using a congnitive swarm vision framework with attention mechanisms
CN106203523A (zh) * 2016-07-17 2016-12-07 西安电子科技大学 基于梯度提升决策树半监督算法融合的高光谱图像分类
JP2019087078A (ja) * 2017-11-08 2019-06-06 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
CN110659662A (zh) * 2018-06-29 2020-01-07 由田新技股份有限公司 利用人工智能的瑕疵检测系统及其方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
INOUE, Y (INOUE, YOSHIAKI)等: "AoI Perspective on the Accuracy of Monitoring Systems for Continuous-Time Markovian Sources", 《 IEEE CONFERENCE ON COMPUTER COMMUNICATIONS WORKSHOPS (IEEE INFOCOM 2019 WKSHPS)》, 31 December 2019 (2019-12-31), pages 183 - 188 *
喻道远: "基于图像检测的钻针光学自动检测系统研究", 《中国优秀博硕士学位论文全文数据库 (硕士)信息科技辑》, no. 06, 15 June 2007 (2007-06-15), pages 140 - 315 *

Also Published As

Publication number Publication date
SG10202100377SA (en) 2021-08-30
US20210216062A1 (en) 2021-07-15
TW202127014A (zh) 2021-07-16
JP2021119341A (ja) 2021-08-12
US11947345B2 (en) 2024-04-02
TWI707137B (zh) 2020-10-11
DE102021100496A1 (de) 2021-08-12

Similar Documents

Publication Publication Date Title
US10878283B2 (en) Data generation apparatus, data generation method, and data generation program
CN109934814B (zh) 表面缺陷侦测系统及其方法
CN113111903A (zh) 智能产线监测系统及监测方法
US11449980B2 (en) System and method for combined automatic and manual inspection
CN112053318A (zh) 基于深度学习的二维pcb缺陷实时自动检测与分类装置
CN109946303A (zh) 检查装置和方法
KR20210008352A (ko) 촬상된 품목의 결함을 검출하기 위한 시스템 및 방법
Mahalingam et al. Pcb-metal: A pcb image dataset for advanced computer vision machine learning component analysis
TWI669519B (zh) 電路板瑕疵篩選方法及其裝置與電腦可讀取記錄媒體
CN111242899B (zh) 基于图像的瑕疵检测方法及计算机可读存储介质
US11315229B2 (en) Method for training defect detector
CN110533654A (zh) 零部件的异常检测方法及装置
CN112070762A (zh) 液晶面板的mura缺陷检测方法、装置、存储介质及终端
CN111178445A (zh) 图像处理方法及装置
US20220284699A1 (en) System and method of object detection using ai deep learning models
US11176419B1 (en) Method for labeling image
CN114226262A (zh) 瑕疵检测方法、瑕疵分类方法及其系统
CN111028250A (zh) 一种实时智能验布方法及系统
TWI755953B (zh) 自動檢測系統及其操作方法
KR20210106038A (ko) 딥러닝 기반의 ai 기술을 활용한 2차전지 분리막 자동 검사장치
CN111707677A (zh) 一种pcb外观检测方法及装置
CN117434068B (zh) 芯片检测方法及系统
CN110252686A (zh) 遥控器质量的确定方法及装置
JP2000121495A (ja) 画面検査方法
CN111724352B (zh) 一种基于核密度估计的贴片led瑕疵标注方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination