CN110715941A - 自动光学检测方法及应用其的自动光学检测系统 - Google Patents
自动光学检测方法及应用其的自动光学检测系统 Download PDFInfo
- Publication number
- CN110715941A CN110715941A CN201911031438.5A CN201911031438A CN110715941A CN 110715941 A CN110715941 A CN 110715941A CN 201911031438 A CN201911031438 A CN 201911031438A CN 110715941 A CN110715941 A CN 110715941A
- Authority
- CN
- China
- Prior art keywords
- defect
- image
- image belongs
- category
- belongs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 35
- 238000001514 detection method Methods 0.000 title abstract description 12
- 230000007547 defect Effects 0.000 claims abstract description 371
- 238000010801 machine learning Methods 0.000 claims abstract description 50
- 238000000034 method Methods 0.000 claims abstract description 45
- 239000010408 film Substances 0.000 claims abstract description 30
- 239000012788 optical film Substances 0.000 claims abstract description 21
- 238000005516 engineering process Methods 0.000 claims abstract description 9
- 238000007689 inspection Methods 0.000 claims description 25
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 239000012528 membrane Substances 0.000 claims description 5
- 238000012706 support-vector machine Methods 0.000 claims description 5
- 230000002950 deficient Effects 0.000 description 19
- XTXRWKRVRITETP-UHFFFAOYSA-N Vinyl acetate Chemical compound CC(=O)OC=C XTXRWKRVRITETP-UHFFFAOYSA-N 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003252 repetitive effect Effects 0.000 description 4
- 229920005989 resin Polymers 0.000 description 4
- 239000011347 resin Substances 0.000 description 4
- 229920002689 polyvinyl acetate Polymers 0.000 description 3
- 239000011118 polyvinyl acetate Substances 0.000 description 3
- 239000004372 Polyvinyl alcohol Substances 0.000 description 2
- 241000519995 Stachys sylvatica Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- FJKIXWOMBXYWOQ-UHFFFAOYSA-N ethenoxyethane Chemical compound CCOC=C FJKIXWOMBXYWOQ-UHFFFAOYSA-N 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 239000000178 monomer Substances 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- -1 polyvinyl acetate Chemical compound 0.000 description 2
- 229920002451 polyvinyl alcohol Polymers 0.000 description 2
- 230000001681 protective effect Effects 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- OVGRCEFMXPHEBL-UHFFFAOYSA-N 1-ethenoxypropane Chemical compound CCCOC=C OVGRCEFMXPHEBL-UHFFFAOYSA-N 0.000 description 1
- SMZOUWXMTYCWNB-UHFFFAOYSA-N 2-(2-methoxy-5-methylphenyl)ethanamine Chemical compound COC1=CC=C(C)C=C1CCN SMZOUWXMTYCWNB-UHFFFAOYSA-N 0.000 description 1
- NIXOWILDQLNWCW-UHFFFAOYSA-N 2-Propenoic acid Natural products OC(=O)C=C NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 1
- GNUGVECARVKIPH-UHFFFAOYSA-N 2-ethenoxypropane Chemical compound CC(C)OC=C GNUGVECARVKIPH-UHFFFAOYSA-N 0.000 description 1
- 239000010749 BS 2869 Class C1 Substances 0.000 description 1
- JIGUQPWFLRLWPJ-UHFFFAOYSA-N Ethyl acrylate Chemical compound CCOC(=O)C=C JIGUQPWFLRLWPJ-UHFFFAOYSA-N 0.000 description 1
- VQTUBCCKSQIDNK-UHFFFAOYSA-N Isobutene Chemical compound CC(C)=C VQTUBCCKSQIDNK-UHFFFAOYSA-N 0.000 description 1
- CERQOIWHTDAKMF-UHFFFAOYSA-N Methacrylic acid Chemical compound CC(=C)C(O)=O CERQOIWHTDAKMF-UHFFFAOYSA-N 0.000 description 1
- VVQNEPGJFQJSBK-UHFFFAOYSA-N Methyl methacrylate Chemical compound COC(=O)C(C)=C VVQNEPGJFQJSBK-UHFFFAOYSA-N 0.000 description 1
- QYKIQEUNHZKYBP-UHFFFAOYSA-N Vinyl ether Chemical class C=COC=C QYKIQEUNHZKYBP-UHFFFAOYSA-N 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 150000001336 alkenes Chemical class 0.000 description 1
- QHIWVLPBUQWDMQ-UHFFFAOYSA-N butyl prop-2-enoate;methyl 2-methylprop-2-enoate;prop-2-enoic acid Chemical compound OC(=O)C=C.COC(=O)C(C)=C.CCCCOC(=O)C=C QHIWVLPBUQWDMQ-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 150000001735 carboxylic acids Chemical class 0.000 description 1
- 239000001913 cellulose Substances 0.000 description 1
- 229920002678 cellulose Polymers 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 229920001577 copolymer Polymers 0.000 description 1
- 238000005388 cross polarization Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229920001519 homopolymer Polymers 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- XJRBAMWJDBPFIM-UHFFFAOYSA-N methyl vinyl ether Chemical compound COC=C XJRBAMWJDBPFIM-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- PNJWIWWMYCMZRO-UHFFFAOYSA-N pent‐4‐en‐2‐one Natural products CC(=O)CC=C PNJWIWWMYCMZRO-UHFFFAOYSA-N 0.000 description 1
- 229920000515 polycarbonate Polymers 0.000 description 1
- 239000004417 polycarbonate Substances 0.000 description 1
- 229920001225 polyester resin Polymers 0.000 description 1
- 229920005672 polyolefin resin Polymers 0.000 description 1
- PNXMTCDJUBJHQJ-UHFFFAOYSA-N propyl prop-2-enoate Chemical compound CCCOC(=O)C=C PNXMTCDJUBJHQJ-UHFFFAOYSA-N 0.000 description 1
- 230000003678 scratch resistant effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- BWYYYTVSBPRQCN-UHFFFAOYSA-M sodium;ethenesulfonate Chemical compound [Na+].[O-]S(=O)(=O)C=C BWYYYTVSBPRQCN-UHFFFAOYSA-M 0.000 description 1
- 238000012916 structural analysis Methods 0.000 description 1
- 150000003460 sulfonic acids Chemical class 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000007514 turning Methods 0.000 description 1
- NLVXSWCKKBEXTG-UHFFFAOYSA-N vinylsulfonic acid Chemical compound OS(=O)(=O)C=C NLVXSWCKKBEXTG-UHFFFAOYSA-N 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N2021/9511—Optical elements other than lenses, e.g. mirrors
Abstract
本发明公开了一种自动光学检测方法,包括以下步骤。首先,撷取光学膜片的膜片影像。然后,以特征分类技术,判断膜片影像的一缺陷影像所属的缺陷类别,其中所属缺陷类别包含至少一缺陷型。然后,以机器学习分类技术,判断缺陷影像所属的缺陷型。
Description
技术领域
本发明是有关于一种光学检测方法及应用其的光学检测系统,且特别是有关于一种自动光学检测方法及应用其的自动光学检测系统。
背景技术
光学膜片在形成后必须经过后续的品管,以剔除品质不合规定的劣质品。然而,大部分的品管都是用人工方式,如用肉眼观察以筛选出不合规定的劣质品。然而,以人工品检的方式容易造成误判。因此,如何提出一种新的自动光学检测技术以改善前述问题是本技术领域业者努力的方向之一。
发明内容
本发明有关于一种自动光学检测方法及应用其的自动光学检测系统,可改善前述现有问题。
本发明一实施例提出一种自动光学检测方法。自动光学检测方法包括以下步骤。a)撷取一光学膜片的一膜片影像;b)以一特征分类技术,判断膜片影像的一缺陷影像所属的缺陷类别,其中所属缺陷类别包含至少一缺陷型;以及,c)以一机器学习分类技术,判断缺陷影像所属的缺陷型。
本发明另一实施例提出一种自动光学检测系统。自动光学检测系统包括一摄像器、一特征分类器及一机器学习分类器。摄像器用以撷取一光学膜片的一膜片影像。特征分类器用以:以一特征分类技术,判断膜片影像的一缺陷影像所属的缺陷类别,其中所属缺陷类别包含至少一缺陷型。机器学习分类器用以:以一机器学习分类技术,判断缺陷影像所属的缺陷型。
为了对本发明的上述及其他方面有更佳的了解,下文特举实施例,并配合所附图式详细说明如下。
附图说明
图1绘示本发明一实施例的自动光学检测系统的功能方块图。
图2绘示图1的自动光学检测系统的自动光学检测方法的流程图。
图3绘示本发明实施例的缺陷类别及其缺陷型的示意图。
图4绘示依照本发明一实施例的白色缺陷类别的灰阶曲线图。
图5绘示图3的缺陷影像沿方向5-5’的灰阶曲线图。
图6绘示图3的凸起缺陷型的缺陷影像沿方向6-6’的灰阶曲线图。
其中,附图标记:
10:光学膜片
100:自动光学检测系统
110:摄像器
120:特征分类器
130:机器学习分类器
B1:白色缺陷类别
C1:缺陷类别
C11:点缺陷类别
C12:线缺陷类别
C13:其它缺陷类别
C14:凹陷缺陷类别
C15:凸起缺陷类别
M1:膜片影像
M11、M11’、M11”、M11”’、M11””:缺陷影像
SP、BS、SG、SC、LT、OT1、PR、GL、DT、FM、OT2:缺陷
S1、S2、S3:灰阶曲线
S110~S155:步骤
x、y:方向长度
W1:非白色缺陷类别
具体实施方式
以下结合附图和具体实施例对本发明进行详细描述,但不作为对本发明的限定。
请参照图1及图2,图1绘示本发明一实施例的自动光学检测系统100的功能方块图,而图2绘示图1的自动光学检测系统100的自动光学检测方法的流程图。
自动光学检测系统(Automated Optical Inspection,AOI)100包括摄像器110、特征分类器120及机器学习分类器130。特征分类器120及机器学习分类器130可以是采用半导体制程所形成的电路结构。在一实施例中,特征分类器120及机器学习分类器130可整合成单一元件,或整合至一处理器(未绘示)中,在此情况下,特征分类器120及机器学习分类器130可以是整合至电路的软件或固件。
摄像器110可撷取光学膜片10的膜片影像M1。光学膜片10例如是可为一单层或多层膜片,例如可为一偏光片、相位差膜、增亮膜或其他对光学的增益、配向、补偿、转向、直交、扩散、保护、防黏、耐刮、抗眩、反射抑制、高折射率等有所助益的膜片。在一实施例中,前述偏光片的至少一面附着有保护薄膜的偏光板、相位差薄膜等。偏光板可为聚乙烯醇(PVA)膜可藉由皂化聚醋酸乙烯树脂制得。聚醋酸乙烯树脂的例子包括醋酸乙烯的单聚合物,即聚醋酸乙烯,以及醋酸乙烯的共聚合物和其他能与醋酸乙烯进行共聚合的单体。其他能与醋酸乙烯进行共聚合的单体的例子包括不饱和羧酸(例如丙烯酸、甲基丙烯酸、丙烯酸乙酯、正丙烯酸丙酯、甲基丙烯酸甲酯)、烯烃(例如乙烯、丙烯、1-丁烯、2-甲丙烯)、乙烯醚(例如乙基乙烯醚、甲基乙烯醚、正丙基乙烯醚、异丙基乙烯醚)、不饱和磺酸(例如乙烯基磺酸、乙烯基磺酸钠)等等。保护薄膜的材料例如可选自纤维素系树脂、丙烯酸系树脂、非结晶性聚烯烃系树脂、聚酯系树脂、聚碳酸酯系树脂及其组合,但本发明实施例不限于这些薄膜。
特征分类器120可采用一特征分类技术,判断膜片影像M1的缺陷影像M11所属的缺陷类别,其中此所属缺陷类别C1(绘示于图3)包含至少一缺陷型。机器学习分类器130可采用机器学习(machine learning)分类技术,判断缺陷影像M11所属的缺陷型。换言之,特征分类器120判断出缺陷影像M11所属的缺陷类别,但此所属的缺陷类别可能包含数种缺陷型,而机器学习分类器130采用机器学习分类技术,进一步判断缺陷影像M11所属的缺陷型。
前述特征分类技术是通过摄像器撷取待测物的完整图像,此图像是由许多图元组成,每个图元都有一定的灰阶值(0~255)。因此,通过一定的数学、逻辑方法可对图元信息进行外观分析,结构分析及几何尺寸的计算,实现快速对待测物的各种检测。在一实施例中,特征分类技术例如是边缘检测法,而机器学习分类技术例如监督式学习,从给定的训练数据集中学习出一个函式,当新的数据到来时,可以根据这个函式预测结果。具体的机器学习分类技术如:深度神经网络(Deep Neural Networks,DNN)、支持向量机(SVM)、决策树(decision tree)、集(ensemble)、K邻近法(K-NN)、线性回归(linear regression)、贝氏机率、类神经网络(neural network)、罗吉斯回归、感知器(perceptron)或关联向量机(relevance vector machine,RVM)等演算法。一些实施例中例如是深度神经网络(DeepNeural Networks,DNN)或支持向量机(SVM)。特征分类技术具有运算速度快且技术成本低的优点,而机器学习分类技术具有识别正确率极高且能持续(在品检线上)修正机器学习模型以更提升识别正确率。
综上,本发明实施例的自动光学检测方法系采用二种分类技术进行光学膜片的缺陷分类。二种分类技术的特性互补(二种分类技术之一者的优点能弥补另一者的缺点),能使品检线上缺陷分类的整体识别正确率提高、整体运算速度增快且整体技术成本低等优点。
前述的缺陷类别C1可以通过特征学习技术在线外(off-line)预先进行学习,并建立一特征学习模型(未绘示),此特征学习模型可预设于特征分类器120中。前述缺陷类别C1的缺陷型可以通过机器学习技术,例如是监督式学习,在线外预先进行学习,并建立机器学习模型(未绘示),此机器学习模型可预设或预储存于机器学习分类器130中。在品检线(on-line)上,自动光学检测系统100依据特征学习模型及机器学习模型进行线上即时(realtime)地且快速地进行光学膜片10的缺陷(若有的话)判断及分类。此外,光学膜片10的缺陷例如是光学膜片10制程中的黏胶残留、裁切产生的切屑、膜本身杂质、由于经过滚轮而沾附的异物(如外来的颗粒或碎片)、由于触摸(如摩擦)而沾黏的异物等所造成的缺陷。此缺陷可能内埋于光学膜片10内或沾黏在光学膜片10的表面,而造成各种不同的缺陷外观(即各种如图3所示的缺陷影像)。
此外,缺陷可分成重复缺陷及非重复缺陷。重复缺陷例如是经过滚轮而产生的缺陷及触摸(如摩擦)而产生的缺陷;例如,重复缺陷包括刮痕、凹痕,印痕、直线、白点、斑点等。非重复缺陷例如是光学膜片10本身的缺陷(与滚轮及触摸无关),例如,由光学膜片10上的颗粒污染引起,并且不以预定间隔在光学膜片10上再现(即非规则性出现);例如,非重复性缺陷包括黑点、白点、刮痕、橘皮、气泡、片、膜表面或膜中的黑/棕色区域等。
以下是以图2的流程图进一步举例说明。
在步骤S110中,摄像器110撷取光学膜片10的膜片影像M1。
接下来,特征分类器120可采用特征分类技术,判断膜片影像M1的缺陷影像M11所属的缺陷类别C1,其中此所属缺陷类别C1包含至少一缺陷型。
以下先说明缺陷类别C1及其缺陷型的种类。举例来说,请同时参照图3,其绘示本发明实施例的缺陷类别C1及其缺陷型的示意图。缺陷类别C1包含点缺陷类别C11、线缺陷类别C12、其它缺陷类别C13、凹陷缺陷类别C14及凸起缺陷类别C15。
如图3所示,点缺陷类别C11例如包含至少一点缺陷型(属于前述缺陷型),如点缺陷型SP、点缺陷型BS及点缺陷型SG。线缺陷类别C12例如包含至少一线缺陷型(属于前述缺陷型),如线缺陷型SC及线缺陷型LT。其它缺陷类别C13例如包含至少一其它缺陷型(属于前述缺陷型),如其它缺陷型OT1。凹陷缺陷类别C14例如包含至少一凹陷缺陷型(属于前述缺陷型),如凹陷缺陷型PR及凹陷缺陷型GL。凸起缺陷类别C15例如包含至少一凸起缺陷型(属于前述缺陷型),如凸起缺陷型DT、凸起缺陷型FM及其它凸起缺陷型OT2。此外,点缺陷型、线缺陷型、其它缺陷型、凹陷缺陷型、凸起缺陷型的缺陷影像外观及/或缺陷型数量并不受本发明实施例及/或图式所限,其可以是不同缺陷外观及/或缺陷型数量。
此外,本文各缺陷类别的点缺陷型的缺陷影像皆经过二值化处理(例如把缺陷影像的各像素设定成二灰阶值之一者),光学膜片10的缺陷影像M11也同样由特征分类器120经过二值化处理后,特征分类器120再采用特征分类技术,判断膜片影像M1的缺陷影像M11所属的缺陷类别C1。
本发明实施例不限定缺陷类别C1的种类及/或数量,且也不限定各缺陷类别C1的缺陷型的种类及/或数量。在另一实施例中,缺陷类别C1可更包含其它种类的缺陷类别,而各缺陷类别C1可更包含其它种类的缺陷型。
此外,如图3所示,点缺陷类别C11、线缺陷类别C12及其它缺陷类别C13可归类为白色缺陷类别W1,而凹陷缺陷类别C14及凸起缺陷类别C15可归类为非白色缺陷类别B1,如黑色缺陷类别或灰色缺陷类别。
然后,在步骤S115中,特征分类器120判断膜片影像M1的缺陷影像M11是否属于白色缺陷类别W1。当膜片影像M1的缺陷影像M11属于白色缺陷类别W1,流程进入步骤S120;当膜片影像M1的缺陷影像M11属于非白色缺陷类别B1,流程进入步骤S140。
请参照图4,其绘示依照本发明一实施例的白色缺陷类别W1的灰阶曲线图。图4的灰阶曲线S1例如是图3的点缺陷型BS的缺陷影像M1’沿方向4-4’的灰阶曲线。灰阶曲线S1的往下突波表示点缺陷型BS的缺陷影像M1’的暗区。当特征分类器120所分析的缺陷影像M11的灰阶曲线包含如图4的灰阶曲线S1的往下突波(暗区)时,则特征分类器120判断缺陷影像M11属于非白色缺陷类别B1,流程进入步骤S140。反之,当特征分类器120所分析的缺陷影像M11的灰阶曲线不包含图4的灰阶曲线S1的往下突波(暗区)且仅包含往上突波(亮区)时,则特征分类器120判断缺陷影像M11属于白色缺陷类别W1,流程进入步骤S120。
此外,本文的灰阶曲线是在对缺陷影像进行二值化后,再对缺陷影像进行灰阶分析而产生。
在步骤S120中,特征分类器120判断缺陷影像M11是否属于点缺陷类别C11。以图3点缺陷型BS的缺陷影像M11’举例来说,缺陷影像M11’的第一方向长度x及第二方向长度y的比值接近1。当特征分类器120分析缺陷影像M11的第一方向长度x及第二方向长度y的比值接近1时,则判断缺陷影像M11属于点缺陷类别C11。前述第一方向长度x及第二方向长度y大致上垂直。
当缺陷影像M11属于点缺陷类别C11,则流程进入步骤S125。当缺陷影像M11非属于点缺陷类别C11,则流程进入步骤S130。
在步骤S125中,机器学习分类器130判断缺陷影像M11属于点缺陷类别C11的至少一缺陷型之何者。例如,特征分类器120判断缺陷影像M11属于点缺陷型SP、点缺陷型BS与点缺陷型SG之何者。其中,机器学习分类器130依据预设的机器学习模型判断缺陷影像M11属于点缺陷类别C11的至少一缺陷型之何者。
在步骤S130中,特征分类器120判断缺陷影像M11是否属于线缺陷类别C12。以图3所示的线缺陷型SC的缺陷影像M11”举例来说,缺陷影像M11”的第一方向长度x及第二方向长度y的比值大于1,如等于或大于2。当特征分类器120分析缺陷影像M11的第一方向长度x及第二方向长度y的比值等于或大于2时,则特征分类器120判断缺陷影像M11属于线缺陷类别C12。如图3的线缺陷型SC所示,第二方向长度y为缺陷影像M11”的长度。如图3的线缺陷型LT所示,第二方向长度y为缺陷影像(呈弯曲状)的延伸长度。
当缺陷影像M11属于线缺陷类别C12,则流程进入步骤S135。在步骤S135中,机器学习分类器130判断缺陷影像M11属于线缺陷类别C12的至少一缺陷型之何者。例如,机器学习分类器130判断缺陷影像M11属于线缺陷型SC与线缺陷型LT之何者。其中,机器学习分类器130依据预设的机器学习模型判断缺陷影像M11属于线缺陷类别C12的至少一缺陷型之何者。
在步骤130中,当缺陷影像M11不属于线缺陷类别C12,则特征分类器120判断判断缺陷影像M11属于其它缺陷类别C13。换言之,当缺陷影像M11既不属于点缺陷类别C11及线缺陷类别C12时,则特征分类器120判断缺陷影像M11属于其它缺陷类别C13。然后,机器学习分类器130判断缺陷影像M11属于其它缺陷类别C13的其它缺陷型OT1。其中,机器学习分类器130依据预设的机器学习模型判断缺陷影像M11属于其它缺陷类别C13的其它缺陷型OT1。
在步骤S115中,当膜片影像M1的缺陷影像M11属于非白色缺陷类别B1,流程进入步骤S140。
在步骤S140中,特征分类器120判断缺陷影像M11是否属于凹陷缺陷类别C14。以图3的凹陷缺陷型PR的缺陷影像M11”’举例来说,请同时参照图5,其绘示图3的缺陷影像M11”’沿方向5-5’的灰阶曲线图。图5的灰阶曲线S2的往上突波表示缺陷影像M11”’的亮区,而灰阶曲线S2的往下突波表示缺陷影像M11”’的暗区。当特征分类器120分析缺陷影像M11的灰阶曲线符合图5的灰阶曲线S2时,也就是一暗区接连一亮区显示时,则判断缺陷影像M11属于凹陷缺陷类别C14。在实施例中,若暗区(往下突波)与亮区(往上突波)之间的间隔H小于一预设距离(单位例如是像素或毫米),则判断为“暗区接连(或紧接)亮区”。在另一实施例中,若暗区(往下突波)与亮区(往上突波)之间的间隔H超过此预设距离,表示暗区与亮区分别表示二独立的缺陷。然本发明实施例不限定前述预设距离的数值,其可以是介于0.1毫米~10毫米之间的任一数值,然亦可小于0.1毫米,或大于10毫米。
当缺陷影像M11属于凹陷缺陷类别C14,则流程进入步骤S145。当缺陷影像M11非属于凹陷缺陷类别C14,则流程进入步骤S150。
在步骤S145中,机器学习分类器130判断缺陷影像M11属于凹陷缺陷类别C14的至少一缺陷型之何者。例如,机器学习分类器130判断缺陷影像M11属于凹陷缺陷型PR与凹陷缺陷型之何者。其中,机器学习分类器130依据预设的机器学习模型判断缺陷影像M11属于凹陷缺陷类别C14的至少一缺陷型之何者。
在步骤S150中,特征分类器120判断缺陷影像M11是否属于凸起缺陷类别C15。以图3的凸起缺陷型DT的缺陷影像M11””举例来说,请同时参照图6,其绘示图3的凸起缺陷型DT的缺陷影像M11””沿方向6-6’的灰阶曲线图。图6的灰阶曲线S3的往上突波表示凸起缺陷型DT的缺陷影像M11””的亮区,而灰阶曲线S3的往下突波表示凸起缺陷型DT的缺陷影像M11””的暗区。当特征分类器120分析缺陷影像M11的灰阶曲线符合图6的灰阶曲线S3时,也就是一亮区接连一暗区显示时,则判断缺陷影像M11属于凸起缺陷类别C15。在实施例中,若暗区(往下突波)与亮区(往上突波)之间的间隔H(未绘示)小于一预设距离(单位例如是像素或毫米),则判断为“暗区接连(或紧接)亮区”。在另一实施例中,若暗区(往下突波)与亮区(往上突波)之间的间隔H超过此预设距离,表示暗区与亮区分别表示二独立的缺陷。
当缺陷影像M11属于凸起缺陷类别C15,则流程进入步骤S155。
在步骤S155中,机器学习分类器130判断缺陷影像M11属于凸起缺陷类别C15的至少一缺陷型之何者。例如,机器学习分类器130判断缺陷影像M11属于凸起缺陷型DT、凸起缺陷型FM与凸起缺陷型OT2之何者。其中,机器学习分类器130系依据预设的机器学习模型判断缺陷影像M11属于凸起缺陷类别C15的至少一缺陷型之何者。
综上所述,虽然本发明已以实施例揭露如上,然其并非用以限定本发明。本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰。因此,本发明的保护范围当视后附的申请专利范围所界定者为准。
Claims (18)
1.一种用于检测光学膜片缺陷的自动光学检测方法,其特征在于,包括以下步骤:
a)撷取一光学膜片的一膜片影像;
b)以一特征分类技术,判断该膜片影像的一缺陷影像所属的缺陷类别,其中该所属的缺陷类别包含至少一缺陷型;以及
c)以一机器学习分类技术,判断该缺陷影像所属的该缺陷型。
2.如权利要求1所述的自动光学检测方法,其特征在于,以该特征分类技术判断该膜片影像的该缺陷影像所属的缺陷类别的步骤包括:
判断该膜片影像的该缺陷影像是否属于一白色缺陷类别;以及
当该膜片影像的该缺陷影像属于该白色缺陷类,判断该缺陷影像是否属于一点缺陷类别,该点缺陷类别包含至少一点缺陷型;
在判断该缺陷影像所属的该缺陷型的步骤中,当该缺陷影像属于该点缺陷类别,判断该缺陷影像属于该点缺陷类别的该至少一点缺陷型之何者。
3.如权利要求2所述的自动光学检测方法,其特征在于,更包括:
当该缺陷影像非属于该点缺陷类别,判断该缺陷影像是否属于一线缺陷类别,该线缺陷类别包括至少一线缺陷型;
在判断该缺陷影像所属的该缺陷型的步骤中,当该缺陷影像属于该线缺陷类别,判断该缺陷影像属于该线缺陷类别的该至少一线缺陷型之何者。
4.如权利要求2所述的自动光学检测方法,其特征在于,更包括:
当该膜片影像的该缺陷影像属于一非白色缺陷类别,判断该缺陷影像是否属于一凹陷缺陷类别,该凹陷缺陷类别包括至少一凹陷缺陷;
在判断该缺陷影像属于该至少一缺陷型之何者的步骤中,当该缺陷影像属于该凹陷缺陷类别,判断该缺陷影像属于该至少一凹陷缺陷之何者。
5.如权利要求4所述的自动光学检测方法,其特征在于,更包括:
当该缺陷影像非属于该凹陷缺陷类别,判断该缺陷影像属于一凸起缺陷类别,该凸起缺陷类别包括至少一凸起缺陷型;
在判断该缺陷影像属于该至少一缺陷型之何者的步骤中,当该缺陷影像属于该凸起缺陷类别,判断该缺陷影像属于该至少一凸起缺陷型之何者。
6.如权利要求5所述的自动光学检测方法,其特征在于,该缺陷影像包含一灰阶曲线图;且当该灰阶曲线图显示为一暗区接连一亮区时,则该特征分类器判断该缺陷影像属于凹缺陷类别,或当该灰阶曲线图显示为一亮区接连一暗区时,则该特征分类器判断该缺陷影像属于凸缺陷类别。
7.如权利要求2所述的自动光学检测方法,其特征在于,在判断该膜片影像的该缺陷影像是否属于该白色缺陷类别的步骤包括:
判断该膜片影像的该缺陷影像是否包含一暗区;以及
当该膜片影像的该缺陷影像包含该暗区,则判断该缺陷影像属于该非白色缺陷类别。
8.如权利要求1所述的自动光学检测方法,其特征在于,该缺陷类别包括点缺陷类别、线缺陷类别、其他缺陷类别、凹陷缺陷类别及凸起缺陷类别。
9.如权利要求1所述的自动光学检测方法,其特征在于,以该机器学习分类技术为监督式学习。
10.如权利要求1所述的自动光学检测方法,其特征在于,以该机器学习分类技术为深度神经网络或支持向量机。
11.如权利要求1所述的自动光学检测方法,其特征在于,当该缺陷影像的一第一方向长度以及一第二方向长度的比值接近1,且该第一方向长度与该第二方向长度垂直,该特征分类器判断该缺陷影像属于点缺陷类别;或其中当该缺陷影像的一第一方向长度以及一第二方向长度的比值大于1,该特征分类器判断该缺陷影像属于线缺陷类别。
12.一种用于检测光学膜片缺陷的自动光学检测系统,其特征在于,包括:
一摄像器,用以撷取一光学膜片的一膜片影像;
一特征分类器,用以:以一特征分类技术,判断该膜片影像的一缺陷影像所属的缺陷类别,其中该所属的缺陷类别包含至少一缺陷型;
一机器学习分类器,用以:以一机器学习分类技术,判断该缺陷影像所属的该缺陷型。
13.如权利要求12所述的自动光学检测系统,其特征在于,该特征分类器更用以:
判断该膜片影像的该缺陷影像是否属于一白色缺陷类别;以及
当该膜片影像的该缺陷影像属于该白色缺陷类,判断该缺陷影像是否属于一点缺陷类别,该点缺陷类别包含至少一点缺陷型;
其中,该机器学习分类器更用以:当该缺陷影像属于该点缺陷类别,判断该缺陷影像属于该点缺陷类别的该至少一点缺陷型之何者。
14.如权利要求13所述的自动光学检测系统,其特征在于,该特征分类器更用以:
当该缺陷影像非属于该点缺陷类别,判断该缺陷影像是否属于一线缺陷类别,该线缺陷类别包括至少一线缺陷型;
其中,该机器学习分类器更用以:当该缺陷影像属于该线缺陷类别,判断该缺陷影像属于该线缺陷类别的该至少一线缺陷型之何者。
15.如权利要求13所述的自动光学检测系统,其特征在于,该特征分类器更用以:
当该膜片影像的该缺陷影像属于一非白色缺陷类别,判断该缺陷影像是否属于一凹陷缺陷类别,该凹陷缺陷类别包括至少一凹陷缺陷;
其中,该机器学习分类器更用以:当该缺陷影像属于该凹陷缺陷类别,判断该缺陷影像属于该至少一凹陷缺陷之何者。
16.如权利要求13所述的自动光学检测系统,其特征在于,该特征分类器更用以:
当该缺陷影像非属于该凹陷缺陷类别,判断该缺陷影像属于一凸起缺陷类别,该凸起缺陷类别包括至少一凸起缺陷型;
其中,该机器学习分类器更用以:当该缺陷影像属于该凸起缺陷类别,判断该缺陷影像属于该至少一凸起缺陷型之何者。
17.如权利要求13所述的自动光学检测方法,其特征在于,该特征分类器更用以:
判断该膜片影像的该缺陷影像是否包含一暗区;以及
当该膜片影像的该缺陷影像包含该暗区,则判断该缺陷影像属于该非白色缺陷类别。
18.如权利要求12所述的自动光学检测方法,其特征在于,该缺陷类别包括点缺陷类别、线缺陷类别、其他缺陷类别、凹陷缺陷类别及凸起缺陷类别。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW107143896A TWI714923B (zh) | 2018-12-06 | 2018-12-06 | 自動光學檢測方法及應用其之自動光學檢測系統 |
TW107143896 | 2018-12-06 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110715941A true CN110715941A (zh) | 2020-01-21 |
CN110715941B CN110715941B (zh) | 2022-04-29 |
Family
ID=69214387
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911031438.5A Active CN110715941B (zh) | 2018-12-06 | 2019-10-28 | 自动光学检测方法及应用其的自动光学检测系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110715941B (zh) |
TW (1) | TWI714923B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113139520A (zh) * | 2021-05-14 | 2021-07-20 | 杭州旭颜科技有限公司 | 用于工业互联网的设备膜片性能监测方法 |
TWI787630B (zh) * | 2020-07-03 | 2022-12-21 | 兆米智慧檢測股份有限公司 | 基於人工智能的瑕疵檢測方法及其光學檢測系統 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI745129B (zh) * | 2020-10-20 | 2021-11-01 | 住華科技股份有限公司 | 光學膜偵測系統及應用其之光學膜偵測方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103759644A (zh) * | 2014-01-23 | 2014-04-30 | 广州市光机电技术研究院 | 一种滤光片表面缺陷的分离细化智能检测方法 |
CN104008550A (zh) * | 2014-06-05 | 2014-08-27 | 深圳市大族激光科技股份有限公司 | 晶圆表面缺陷特征分析方法、系统、分类方法和系统 |
US20150098655A1 (en) * | 2013-10-08 | 2015-04-09 | National Tsing Hua University | Method of Defect Image Classification through Integrating Image Analysis and Data Mining |
CN107992900A (zh) * | 2017-12-18 | 2018-05-04 | 深圳市盛波光电科技有限公司 | 缺陷检测的样本获取方法、训练方法、装置、介质和设备 |
CN108287165A (zh) * | 2017-11-24 | 2018-07-17 | 住华科技股份有限公司 | 缺陷检查方法及缺陷检测系统 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013160629A (ja) * | 2012-02-06 | 2013-08-19 | Hitachi High-Technologies Corp | 欠陥検査方法、欠陥検査装置、プログラムおよび出力部 |
KR20140148067A (ko) * | 2013-06-21 | 2014-12-31 | 동우 화인켐 주식회사 | 광학 필름의 결함 판별 방법 |
-
2018
- 2018-12-06 TW TW107143896A patent/TWI714923B/zh active
-
2019
- 2019-10-28 CN CN201911031438.5A patent/CN110715941B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150098655A1 (en) * | 2013-10-08 | 2015-04-09 | National Tsing Hua University | Method of Defect Image Classification through Integrating Image Analysis and Data Mining |
CN103759644A (zh) * | 2014-01-23 | 2014-04-30 | 广州市光机电技术研究院 | 一种滤光片表面缺陷的分离细化智能检测方法 |
CN104008550A (zh) * | 2014-06-05 | 2014-08-27 | 深圳市大族激光科技股份有限公司 | 晶圆表面缺陷特征分析方法、系统、分类方法和系统 |
CN108287165A (zh) * | 2017-11-24 | 2018-07-17 | 住华科技股份有限公司 | 缺陷检查方法及缺陷检测系统 |
CN107992900A (zh) * | 2017-12-18 | 2018-05-04 | 深圳市盛波光电科技有限公司 | 缺陷检测的样本获取方法、训练方法、装置、介质和设备 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI787630B (zh) * | 2020-07-03 | 2022-12-21 | 兆米智慧檢測股份有限公司 | 基於人工智能的瑕疵檢測方法及其光學檢測系統 |
CN113139520A (zh) * | 2021-05-14 | 2021-07-20 | 杭州旭颜科技有限公司 | 用于工业互联网的设备膜片性能监测方法 |
CN113139520B (zh) * | 2021-05-14 | 2022-07-29 | 江苏中天互联科技有限公司 | 用于工业互联网的设备膜片性能监测方法 |
Also Published As
Publication number | Publication date |
---|---|
TWI714923B (zh) | 2021-01-01 |
TW202022355A (zh) | 2020-06-16 |
CN110715941B (zh) | 2022-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110715941B (zh) | 自动光学检测方法及应用其的自动光学检测系统 | |
CN115082683B (zh) | 一种基于图像处理的注塑缺陷检测方法 | |
US20200364906A1 (en) | Image Inspection Apparatus | |
CN110473179B (zh) | 一种基于深度学习的薄膜表面缺陷检测方法、系统及设备 | |
CN111311542A (zh) | 一种产品质量检测方法及装置 | |
CN102305798A (zh) | 基于机器视觉的玻璃缺陷的检测与分类方法 | |
KR101477665B1 (ko) | 불균일한 텍스쳐 표면의 불량 검출방법 | |
CN103759644B (zh) | 一种滤光片表面缺陷的分离细化智能检测方法 | |
US11367225B2 (en) | Image inspection apparatus | |
CN113177924A (zh) | 一种工业流水线产品瑕疵检测方法 | |
KR20150047100A (ko) | 투명체 검사 방법 및 투명체 검사 장치 | |
CN111665251A (zh) | 一种表面缺陷视觉检测方法 | |
US20230011569A1 (en) | Method and apparatus for detecting defect, device, and storage medium | |
CN112070762A (zh) | 液晶面板的mura缺陷检测方法、装置、存储介质及终端 | |
CN112819844A (zh) | 一种图像边缘检测方法及装置 | |
CN113610843B (zh) | 一种光纤编织层的实时缺陷识别系统及其方法 | |
CN111426693A (zh) | 一种质量缺陷检测系统及其检测方法 | |
CN114998217A (zh) | 确定玻璃基板缺陷等级的方法、计算机设备及存储介质 | |
CN110782183A (zh) | 一种基于Faster R-CNN的铝材缺陷检测方法 | |
CN114359155A (zh) | 一种覆膜方法及系统 | |
Agrawal | Glass defect detection techniques using digital image processing–a review | |
Kuo et al. | Automated inspection of micro-defect recognition system for color filter | |
CN110516725A (zh) | 基于机器视觉的木板条纹间距和颜色的检测方法 | |
CN112907510B (zh) | 一种表面缺陷检测方法 | |
CN111709932B (zh) | 一种由粗到精的纸病检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |