CN113138198A - 电子元件的瑕疵影像生成系统及方法 - Google Patents
电子元件的瑕疵影像生成系统及方法 Download PDFInfo
- Publication number
- CN113138198A CN113138198A CN202110458192.0A CN202110458192A CN113138198A CN 113138198 A CN113138198 A CN 113138198A CN 202110458192 A CN202110458192 A CN 202110458192A CN 113138198 A CN113138198 A CN 113138198A
- Authority
- CN
- China
- Prior art keywords
- image
- defect
- electronic device
- images
- normal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000007547 defect Effects 0.000 title claims description 215
- 230000002950 deficient Effects 0.000 claims description 76
- 238000012545 processing Methods 0.000 claims description 41
- 238000004519 manufacturing process Methods 0.000 claims description 19
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 26
- 238000012549 training Methods 0.000 abstract description 7
- 238000001514 detection method Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000013145 classification model Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 230000003321 amplification Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003199 nucleic acid amplification method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000005476 soldering Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种电子元件的瑕疵影像生成系统及方法,所述系统及方法为取得电子元件的第一瑕疵影像并且检测其目标瑕疵部位,并且获取瑕疵部位影像,再对瑕疵部位影像获取瑕疵特征影像,再以瑕疵特征影像与正常的电子元件影像对应的位置进行影像重叠得出假影像,且以人工智能的生成对抗网络分析比对假影像,生成足够数量且近似真实的第二瑕疵影像,通过数量足够且近似真实的第二瑕疵影像提供给人工智能的分类判断模型,让人工智能的分类判断模型具有足够的数据进行训练、学习及分析判断。
Description
技术领域
本发明涉及一种产生拟真瑕疵影像,特别是涉及一种电子元件的瑕疵影像生成系统及方法。
背景技术
随着工业技术的升级,智能制造成为当前热门的发展趋势,智能制造让工厂提升生产质量及生产效率外,同时也能节省人力成本上的开销。目前智能制造的主要技术是通过大数据分析、深度学习及人工智能(非监督式学习、监督式学习、半监督式学习、半监督式自我学习及强化学习等),让生产机器更具备人类的思考逻辑与行为模式。然而这些技术并非仅拥有机器设备及强化人工智能算法开发能力就能运用在各个工厂的设备上,人工智能算法必须仰赖机器设备提供长期大量且有意义的数据或影像数据才有办法让机器设备更具备人类智慧,即机器设备人工智能化。
在表面粘着技术(SMT,Surface Mount Technology)工艺中,自动光学检测(AOI,Automated Optical Inspection)扮演着检测电子元件良率的核心角色,其检测能力都能达到相当高的水平。由于电子元件制造良率不断提高或少有不良的情况,有瑕疵电子元件的不良影像是难以取得的,因此造成深度学习及人工智能在建立分类模型上能否在短时间内收集足够数量的不良数据或影像成为一大难题。
目前现有的方法,在仅能获取少量训练数据的情况,并随着长时间收集不良数据的方式,来逐步强化人工智能模型的识别能力。但这样的方式,很难在短时间内以人工智能模型的判断获得提升生产质量及生产效率的有益信息,甚至因此中途放弃采用人工智能的方案。此外,SMT工艺产线也并非长期只生产特定电子元件产品,工艺产线变更而适用于不同的产品时,造成必须重新收集新产品的不良影像数据而产生的耗时、耗工问题。
发明内容
有鉴于现有技术所提出的问题,予以解决针对人工智能分类判断模型在分类学习上仰赖大量且有意义的数据,尤其是针对解决电子元件瑕疵影像的分类判断而无法取得足够瑕疵影像的问题。根据本发明的一实施例,提出了一种电子元件的瑕疵影像生成系统,接收该电子元件的至少一第一瑕疵影像,并根据该至少一第一瑕疵影像生成该电子元件近似真实的至少一第二瑕疵影像,所述系统包括:一影像处理单元,接收该电子元件的该第一瑕疵影像,该影像处理单元对该第一瑕疵影像进行影像处理,该影像处理单元包括对该第一瑕疵影像进行检测产生对应该电子元件的一目标瑕疵部位,进而获取该目标瑕疵部位对应的一瑕疵部位影像,再对该瑕疵部位影像进行一瑕疵特征影像的获取,再将该瑕疵特征影像与一正常的该电子元件影像对应的位置进行影像重叠,予以生成具备该瑕疵特征影像的一假影像;一生成式对抗网络单元,接收具备该瑕疵特征影像的该假影像并与正常的该电子元件影像进行分析比对,生成近似真实的该第二瑕疵影像。
根据本发明的再一个实施例,提出了一种电子元件的瑕疵影像生成方法,接收该电子元件的至少一第一瑕疵影像,并根据该至少一第一瑕疵影像生成该电子元件近似真实的至少一第二瑕疵影像,所述方法包括:对该第一瑕疵影像进行检测产生对应该电子元件的一目标瑕疵部位。
进而获取该目标瑕疵部位对应的一瑕疵部位影像;再对该瑕疵部位影像进行一瑕疵特征影像的获取;再将该瑕疵特征影像与一正常的该电子元件影像对应的位置进行影像重叠,予以生成具备该瑕疵特征影像的一假影像;利用生成式对抗网络技术使具备该瑕疵特征影像的该假影像与正常的该电子元件影像进行分析比对,生成近似真实的该第二瑕疵影像。
【本发明的技术效果】
本发明收集表面粘着工艺的自动光学检测机台所检测的一或少量瑕疵影像数据进行影像处理,并通过生成对抗的类神经网络的模型来生成各种近似真实的瑕疵影像数据。
本发明进而是利用自动光学检测机台所检测出的一或少量不良的电子元件具有瑕疵的影像进行影像处理的方式,结合人工智能的模型来生成大量近似真实的不良瑕疵影像数据,这样就可避免需要长时间收集不良瑕疵影像数据所造成耗时、耗工等不可预期的问题。
本发明将一或少量的不良瑕疵影像数据通过影像处理及人工智能生成模型的建立来生成各式各样且近似真实的不良瑕疵影像数据。因此对于本发明所产生的大量近似真实的不良瑕疵影像数据进而运用于人工智能分类模型的建立上,就能建立具有足够识别能力的模型。故对于智能制造这个领域上,能够在短时间内获得足够且近似真实的瑕疵影像数据,对于用在生产制造效益的分类识别分析模型,就能够快速建立并运用。
为了能更进一步了解本发明为实现既定目的所采取的技术、方法及技术效果,请参阅以下有关本发明的详细说明、附图,相信本发明的目的、特征与特点,当可由此得以深入且具体的了解,然而说明书附图仅提供参考与说明用,并非用来对本发明加以限制者。
附图说明
图1呈现本发明一实施例所示出电子元件的瑕疵影像生成系统应用于人工智能分类判断模型的架构方框图。
图2呈现本发明一实施例所示出电子元件的瑕疵影像生成系统的架构方框图。
图3呈现本发明一实施例所示出电子元件瑕疵影像照片。
图4呈现本发明一实施例所示出检测电子元件瑕疵影像标注目标瑕疵部位的照片。
图5呈现本发明一实施例所示出获取电子元件瑕疵部位影像的照片。
图6呈现本发明一实施例所示出获取电子元件多个瑕疵部位影像及多个电子元件正常影像的照片。
图7呈现本发明一实施例所示出对电子元件瑕疵部位影像获取瑕疵特征影像的照片。
图8呈现本发明一实施例所示出将单一瑕疵特征影像与单一正常电子元件影像对应的位置进行影像重叠的示意及照片。
图9呈现本发明一实施例所示出将多个瑕疵特征影像与多个正常电子元件影像对应的位置进行影像重叠的示意及照片。
图10呈现本发明一实施例所示出电子元件的瑕疵影像生成方法流程。
具体实施方式
以下是通过特定的具体实施例来说明本发明所公开有关“电子元件的瑕疵影像生成系统及方法”的实施方式,本领域技术人员可由本说明书所公开的内容了解本发明的优点与效果。本发明可通过其他不同的具体实施例加以施行或应用,本说明书中的各项细节也可基于不同观点与应用,在不悖离本发明的构思下进行各种修改与变更。另外,本发明的附图仅为简单示意说明,并非依实际尺寸的描绘,如照片也仅是示例性的显示,事先声明。以下的实施方式将进一步详细说明本发明的相关技术内容,但所公开的内容并非用以限制本发明的保护范围。
为了更清楚的说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域通常知识及普通技能技术人员来说,在不付出过多努力的前提下,还可以根据这些附图获得其它的附图。
说明书公开一种电子元件的瑕疵影像生成系统或方法,所述系统或方法是为了让后端的人工智能的分类判断模型具有足够的数据进行训练、学习及快速建立分类判断模型,具有足够能力后进行分析判断,以快速的应用于工艺产在线。仅用一或少许的电子元件含有瑕疵的影像,从中获取一个以上的瑕疵影像特征,并与正常的电子元件影像对应的部位进行影像重叠而产生出大量近似真实的电子元件瑕疵影像,就可弥补无法取得大量电子元件瑕疵影像的问题,让人工智能的分类判断模型可以快速建立足够的分析判断能力,以迅速适用于各种电子元件的产线工艺上进行分析判断。
请参阅图1及图2,图1呈现本发明一实施例所示出电子元件的瑕疵影像生成系统应用于人工智能分类判断模型的架构方框图,以及图2呈现本发明一实施例所示出电子元件的瑕疵影像生成系统的架构方框图。
图1及图2所示,本发明提供一种电子元件的瑕疵影像生成系统1,接收电子元件的一或少量第一电子元件瑕疵影像100,即第一瑕疵影像,并根据第一瑕疵影像生成电子元件近似真实的一或多个或大量的第二瑕疵影像。因此本发明可以产生近似真实且一定数量的电子元件瑕疵影像200,于人工智能分类判断模型在进行模型训练时,会输入两种类型的影像数据,其一为一定数量的电子元件瑕疵影像200,其二为正常影像300,一种是电子元件具有异常特征的影像图片,另一种则是无异常特征的影像图片,以利用这两种类型的大量图片对人工智能分类判断模型400例如是卷积网络模型进行学习训练,以快速建立经过训练而可检测、分类及判断用的卷积网络模型,使卷积网络模型可以自动判断出有异常特征的电子元件瑕疵影像,让人工智能分类判断具有足够的分析判断能力,提高检测判断的准确性,以得出有效益的输出结果500,例如判断电子元件的瑕疵特征是否为氧化、电气短路、焊接不良或磁路破损等。
在一实施例中,一定数量的电子元件瑕疵影像200是为足够的电子元件瑕疵影像,例如至少有三百张的电子元件瑕疵影像,每一张瑕疵影像都有单一瑕疵特征。
以下则继续针对本发明电子元件的瑕疵影像生成系统生成大量近似真实的电子元件瑕疵影像进一步的细节说明。因此,所述系统1包括但不限于:一影像处理单元11和一生成式对抗网络单元12(Generative AdversarialNetwork,GAN)。
配合图3,图3呈现本发明一实施例所示出电子元件瑕疵影像照片。
当以自动光学检测机台600检测判断电子元件是否具有瑕疵,例如电子元件外观瑕疵检测,并配合瑕疵分类与复判作业站700的作业而得出一或少量不良的第一电子元件瑕疵影像100以及正常电子元件影像。
在一实施例中,第一电子元件瑕疵影像100可以例如为电子元件于SMT工艺中所产生具有一个或多个瑕疵部位的瑕疵影像,进一步的,电子元件例如是具有针(Pin)脚的集成电路组件或是电感、电容组件等,例如图3中所示电感组件瑕疵影像101。因此第一电子元件瑕疵影像100可以例如是具有针脚的集成电路组件瑕疵影像或电感、电容瑕疵影像等。
在一实施例中,第一电子元件瑕疵影像100输入于系统1的数量可以最少为一笔影像数据或多笔影像数据,多笔影像数据可以是至少十笔影像数据,但均不以此为限制。
配合图4、图5、图6,图4呈现本发明一实施例所示出检测电子元件瑕疵影像标注目标瑕疵部位的照片。图5呈现本发明一实施例所示出获取电子元件瑕疵部位影像的照片。图6呈现本发明一实施例所示出获取电子元件多个瑕疵部位影像及多个电子元件正常影像的照片。
因此当系统1接收至少一不良的第一电子元件瑕疵影像100后,影像处理单元11接收第一电子元件瑕疵影像100,即第一瑕疵影像,影像处理单元11对第一电子元件瑕疵影像100进行影像处理,影像处理单元11包括对第一电子元件瑕疵影像100进行检测产生对应电子元件的一目标瑕疵部位1021。
在一实施例中,影像处理单元11对第一电子元件瑕疵影像100所进行的检测例如标注多个瑕疵部位所在的位置及大小,本实施例示例标注一个或多个瑕疵部位。
在一实施例中,影像处理单元11也可对第一电子元件瑕疵影像100进行检测,还进一步包括产生对应电子元件连续或不连续的多个正常的电子元件部位1022,以及影像处理单元11获取多个正常的电子元件部位1022对应的多个电子元件正常影像1041、1042。
在一实施例中,第一电子元件瑕疵影像100可以分割成多个影像进行影像处理(如图4),但不以此为限制。
当标注目标瑕疵部位1021后,进而获取目标瑕疵部位1021对应的一瑕疵部位影像103(如图5)。
在一实施例中,影像处理单元11获取瑕疵部位影像103可以是通过区域裁剪的影像获取处理。
在一实施例中,影像处理单元11也可对第一电子元件瑕疵影像100进行检测产生对应电子元件连续或不连续的多个目标瑕疵部位1021(图4),影像处理单元11获取多个目标瑕疵部位1021对应的多个瑕疵部位影像1031、1032、1033、1034(图6)。
配合图6、图7及图8,图7呈现本发明一实施例所示出对电子元件瑕疵部位影像获取瑕疵特征影像的照片。图8呈现本发明一实施例所示出将单一瑕疵特征影像与单一正常电子元件影像对应的位置进行影像重叠的示意及照片。
因此,影像处理以获取单一瑕疵部位影像103的情况,对瑕疵部位影像103进行一瑕疵特征影像105的获取,再将瑕疵特征影像105与一电子元件正常影像1041对应的位置进行影像重叠(图8),予以生成具备该瑕疵特征影像105的一假影像106。
进而,生成式对抗网络单元12接收具备该瑕疵特征影像105的假影像106并与电子元件正常影像1041、1042进行分析比对,生成足够且近似真实的电子元件瑕疵影像数据,即第二瑕疵影像。当足够且近似真实的电子元件瑕疵影像数据提供给人工智能的分类判断模型(AI Classification Model),让人工智能的分类判断模型具有足够的瑕疵影像数据与无异常特征的电子元件正常影像1041、1042进行比较、训练、学习,让人工智能的分类判断模型就能够快速建立类神经网络的功能,可快速适用于不同电子元件产品的工艺产在线进行运用,例如对电子元件良率的分析及判断应用。其中生成式对抗网络单元12的分析比对训练方式是以假影像106与欲训练的影像数据进行比对,予以生成接近真实的电子元件瑕疵影像数据。
在一实施例中,电子元件正常影像1041、1042也可以不是系统1所产生,而可以例如是原先内建于系统1内的电子元件正常影像数据。
在一实施例中,继续参阅图2、图6及图9,图9呈现本发明一实施例所示出将多个瑕疵特征影像与多个正常电子元件影像对应的位置进行影像重叠的示意及照片。
影像处理单元11对个别瑕疵部位影像1031、1032、1033、1034进行瑕疵特征影像1051、1052、1053、1054的获取,予以产生多个瑕疵特征影像1051、1052、1053、1054,该影像处理单元11将多个瑕疵特征影像1051、1052、1053、1054以随机的形式例如随意的黏贴顺序和随意黏贴角度,与多个电子元件正常影像1041、1042对应的位置进行影像重叠,予以生成多个假影像107、108。其中,瑕疵特征影像1051、1052、1053、1054与多个电子元件正常影像1041、1042影像重叠对应的位置大致上相符或完全符合都可以,所以影像重叠而所生成的假影像生成灵活度就非常高。
在一实施例中,参阅图2、图4、图6,影像处理单元11获取多个瑕疵部位影像1031、1032、1033、1034以及多个电子元件正常影像1041、1042后,分类多个瑕疵部位影像1031、1032、1033、1034为相同或近似的瑕疵影像群,或分类多个电子元件正常影像1041、1042为非瑕疵影像群,借此在影像处理的过程中清楚分类瑕疵影像与非瑕疵影像。
在一实施例中,参阅图8、图9,对假影像106、107、108进行影像扩增、模糊、旋转、翻转的其中之一或任意组合的影像调整,可以产生更多数量的假影像,经由生成对抗网络进而产生更多近似真实的电子元件瑕疵影像。
在一实施例中,多个瑕疵特征影像1051、1052、1053、1054与多个电子元件正常影像1041、1042对应的位置所进行的影像重叠,并不一定每个瑕疵特征影像1051、1052、1053、1054都要使用,而可以选择其中部分例如两个瑕疵特征影像1051、1052来与多个电子元件正常影像1041、1042进行影像重叠。
在一实施例中,如图7,瑕疵部位影像103为电子元件具有一个瑕疵部位的瑕疵影像,瑕疵特征影像105为瑕疵部位影像103的局部瑕疵影像,但以上均不为限制。
在一实施例中,如图2所示,影像处理单元11进一步包括以一影像物件检测单元111(Object Detection)、一影像物件获取单元112(ROI,Regionof Intrest)和一影像预处理单元113(Image Preprocess)设置而成,影像物件检测单元111对电子元件瑕疵影像进行检测产生对应电子元件的目标瑕疵部位,影像物件获取单元112获取目标瑕疵部位对应的瑕疵部位影像,影像预处理单元113对瑕疵部位影像进行瑕疵特征影像的获取,并以瑕疵特征影像与正常电子元件影像的影像重叠以生成具备该瑕疵特征影像的一假影像,以及进行假影像的影像扩增、模糊、旋转、上下左右翻转等等的影像调整,借此清晰呈现影像数据。
在一实施例中,影像处理单元11进一步包括一影像分类单元所构成(图未示),影像分类单元接收多个瑕疵部位影像以及多个电子元件正常影像后,分类多个瑕疵部位影像为相同或近似的瑕疵影像群,或分类多个电子元件正常影像为非瑕疵影像群。其中影像分类可以例如是藉分群算法(ClusterAnalysis)实现。
在一实施例中,参阅图2,以本发明系统1接收一或多个第一电子元件瑕疵影像100而生成多笔足够且近似真实的电子元件瑕疵影像数据后,可以将多笔足够且近似真实的电子元件瑕疵影像数据建构成瑕疵影像生成器800,而可随时生成大量且具备变化性又近似真实的电子元件瑕疵影像数据,提供给后端的人工智能分类判断模型做训练使用。
请继续参阅图10,图10呈现本发明一实施例所示出电子元件的瑕疵影像生成方法流程。
在此方法流程中,接收电子元件的至少一电子元件瑕疵影像(即第一瑕疵影像),并根据至少一电子元件瑕疵影像生成近似真实的电子元件瑕疵影像(即第二瑕疵影像)。
首先步骤S901,对电子元件瑕疵影像进行检测产生目标瑕疵部位。之后,如步骤S903,获取目标瑕疵部位的瑕疵部位影像。进而,如步骤S905,对瑕疵部位影像进行瑕疵特征影像的获取。根据上述步骤,如步骤S907,将瑕疵特征影像与正常的电子元件影像对应的位置进行影像重叠,生成具备瑕疵特征影像的假影像。最后,如步骤S909,利用生成式对抗网络技术将具备瑕疵特征影像的假影像与正常的电子元件影像进行分析比对,生成近似真实的电子元件瑕疵影像。
根据一实施例,于步骤S901、S903中,对电子元件瑕疵影像进行检测时,还可产生对应电子元件连续或不连续的多个目标瑕疵部位,获取多个目标瑕疵部位对应的多个瑕疵部位影像。于步骤S905、S907中,对个别瑕疵部位影像进行瑕疵特征影像的获取,并将多个瑕疵特征影像以随机的形式与多个正常的电子元件影像对应的位置进行影像重叠,予以生成多个假影像。
根据一实施例,于步骤S901、S903中,对电子元件瑕疵影像进行检测时,还进一步包括检测产生对应电子元件连续或不连续的多个正常的电子元件部位以及获取多个正常的电子元件部位对应的多个电子元件正常影像。
根据一实施例,于步骤S903中,获取多个瑕疵部位影像以及多个电子元件正常影像后,分类多个瑕疵部位影像为相同或近似的瑕疵影像群,或分类多个电子元件正常影像为非瑕疵影像群。
根据一实施例,于步骤S907中,还包括对假影像进行影像扩增、模糊、旋转、翻转的其中之一或任意组合的影像调整。
根据上述步骤,电子元件瑕疵影像为电子元件于工艺中所产生具有一个或多个瑕疵部位的瑕疵影像,针对目标瑕疵部位获取的瑕疵部位影像为电子元件具有一个瑕疵部位的瑕疵影像,瑕疵特征影像为瑕疵部位影像的局部瑕疵影像。
根据一实施例,上述系统或方法中所生成近似真实的电子元件瑕疵影像数据可以配合自动光学检测机台的影像色彩空间来进一步生成近似真实且具有不同色彩空间的不良影像数据。
【本发明的技术效果】
本发明收集表面粘着工艺的自动光学检测机台所检测的一或少量瑕疵影像数据进行影像处理,并通过生成对抗的类神经网络的模型来生成各种近似真实的瑕疵影像数据。
本发明进而是利用自动光学检测机台所检测出的一或少量不良的电子元件具有瑕疵的影像进行影像处理的方式,结合人工智能的模型来生成大量近似真实的不良瑕疵影像数据,这样就可避免需要长时间收集不良瑕疵影像数据所造成耗时、耗工等不可预期的问题。
本发明将一或少量的不良瑕疵影像数据通过影像处理及人工智能生成模型的建立来生成各式各样且近似真实的不良瑕疵影像数据。因此对于本发明所产生的大量近似真实的不良瑕疵影像数据进而运用于人工智能分类判断模型的建立上,就能建立具有足够识别能力的模型。故对于智能制造这个领域上,能够在短时间内获得足够且近似真实的瑕疵影像数据,尤其是电子元件足够且近似真实的瑕疵影像数据,对于用在生产制造效益的分类识别分析模型就能够快速建立并运用。
最后需要说明的是,于前述说明中,尽管已将本发明技术的概念以多个示例性实施例具体地示出与阐述,然而在此项技术的领域中技术人员将理解,在不背离由以下权利要求所界定的本发明技术的概念的范围的条件下,可对其作出形式及细节上的各种变化。
Claims (14)
1.一种电子元件的瑕疵影像生成系统,其特征在于,接收该电子元件的至少一第一瑕疵影像,并根据该至少一第一瑕疵影像生成该电子元件近似真实的至少一第二瑕疵影像,所述系统包括:
一影像处理单元,接收该电子元件的该第一瑕疵影像,该影像处理单元对该第一瑕疵影像进行影像处理,该影像处理单元包括对该第一瑕疵影像进行检测产生对应该电子元件的一目标瑕疵部位,进而获取该目标瑕疵部位对应的一瑕疵部位影像,再对该瑕疵部位影像进行一瑕疵特征影像的获取,再将该瑕疵特征影像与一正常的该电子元件影像对应的位置进行影像重叠,予以生成具备该瑕疵特征影像的一假影像;
一生成式对抗网络单元,接收具备该瑕疵特征影像的该假影像并与正常的该电子元件影像进行分析比对,生成近似真实的该第二瑕疵影像。
2.如权利要求1所述的电子元件的瑕疵影像生成系统,其特征在于,该影像处理单元对该第一瑕疵影像进行检测为产生对应该电子元件连续或不连续的多个该目标瑕疵部位,该影像处理单元获取多个该目标瑕疵部位对应的多个该瑕疵部位影像,该影像处理单元对个别该瑕疵部位影像进行该瑕疵特征影像的获取,该影像处理单元将多个该瑕疵特征影像以随机的形式与多个正常的该电子元件影像对应的位置进行影像重叠,予以生成多个该假影像。
3.如权利要求2所述的电子元件的瑕疵影像生成系统,其特征在于,该影像处理单元对该第一瑕疵影像进行检测还进一步包括产生对应该电子元件连续或不连续的多个正常的该电子元件部位以及该影像处理单元获取多个正常的该电子元件部位对应的多个该电子元件正常影像。
4.如权利要求3所述的电子元件的瑕疵影像生成系统,其特征在于,该影像处理单元获取多个该瑕疵部位影像以及多个该电子元件正常影像后,分类多个该瑕疵部位影像为相同或近似的瑕疵影像群,或分类多个该电子元件正常影像为非瑕疵影像群。
5.如权利要求1至4任一所述的电子元件的瑕疵影像生成系统,其特征在于,该影像处理单元还包括对该假影像进行影像扩增、模糊、旋转、翻转的其中之一或任意组合的影像调整。
6.如权利要求1至4任一所述的电子元件的瑕疵影像生成系统,其特征在于,该电子元件的该第一瑕疵影像为该电子元件工艺中该电子元件所产生具有一个或多个瑕疵部位的瑕疵影像,该瑕疵部位影像为该电子元件具有一个瑕疵部位的瑕疵影像,该瑕疵特征影像为该瑕疵部位影像的局部瑕疵影像。
7.如权利要求1所述的电子元件的瑕疵影像生成系统,其特征在于,该影像处理单元进一步包括以一影像对象检测单元、一影像对象获取单元和一影像预处理单元设置而成,该影像对象检测单元对该第一瑕疵影像进行检测产生对应该电子元件的该目标瑕疵部位,该影像对象获取单元获取该目标瑕疵部位对应的该瑕疵部位影像,该影像预处理单元对该瑕疵部位影像进行该瑕疵特征影像的获取。
8.如权利要求4所述的电子元件的瑕疵影像生成系统,其特征在于,该影像处理单元进一步包括一影像分类单元,该影像分类单元接收多个该瑕疵部位影像以及多个该电子元件正常影像后,分类多个该瑕疵部位影像为相同或近似的瑕疵影像群,或分类多个该电子元件正常影像为非瑕疵影像群。
9.一种电子元件的瑕疵影像生成方法,其特征在于,接收该电子元件的至少一第一瑕疵影像,并根据该至少一第一瑕疵影像生成该电子元件近似真实的至少一第二瑕疵影像,所述方法包括:
对该第一瑕疵影像进行检测产生对应该电子元件的一目标瑕疵部位;
进而获取该目标瑕疵部位对应的一瑕疵部位影像;
再对该瑕疵部位影像进行一瑕疵特征影像的获取;
再将该瑕疵特征影像与一正常的该电子元件影像对应的位置进行影像重叠,予以生成具备该瑕疵特征影像的一假影像;
利用生成式对抗网络技术使具备该瑕疵特征影像的该假影像与正常的该电子元件影像进行分析比对,生成近似真实的该第二瑕疵影像。
10.如权利要求9所述的电子元件的瑕疵影像生成方法,其特征在于,对该第一瑕疵影像进行检测时,还可产生对应该电子元件连续或不连续的多个该目标瑕疵部位,获取多个该目标瑕疵部位对应的多个该瑕疵部位影像,对个别该瑕疵部位影像进行该瑕疵特征影像的获取,并将多个该瑕疵特征影像以随机的形式与多个正常的该电子元件影像对应的位置进行影像重叠,予以生成多个该假影像。
11.如权利要求10所述的电子元件的瑕疵影像生成方法,其特征在于,对该第一瑕疵影像进行检测时,还进一步包括检测产生对应该电子元件连续或不连续的多个正常的该电子元件部位以及获取多个正常的该电子元件部位对应的多个该电子元件正常影像。
12.如权利要求11所述的电子元件的瑕疵影像生成方法,其特征在于,获取多个该瑕疵部位影像以及多个该电子元件正常影像后,分类多个该瑕疵部位影像为相同或近似的瑕疵影像群,或分类多个该电子元件正常影像为非瑕疵影像群。
13.如权利要求9至12任一所述的电子元件的瑕疵影像生成方法,其特征在于,还包括对该假影像进行影像扩增、模糊、旋转、翻转的其中之一或任意组合的影像调整。
14.如权利要求9至12任一所述的电子元件的瑕疵影像生成方法,其特征在于,该电子元件的该第一瑕疵影像为该电子元件工艺中该电子元件所产生具有一个或多个瑕疵部位的瑕疵影像,该瑕疵部位影像为该电子元件具有一个瑕疵部位的瑕疵影像,该瑕疵特征影像为该瑕疵部位影像的局部瑕疵影像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110458192.0A CN113138198A (zh) | 2021-04-27 | 2021-04-27 | 电子元件的瑕疵影像生成系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110458192.0A CN113138198A (zh) | 2021-04-27 | 2021-04-27 | 电子元件的瑕疵影像生成系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113138198A true CN113138198A (zh) | 2021-07-20 |
Family
ID=76812299
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110458192.0A Withdrawn CN113138198A (zh) | 2021-04-27 | 2021-04-27 | 电子元件的瑕疵影像生成系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113138198A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005156334A (ja) * | 2003-11-25 | 2005-06-16 | Nec Tohoku Sangyo System Kk | 疑似不良画像自動作成装置及び画像検査装置 |
CN107123107A (zh) * | 2017-03-24 | 2017-09-01 | 广东工业大学 | 基于神经网络深度学习的布匹缺陷检测方法 |
CN109598287A (zh) * | 2018-10-30 | 2019-04-09 | 中国科学院自动化研究所 | 基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法 |
CN109767443A (zh) * | 2019-01-17 | 2019-05-17 | 深圳码隆科技有限公司 | 一种布料瑕疵数据收集方法及装置 |
CN110940672A (zh) * | 2019-12-13 | 2020-03-31 | 智泰科技股份有限公司 | 智能光学检测样品特征与瑕疵ai模型自动产生方法及装置 |
CN111079831A (zh) * | 2019-12-13 | 2020-04-28 | 智泰科技股份有限公司 | 智能型光学检测的样品特征与瑕疵自动标记方法及其装置 |
WO2020156409A1 (zh) * | 2019-02-02 | 2020-08-06 | 阿里巴巴集团控股有限公司 | 数据处理方法、瑕疵的检测方法、计算设备及存储介质 |
TWM606740U (zh) * | 2020-08-17 | 2021-01-21 | 宜谷京科技實業有限公司 | 瑕疵檢測系統 |
-
2021
- 2021-04-27 CN CN202110458192.0A patent/CN113138198A/zh not_active Withdrawn
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005156334A (ja) * | 2003-11-25 | 2005-06-16 | Nec Tohoku Sangyo System Kk | 疑似不良画像自動作成装置及び画像検査装置 |
CN107123107A (zh) * | 2017-03-24 | 2017-09-01 | 广东工业大学 | 基于神经网络深度学习的布匹缺陷检测方法 |
CN109598287A (zh) * | 2018-10-30 | 2019-04-09 | 中国科学院自动化研究所 | 基于深度卷积生成对抗网络样本生成的外观瑕疵检测方法 |
CN109767443A (zh) * | 2019-01-17 | 2019-05-17 | 深圳码隆科技有限公司 | 一种布料瑕疵数据收集方法及装置 |
WO2020156409A1 (zh) * | 2019-02-02 | 2020-08-06 | 阿里巴巴集团控股有限公司 | 数据处理方法、瑕疵的检测方法、计算设备及存储介质 |
CN110940672A (zh) * | 2019-12-13 | 2020-03-31 | 智泰科技股份有限公司 | 智能光学检测样品特征与瑕疵ai模型自动产生方法及装置 |
CN111079831A (zh) * | 2019-12-13 | 2020-04-28 | 智泰科技股份有限公司 | 智能型光学检测的样品特征与瑕疵自动标记方法及其装置 |
TWM606740U (zh) * | 2020-08-17 | 2021-01-21 | 宜谷京科技實業有限公司 | 瑕疵檢測系統 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Hu et al. | Detection of PCB surface defects with improved faster-RCNN and feature pyramid network | |
CN111179251B (zh) | 基于孪生神经网络利用模板比对的缺陷检测系统及方法 | |
CN107123111B (zh) | 一种用于手机屏幕缺陷检测的深度残差网络构造方法 | |
CN107389701A (zh) | 一种基于图像的pcb表观缺陷自动检测系统及方法 | |
CN114240939B (zh) | 一种主板元器件外观缺陷检测方法、系统、设备及介质 | |
CN111798409A (zh) | 一种基于深度学习的pcb缺陷数据生成方法 | |
Prunella et al. | Deep learning for automatic vision-based recognition of industrial surface defects: a survey | |
CN116843650A (zh) | 融合aoi检测与深度学习的smt焊接缺陷检测方法及系统 | |
US12094098B2 (en) | Defect management apparatus, method and non-transitory computer readable medium | |
Arikan et al. | Surface defect classification in real-time using convolutional neural networks | |
Xu et al. | D4Net: De-deformation defect detection network for non-rigid products with large patterns | |
CN114429445A (zh) | 一种基于MAIRNet的PCB缺陷检测与识别方法 | |
CN111210417B (zh) | 基于卷积神经网络的布匹缺陷检测方法 | |
Hu et al. | Detection of chemical fabric defects on the basis of morphological processing | |
CN114155186B (zh) | 基于无监督学习的缺陷检测系统及方法 | |
CN114841957A (zh) | 一种基于深度学习的钢板表面缺陷检测方法 | |
CN113592859B (zh) | 一种基于深度学习的用于显示面板缺陷的分类方法 | |
Zhang et al. | Fabric defect detection based on visual saliency map and SVM | |
Chen et al. | EEE-Net: Efficient edge enhanced network for surface defect detection of glass | |
CN111028250A (zh) | 一种实时智能验布方法及系统 | |
CN115995023A (zh) | 瑕疵检测方法、装置、电子设备、计算机可读存储介质及产品检测方法 | |
CN116664519A (zh) | 基于弱监督学习的焊接缺陷检测方法、设备和存储介质 | |
CN113138198A (zh) | 电子元件的瑕疵影像生成系统及方法 | |
Mansano et al. | Inspection of metallic surfaces using local binary patterns | |
CN114202544A (zh) | 一种基于自编码器的复杂工件缺陷检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210720 |