CN112927170B - 半导体制造工艺中的自动缺陷去除方法 - Google Patents
半导体制造工艺中的自动缺陷去除方法 Download PDFInfo
- Publication number
- CN112927170B CN112927170B CN202110377371.1A CN202110377371A CN112927170B CN 112927170 B CN112927170 B CN 112927170B CN 202110377371 A CN202110377371 A CN 202110377371A CN 112927170 B CN112927170 B CN 112927170B
- Authority
- CN
- China
- Prior art keywords
- defect
- image recognition
- picture
- defects
- recognition engine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000007547 defect Effects 0.000 title claims abstract description 135
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 27
- 239000004065 semiconductor Substances 0.000 title claims abstract description 19
- 238000006467 substitution reaction Methods 0.000 claims abstract description 19
- 230000008030 elimination Effects 0.000 claims abstract description 9
- 238000003379 elimination reaction Methods 0.000 claims abstract description 9
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 4
- 238000001514 detection method Methods 0.000 claims description 15
- 238000007689 inspection Methods 0.000 claims description 9
- 239000002245 particle Substances 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000013135 deep learning Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Testing Or Measuring Of Semiconductors Or The Like (AREA)
Abstract
本发明提供一种半导体制造工艺中的自动缺陷去除方法，包括：步骤一、代操服务器通过KVM获得制造机台拍摄到的产品缺陷照片信息；步骤二、代操服务器向NGINX代理发送图像识别请求，NGINX通过负载均衡的方式向图像识别引擎发送识别任务；步骤三、图像识别引擎根据代操服务器获得的缺陷图片通过人工智能算法对缺陷进行定位和类别识别；步骤四、将识别结果信息通过NGINX发送给代操服务器，代操服务器根据提前设置的缺陷消除类别规则，通过KVM控制制造机台将特定的缺陷类别进行激光消除。本发明的半导体制造工艺中的自动缺陷去除方法，能够有效提高产品生产和操作的效率，进一步提高生产流程的自动化水平。
Description
技术领域
本发明涉及一种半导体制造工艺中的自动缺陷去除方法，属于半导体制造工艺领域。
背景技术
在半导体生产过程的质检环节，需要定位与识别机台镜头拍摄画面中的缺陷位置与种类。目前主要依靠人员在机台上进行操作。一方面培养一名合格的质检人员需要花费不定长的时间与精力，另一方面也限制了人员的使用。所以不论从产品质量，还是从成本角度考量，都希望远程代操机台并能够全自动完成以缺陷定位与识别为核心的质检流程，解放人力，提高产品质检的稳定性。目前技术的流程无法自动确定缺陷的位置和类别，只能通过工人来确定缺陷的位置和类别，手工操作软件来引导机台使用激光消除特定缺陷。
发明内容
本发明的目的在于提供一种半导体制造工艺中的自动缺陷去除方法，以自动完成缺陷定位与识别的质检流程。
本发明采用了如下技术方案：
一种半导体制造工艺中的自动缺陷去除方法，其特征在于，包括：
步骤一、代操服务器通过KVM获得制造机台拍摄到的产品缺陷照片信息；
步骤二、代操服务器向NGINX代理发送图像识别请求，NGINX通过负载均衡的方式向图像识别引擎发送识别任务；
步骤三、接到识别任务后，图像识别引擎根据代操服务器获得的缺陷图片通过人工智能算法对缺陷进行定位和类别识别；
步骤四、将识别结果信息通过NGINX发送给代操服务器，代操服务器获得缺陷识别结果之后，根据提前设置的缺陷消除类别规则，通过KVM控制制造机台将特定的缺陷类别进行激光消除。
进一步，本发明的半导体制造工艺中的自动缺陷去除方法，还具有这样的特征：缺陷识别类型分为三类:Particle、NonParticle、False，其中Fasle表示无缺陷。
进一步，本发明的半导体制造工艺中的自动缺陷去除方法，还具有这样的特征：步骤三中，图像识别引擎对缺陷进行定位和类别识别的同时确定缺陷在图像中的准确位置以及在实际中的大小，图像识别引擎将图像中的比例尺以及下方对应的数字作为特殊的缺陷，与其他缺陷同时进行检测和识别。
进一步，本发明的半导体制造工艺中的自动缺陷去除方法，还具有这样的特征：图像识别引擎使用比例尺的长度，通过换算得到缺陷在实际世界中的大小。
进一步，本发明的半导体制造工艺中的自动缺陷去除方法，还具有这样的特征：代操服务器将需要做缺陷位置检测的画面传给图像识别引擎，然后根据图像识别引擎返回来的缺陷位置中心以及非缺陷位置两个坐标点引导机台镜头对准缺陷。
进一步，本发明的半导体制造工艺中的自动缺陷去除方法，还具有这样的特征：在机台镜头第一次校准后，当图像识别引擎判别图片数量达到机台扫描缺陷总数的40％时，判断是否需要第二次校准镜头，判断规则为：如果False图片类别数量比例高于70％，则第二次校准镜头，此次判图结束，否则继续判图，如果第二次校准镜头后，判图结果False类别依旧高于70％，向用户发送报告，并继续判图，否则直接继续判图；当继续判图到机台扫描缺陷总数的80％时，判断是否消除Paritcle缺陷，判断规则为：如果False类别比例高于70％或Paritcle类别比例低于20％,直接上报日志，此次质检结束。否则，返回三个置信度最高的Paritcle缺陷图片序列号，进入消除Particle缺陷流程。
进一步，本发明的半导体制造工艺中的自动缺陷去除方法，还具有这样的特征：自动消除缺陷流程进行时，代操服务器根据图像识别引擎在屏幕截图上检测到的缺陷操作机台高压设备，自动消除缺陷。
本发明的半导体制造工艺中的自动缺陷去除方法，能够有效提高产品生产和操作的效率，进一步提高生产流程的自动化水平。
1.本技术能够自动定位设备拍摄到的缺陷位置。
2.本技术能够对设备拍摄到的缺陷进行准确的分类。
3.本技术能够根据预先设定的缺陷类别，引导缺陷消除设备去除特定类型的缺陷。
4.本技术的图像识别引擎采用集中式处理算法，能够同时处理多个机台的缺陷消除请求。
本技术的图像识别引擎采用先进的人工智能处理算法，准确率高，计算速度快。
附图说明
图1是半导体制造工艺中的自动缺陷去除方法的流程图。
图2是DO阶段缺陷检测样例。
图3是EDX阶段Particle缺陷检测样例。
图4是Particle缺陷样例。
图5是NonParticle缺陷样例。
图6是False类别样例。
图7是对图像中的缺陷进行检测的Faster-rnn算法的结构图。
图8是原始缺陷图片。
图9是算法检测识别结果。
具体实施方式
以下结合附图来说明本发明的具体实施方式。以下实施方式仅为本发明实施方式中的一种。
KVM名词解释：一种用于远程控制工业制造设备的硬件设备
NGINX代理名词解释：NGINX是一款自由的、开源的、高性能的HTTP服务器和反向代理服务器，NGINX反向代理的典型用途是将防火墙后面的服务器提供给Internet用户访问。反向代理还可以为后端的多台服务器提供负载平衡，或为后端较慢的服务器提供缓冲服务。
如图1至图9所示，半导体制造工艺中的自动缺陷去除方法，包括如下步骤：代操服务器通过KVM获得制造机台拍摄到的产品缺陷照片信息，然后向NGINX代理发送图像识别请求，NGINX通过负载均衡的方式向图像识别引擎发送识别任务，接到识别任务后，图像识别引擎根据代操服务器获得的缺陷图片通过人工智能算法对缺陷进行定位和类别识别，接着将识别结果信息通过NGINX发送给代操服务器，代操服务器获得缺陷识别结果之后，根据提前设置的缺陷消除类别规则，通过KVM指挥制造机台将特定的缺陷类别进行激光消除。
图像识别引擎具有缺陷识别和缺陷定位两项功能。
1.缺陷定位用于在DO阶段纠正机台镜头对准缺陷以及在EDX阶段定位消除缺陷。
2.缺陷识别类型主要为三类:Particle、NonParticle、False。缺陷样例如图4、图5和图6所示，其中Fasle表示无缺陷。
为了达成自动消除缺陷的目的，除了识别缺陷类型之外，还需要获取缺陷在图像中的准确位置以及在实际中的大小。
本实施方式采用基于深度学习的faster-rcnn算法对图像中的缺陷进行检测。Faster-rcnn的结构图如图7所示：
Faster-rcnn是一种二阶段的目标检测框架，具有检测准确率高，算法适应性强的有点，广泛的应用于各种目标检测应用中。但是目前的目标检测算法，只能检测图像中的目标的像素大小，不能获得图像中目标在实际世界中的大小。
本实施方式把图像中的比例尺以及下方对应的数字当做是几类特殊的缺陷，把他们跟其他缺陷同时进行检测和识别，这样我们就可以利用现有目标检测算法本身的检测和识别能力，端到端的一步就同时获得图像中缺陷位置，缺陷类型，以及比例尺信息，如图8和图9所示。图中的比例尺单独被看作名为scale的一类缺陷进行检测和识别，数字作为名为对应数字的一类缺陷进行检测和识别，例如图9中的数字“1”。这样，通过一次图像检测算法的计算，本实施方式的方法不仅获得了缺陷在图像中的位置和类别，例如图9所示的Particle框，也知道了比例尺的长度以及比例尺信息，例如图9中的1μm。通过简单的换算，就可以获得缺陷在实际世界中的大小。实际使用表明，缺陷检测识别准确率可以达到95％以上的精度。
代操程序通过KVM远程监控机台设备，根据机台画面并配合图像识别引擎自动完成整个质检流程：
1.DO阶段(defect offset阶段)。代操程序将需要做缺陷位置检测的画面传给图像识别引擎，然后根据图像识别引擎返回来的缺陷位置中心以及非缺陷位置两个坐标点引导机台镜头对准缺陷。
2.判图阶段。当机台镜头对准好缺陷位置后，代操程序将机台镜头拍摄下的图片所在位置发送给图像识别引擎，图像识别引擎从机台下载图片到本地并自动判图，并将判图结果返回给代操程序。
机台扫描缺陷总数是固定的，具体使用时需要根据不同的产品预设参数，通常设为50。机台镜头首先进行第一次自动校准，然后进行判图，当图像识别引擎判别图片数量达到机台扫描缺陷总数的40％时，判断是否需要第二次校准镜头。判断规则为:如果False图片类别数量比例高于70％，则判断为需要重新第二次校准镜头，随后进行第二次校准镜头，此次判图结束，否则继续判图。第二次校准镜头后，如果判图结果False类别依旧高于70％,则向用户发送报告，并继续判图，否则直接继续判图。当继续判图到机台扫描缺陷总数的80％时，需要判断是否消除Paritcle缺陷。判断规则为：如果False类别比例高于70％或Paritcle类别比例低于20％,直接上报日志，此次质检结束。否则，返回三个置信度最高的Paritcle缺陷图片序列号。进入消除Particle缺陷流程，即EDX阶段。
EDX阶段。当判图结果为需要消除缺陷的时候，进入自动消除缺陷流程。此时代操程序根据图像识别引擎在屏幕截图上检测到的缺陷操作机台高压设备，自动消除缺陷。
Claims (1)
1.一种半导体制造工艺中的自动缺陷去除方法，其特征在于，包括：
步骤一、代操服务器通过KVM获得制造机台拍摄到的产品缺陷照片信息；
步骤二、代操服务器向NGINX代理发送图像识别请求，NGINX通过负载均衡的方式向图像识别引擎发送识别任务；
步骤三、接到识别任务后，图像识别引擎根据代操服务器获得的缺陷图片通过人工智能算法对缺陷进行定位和类别识别；
采用基于深度学习的faster-rcnn算法对图像中的缺陷进行检测；
步骤三中，图像识别引擎对缺陷进行定位和类别识别的同时确定缺陷在图像中的准确位置以及在实际中的大小，图像识别引擎将图像中的比例尺以及下方对应的数字作为特殊的缺陷，与其他缺陷同时进行检测和识别；
图像识别引擎使用比例尺的长度，通过换算得到缺陷在实际世界中的大小；
步骤四、将识别结果信息通过NGINX发送给代操服务器，代操服务器获得缺陷识别结果之后，根据提前设置的缺陷消除类别规则，通过KVM控制制造机台将特定的缺陷类别进行激光消除；
缺陷识别类型分为三类:Particle、NonParticle、False，其中Fasle表示无缺陷；
代操服务器将需要做缺陷位置检测的画面传给图像识别引擎，然后根据图像识别引擎返回来的缺陷位置中心以及非缺陷位置两个坐标点引导机台镜头对准缺陷；
在机台镜头第一次校准后，当图像识别引擎判别图片数量达到机台扫描缺陷总数的40％时，判断是否需要第二次校准镜头，判断规则为：如果False图片类别数量比例高于70％，则第二次校准镜头，此次判图结束，否则继续判图，如果第二次校准镜头后，判图结果False类别依旧高于70％，向用户发送报告，并继续判图，否则直接继续判图；当继续判图到机台扫描缺陷总数的80％时，判断是否消除Paritcle缺陷，判断规则为：如果False类别比例高于70％或Paritcle类别比例低于20％,直接上报日志，此次质检结束，否则，返回三个置信度最高的Paritcle缺陷图片序列号，进入消除Particle缺陷流程；
自动消除缺陷流程进行时，代操服务器根据图像识别引擎在屏幕截图上检测到的缺陷操作机台高压设备，自动消除缺陷。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110377371.1A CN112927170B (zh) | 2021-04-08 | 2021-04-08 | 半导体制造工艺中的自动缺陷去除方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110377371.1A CN112927170B (zh) | 2021-04-08 | 2021-04-08 | 半导体制造工艺中的自动缺陷去除方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112927170A CN112927170A (zh) | 2021-06-08 |
| CN112927170B true CN112927170B (zh) | 2024-03-15 |
Family
ID=76173703
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110377371.1A Active CN112927170B (zh) | 2021-04-08 | 2021-04-08 | 半导体制造工艺中的自动缺陷去除方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112927170B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114913119B (zh) * | 2022-03-02 | 2024-03-22 | 上海哥瑞利软件股份有限公司 | 一种半导体晶圆检测工艺中的自动探针状态识别方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999016010A1 (en) * | 1997-09-22 | 1999-04-01 | Intelligent Reasoning Systems, Inc. | Automated visual inspection system and process for detecting and classifying defects |
| CN101576508A (zh) * | 2009-05-27 | 2009-11-11 | 华南理工大学 | 芯片外观缺陷自动检测装置及检测方法 |
| CN105450765A (zh) * | 2015-12-03 | 2016-03-30 | 广州云新信息技术有限公司 | 一种服务器kvm远程控制方法及装置 |
| CN108564104A (zh) * | 2018-01-09 | 2018-09-21 | 北京百度网讯科技有限公司 | 产品缺陷检测方法、装置、系统、服务器及存储介质 |
| CN108694496A (zh) * | 2017-04-11 | 2018-10-23 | 西门子产品生命周期管理软件公司 | 有助于产品缺陷的误差分析的系统和方法 |
| CN111638672A (zh) * | 2020-06-05 | 2020-09-08 | 昆山艾控智能科技有限公司 | 一种工业机台的自动控制系统 |
| CN111863646A (zh) * | 2019-04-24 | 2020-10-30 | 中芯国际集成电路制造(上海)有限公司 | 一种半导体器件缺陷的检测方法 |
| CN111855668A (zh) * | 2020-07-17 | 2020-10-30 | 上海洪朴信息科技有限公司 | 一种产品缺陷检测系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090199298A1 (en) * | 2007-06-26 | 2009-08-06 | Miliefsky Gary S | Enterprise security management for network equipment |
-
2021
- 2021-04-08 CN CN202110377371.1A patent/CN112927170B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999016010A1 (en) * | 1997-09-22 | 1999-04-01 | Intelligent Reasoning Systems, Inc. | Automated visual inspection system and process for detecting and classifying defects |
| CN101576508A (zh) * | 2009-05-27 | 2009-11-11 | 华南理工大学 | 芯片外观缺陷自动检测装置及检测方法 |
| CN105450765A (zh) * | 2015-12-03 | 2016-03-30 | 广州云新信息技术有限公司 | 一种服务器kvm远程控制方法及装置 |
| CN108694496A (zh) * | 2017-04-11 | 2018-10-23 | 西门子产品生命周期管理软件公司 | 有助于产品缺陷的误差分析的系统和方法 |
| CN108564104A (zh) * | 2018-01-09 | 2018-09-21 | 北京百度网讯科技有限公司 | 产品缺陷检测方法、装置、系统、服务器及存储介质 |
| CN111863646A (zh) * | 2019-04-24 | 2020-10-30 | 中芯国际集成电路制造(上海)有限公司 | 一种半导体器件缺陷的检测方法 |
| CN111638672A (zh) * | 2020-06-05 | 2020-09-08 | 昆山艾控智能科技有限公司 | 一种工业机台的自动控制系统 |
| CN111855668A (zh) * | 2020-07-17 | 2020-10-30 | 上海洪朴信息科技有限公司 | 一种产品缺陷检测系统 |
Non-Patent Citations (2)
| Title |
|---|
| Faster R-CNN在工业CT图像缺陷检测中的应用;常海涛;苟军年;李晓梅;;中国图象图形学报(07);全文 * |
| 基于深度学习网络模型与大数据自动训练的工件缺陷识别算法研究;黄寅;;齐齐哈尔大学学报(自然科学版)(02);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112927170A (zh) | 2021-06-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111650204B (zh) | 基于级联目标检测的输电线路金具缺陷检测方法及系统 | |
| CN108827970B (zh) | 基于aoi系统的适应不同面板缺陷自动判等方法和系统 | |
| CN111179250B (zh) | 一种基于多任务学习的工业品缺陷检测系统 | |
| CN205538710U (zh) | 一种基于机器视觉的电感质量自动检测系统 | |
| CN111707614B (zh) | 一种光学芯片表面沾污缺陷检测方法及线激光视觉检测系统 | |
| CN110186375A (zh) | 智能化高铁白车身焊接装配特征检测装置及检测方法 | |
| US20200090319A1 (en) | Machine learning method implemented in aoi device | |
| CN117358615B (zh) | 一种自动喷码印刷缺陷检测方法及系统 | |
| CN112927170B (zh) | 半导体制造工艺中的自动缺陷去除方法 | |
| CN113723325A (zh) | 一种装配式预制构件的工装缺陷检测系统 | |
| CN113077416A (zh) | 一种基于图像处理的焊点焊接缺陷检测方法与系统 | |
| CN113588653A (zh) | 一种检测和追踪铝用阳极炭块质量的系统及方法 | |
| US20220284699A1 (en) | System and method of object detection using ai deep learning models | |
| CN117114420A (zh) | 一种基于图像识别的工贸安全事故风险管控系统和方法 | |
| CN117689646A (zh) | 一种正负样本融合的高精度缺陷检测方法、系统及介质 | |
| Wang et al. | Assembly defect detection of atomizers based on machine vision | |
| WO2023080587A1 (ko) | 딥러닝 기반의 mlcc 적층 얼라인먼트 검사 시스템 및 방법 | |
| TW202402117A (zh) | 印刷電路板缺陷檢測模型訓練方法及缺陷檢測方法 | |
| CN109622404A (zh) | 一种基于机器视觉的微工件自动分拣系统及方法 | |
| CN113723841A (zh) | 一种装配式预制构件中工装缺失的在线检测方法 | |
| CN112465784B (zh) | 一种地铁夹钳外观异常检测的方法 | |
| KR102618194B1 (ko) | Ai와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3d 자동 공정검사 방법 및 시스템 | |
| CN117314829A (zh) | 一种基于计算机视觉的工业零件质检方法和系统 | |
| CN117350990A (zh) | 基于去反光处理算法的工业表面瑕疵检测方法和系统 | |
| TWI765364B (zh) | 人工智慧瑕疵影像分類方法與其系統 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |