CN112927170A - 半导体制造工艺中的自动缺陷去除方法 - Google Patents

半导体制造工艺中的自动缺陷去除方法 Download PDF

Info

Publication number
CN112927170A
CN112927170A CN202110377371.1A CN202110377371A CN112927170A CN 112927170 A CN112927170 A CN 112927170A CN 202110377371 A CN202110377371 A CN 202110377371A CN 112927170 A CN112927170 A CN 112927170A
Authority
CN
China
Prior art keywords
defect
image
manufacturing process
semiconductor manufacturing
defects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110377371.1A
Other languages
English (en)
Other versions
CN112927170B (zh
Inventor
贾德礼
陈湘芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Corelli Software Co ltd
Original Assignee
Shanghai Corelli Software Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Corelli Software Co ltd filed Critical Shanghai Corelli Software Co ltd
Priority to CN202110377371.1A priority Critical patent/CN112927170B/zh
Publication of CN112927170A publication Critical patent/CN112927170A/zh
Application granted granted Critical
Publication of CN112927170B publication Critical patent/CN112927170B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

本发明提供一种半导体制造工艺中的自动缺陷去除方法,包括:步骤一、代操服务器通过KVM获得制造机台拍摄到的产品缺陷照片信息;步骤二、代操服务器向NGINX代理发送图像识别请求,NGINX通过负载均衡的方式向图像识别引擎发送识别任务;步骤三、图像识别引擎根据代操服务器获得的缺陷图片通过人工智能算法对缺陷进行定位和类别识别;步骤四、将识别结果信息通过NGINX发送给代操服务器,代操服务器根据提前设置的缺陷消除类别规则,通过KVM控制制造机台将特定的缺陷类别进行激光消除。本发明的半导体制造工艺中的自动缺陷去除方法,能够有效提高产品生产和操作的效率,进一步提高生产流程的自动化水平。

Description

半导体制造工艺中的自动缺陷去除方法
技术领域
本发明涉及一种半导体制造工艺中的自动缺陷去除方法,属于半导体制造工艺领域。
背景技术
在半导体生产过程的质检环节,需要定位与识别机台镜头拍摄画面中的缺陷位置与种类。目前主要依靠人员在机台上进行操作。一方面培养一名合格的质检人员需要花费不定长的时间与精力,另一方面也限制了人员的使用。所以不论从产品质量,还是从成本角度考量,都希望远程代操机台并能够全自动完成以缺陷定位与识别为核心的质检流程,解放人力,提高产品质检的稳定性。目前技术的流程无法自动确定缺陷的位置和类别,只能通过工人来确定缺陷的位置和类别,手工操作软件来引导机台使用激光消除特定缺陷。
发明内容
本发明的目的在于提供一种半导体制造工艺中的自动缺陷去除方法,以自动完成缺陷定位与识别的质检流程。
本发明采用了如下技术方案:
一种半导体制造工艺中的自动缺陷去除方法,其特征在于,包括:
步骤一、代操服务器通过KVM获得制造机台拍摄到的产品缺陷照片信息;
步骤二、代操服务器向NGINX代理发送图像识别请求,NGINX通过负载均衡的方式向图像识别引擎发送识别任务;
步骤三、接到识别任务后,图像识别引擎根据代操服务器获得的缺陷图片通过人工智能算法对缺陷进行定位和类别识别;
步骤四、将识别结果信息通过NGINX发送给代操服务器,代操服务器获得缺陷识别结果之后,根据提前设置的缺陷消除类别规则,通过KVM控制制造机台将特定的缺陷类别进行激光消除。
进一步,本发明的半导体制造工艺中的自动缺陷去除方法,还具有这样的特征:缺陷识别类型分为三类:Particle、NonParticle、False,其中Fasle表示无缺陷。
进一步,本发明的半导体制造工艺中的自动缺陷去除方法,还具有这样的特征:步骤三中,图像识别引擎对缺陷进行定位和类别识别的同时确定缺陷在图像中的准确位置以及在实际中的大小,图像识别引擎将图像中的比例尺以及下方对应的数字作为特殊的缺陷,与其他缺陷同时进行检测和识别。
进一步,本发明的半导体制造工艺中的自动缺陷去除方法,还具有这样的特征:图像识别引擎使用比例尺的长度,通过换算得到缺陷在实际世界中的大小。
进一步,本发明的半导体制造工艺中的自动缺陷去除方法,还具有这样的特征:代操服务器将需要做缺陷位置检测的画面传给图像识别引擎,然后根据图像识别引擎返回来的缺陷位置中心以及非缺陷位置两个坐标点引导机台镜头对准缺陷。
进一步,本发明的半导体制造工艺中的自动缺陷去除方法,还具有这样的特征:在机台镜头第一次校准后,当图像识别引擎判别图片数量达到机台扫描缺陷总数的40%时,判断是否需要第二次校准镜头,判断规则为:如果False图片类别数量比例高于70%,则第二次校准镜头,此次判图结束,否则继续判图,如果第二次校准镜头后,判图结果False类别依旧高于70%,向用户发送报告,并继续判图,否则直接继续判图;当继续判图到机台扫描缺陷总数的80%时,判断是否消除Paritcle缺陷,判断规则为:如果False类别比例高于70%或Paritcle类别比例低于20%,直接上报日志,此次质检结束。否则,返回三个置信度最高的Paritcle缺陷图片序列号,进入消除Particle缺陷流程。
进一步,本发明的半导体制造工艺中的自动缺陷去除方法,还具有这样的特征:自动消除缺陷流程进行时,代操服务器根据图像识别引擎在屏幕截图上检测到的缺陷操作机台高压设备,自动消除缺陷。
本发明的半导体制造工艺中的自动缺陷去除方法,能够有效提高产品生产和操作的效率,进一步提高生产流程的自动化水平。
1.本技术能够自动定位设备拍摄到的缺陷位置。
2.本技术能够对设备拍摄到的缺陷进行准确的分类。
3.本技术能够根据预先设定的缺陷类别,引导缺陷消除设备去除特定类型的缺陷。
4.本技术的图像识别引擎采用集中式处理算法,能够同时处理多个机台的缺陷消除请求。
本技术的图像识别引擎采用先进的人工智能处理算法,准确率高,计算速度快。
附图说明
图1是半导体制造工艺中的自动缺陷去除方法的流程图。
图2是DO阶段缺陷检测样例。
图3是EDX阶段Particle缺陷检测样例。
图4是Particle缺陷样例。
图5是NonParticle缺陷样例。
图6是False类别样例。
图7是对图像中的缺陷进行检测的Faster-rnn算法的结构图。
图8是原始缺陷图片。
图9是算法检测识别结果。
具体实施方式
以下结合附图来说明本发明的具体实施方式。以下实施方式仅为本发明实施方式中的一种。
KVM名词解释:一种用于远程控制工业制造设备的硬件设备
NGINX代理名词解释:NGINX是一款自由的、开源的、高性能的HTTP服务器和反向代理服务器,NGINX反向代理的典型用途是将防火墙后面的服务器提供给Internet用户访问。反向代理还可以为后端的多台服务器提供负载平衡,或为后端较慢的服务器提供缓冲服务。
如图1至图9所示,半导体制造工艺中的自动缺陷去除方法,包括如下步骤:代操服务器通过KVM获得制造机台拍摄到的产品缺陷照片信息,然后向NGINX代理发送图像识别请求,NGINX通过负载均衡的方式向图像识别引擎发送识别任务,接到识别任务后,图像识别引擎根据代操服务器获得的缺陷图片通过人工智能算法对缺陷进行定位和类别识别,接着将识别结果信息通过NGINX发送给代操服务器,代操服务器获得缺陷识别结果之后,根据提前设置的缺陷消除类别规则,通过KVM指挥制造机台将特定的缺陷类别进行激光消除。
图像识别引擎具有缺陷识别和缺陷定位两项功能。
1.缺陷定位用于在DO阶段纠正机台镜头对准缺陷以及在EDX阶段定位消除缺陷。
2.缺陷识别类型主要为三类:Particle、NonParticle、False。缺陷样例如图4、图5和图6所示,其中Fasle表示无缺陷。
为了达成自动消除缺陷的目的,除了识别缺陷类型之外,还需要获取缺陷在图像中的准确位置以及在实际中的大小。
本实施方式采用基于深度学习的faster-rcnn算法对图像中的缺陷进行检测。Faster-rcnn的结构图如图7所示:
Faster-rcnn是一种二阶段的目标检测框架,具有检测准确率高,算法适应性强的有点,广泛的应用于各种目标检测应用中。但是目前的目标检测算法,只能检测图像中的目标的像素大小,不能获得图像中目标在实际世界中的大小。
本实施方式把图像中的比例尺以及下方对应的数字当做是几类特殊的缺陷,把他们跟其他缺陷同时进行检测和识别,这样我们就可以利用现有目标检测算法本身的检测和识别能力,端到端的一步就同时获得图像中缺陷位置,缺陷类型,以及比例尺信息,如图8和图9所示。图中的比例尺单独被看作名为scale的一类缺陷进行检测和识别,数字作为名为对应数字的一类缺陷进行检测和识别,例如图9中的数字“1”。这样,通过一次图像检测算法的计算,本实施方式的方法不仅获得了缺陷在图像中的位置和类别,例如图9所示的Particle框,也知道了比例尺的长度以及比例尺信息,例如图9中的1μm。通过简单的换算,就可以获得缺陷在实际世界中的大小。实际使用表明,缺陷检测识别准确率可以达到95%以上的精度。
代操程序通过KVM远程监控机台设备,根据机台画面并配合图像识别引擎自动完成整个质检流程:
1.DO阶段(defect offset阶段)。代操程序将需要做缺陷位置检测的画面传给图像识别引擎,然后根据图像识别引擎返回来的缺陷位置中心以及非缺陷位置两个坐标点引导机台镜头对准缺陷。
2.判图阶段。当机台镜头对准好缺陷位置后,代操程序将机台镜头拍摄下的图片所在位置发送给图像识别引擎,图像识别引擎从机台下载图片到本地并自动判图,并将判图结果返回给代操程序。
机台扫描缺陷总数是固定的,具体使用时需要根据不同的产品预设参数,通常设为50。机台镜头首先进行第一次自动校准,然后进行判图,当图像识别引擎判别图片数量达到机台扫描缺陷总数的40%时,判断是否需要第二次校准镜头。判断规则为:如果False图片类别数量比例高于70%,则判断为需要重新第二次校准镜头,随后进行第二次校准镜头,此次判图结束,否则继续判图。第二次校准镜头后,如果判图结果False类别依旧高于70%,则向用户发送报告,并继续判图,否则直接继续判图。当继续判图到机台扫描缺陷总数的80%时,需要判断是否消除Paritcle缺陷。判断规则为:如果False类别比例高于70%或Paritcle类别比例低于20%,直接上报日志,此次质检结束。否则,返回三个置信度最高的Paritcle缺陷图片序列号。进入消除Particle缺陷流程,即EDX阶段。
EDX阶段。当判图结果为需要消除缺陷的时候,进入自动消除缺陷流程。此时代操程序根据图像识别引擎在屏幕截图上检测到的缺陷操作机台高压设备,自动消除缺陷。

Claims (7)

1.一种半导体制造工艺中的自动缺陷去除方法,其特征在于,包括:
步骤一、代操服务器通过KVM获得制造机台拍摄到的产品缺陷照片信息;
步骤二、代操服务器向NGINX代理发送图像识别请求,NGINX通过负载均衡的方式向图像识别引擎发送识别任务;
步骤三、接到识别任务后,图像识别引擎根据代操服务器获得的缺陷图片通过人工智能算法对缺陷进行定位和类别识别;
步骤四、将识别结果信息通过NGINX发送给代操服务器,代操服务器获得缺陷识别结果之后,根据提前设置的缺陷消除类别规则,通过KVM控制制造机台将特定的缺陷类别进行激光消除。
2.如权利要求1所述的半导体制造工艺中的自动缺陷去除方法,其特征在于:
缺陷识别类型分为三类:Particle、NonParticle、False,其中Fasle表示无缺陷。
3.如权利要求1所述的半导体制造工艺中的自动缺陷去除方法,其特征在于:
步骤三中,图像识别引擎对缺陷进行定位和类别识别的同时确定缺陷在图像中的准确位置以及在实际中的大小,图像识别引擎将图像中的比例尺以及下方对应的数字作为特殊的缺陷,与其他缺陷同时进行检测和识别。
4.如权利要求3所述的半导体制造工艺中的自动缺陷去除方法,其特征在于:
图像识别引擎使用比例尺的长度,通过换算得到缺陷在实际世界中的大小。
5.如权利要求1所述的半导体制造工艺中的自动缺陷去除方法,其特征在于:
代操服务器将需要做缺陷位置检测的画面传给图像识别引擎,然后根据图像识别引擎返回来的缺陷位置中心以及非缺陷位置两个坐标点引导机台镜头对准缺陷。
6.如权利要求1所述的半导体制造工艺中的自动缺陷去除方法,其特征在于:
在机台镜头第一次校准后,当图像识别引擎判别图片数量达到机台扫描缺陷总数的40%时,判断是否需要第二次校准镜头,判断规则为:如果False图片类别数量比例高于70%,则第二次校准镜头,此次判图结束,否则继续判图,如果第二次校准镜头后,判图结果False类别依旧高于70%,向用户发送报告,并继续判图,否则直接继续判图;当继续判图到机台扫描缺陷总数的80%时,判断是否消除Paritcle缺陷,判断规则为:如果False类别比例高于70%或Paritcle类别比例低于20%,直接上报日志,此次质检结束。否则,返回三个置信度最高的Paritcle缺陷图片序列号,进入消除Particle缺陷流程。
7.如如权利要求6所述的半导体制造工艺中的自动缺陷去除方法,其特征在于:
自动消除缺陷流程进行时,代操服务器根据图像识别引擎在屏幕截图上检测到的缺陷操作机台高压设备,自动消除缺陷。
CN202110377371.1A 2021-04-08 2021-04-08 半导体制造工艺中的自动缺陷去除方法 Active CN112927170B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110377371.1A CN112927170B (zh) 2021-04-08 2021-04-08 半导体制造工艺中的自动缺陷去除方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110377371.1A CN112927170B (zh) 2021-04-08 2021-04-08 半导体制造工艺中的自动缺陷去除方法

Publications (2)

Publication Number Publication Date
CN112927170A true CN112927170A (zh) 2021-06-08
CN112927170B CN112927170B (zh) 2024-03-15

Family

ID=76173703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110377371.1A Active CN112927170B (zh) 2021-04-08 2021-04-08 半导体制造工艺中的自动缺陷去除方法

Country Status (1)

Country Link
CN (1) CN112927170B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913119A (zh) * 2022-03-02 2022-08-16 上海哥瑞利软件股份有限公司 一种半导体晶圆检测工艺中的自动探针状态识别方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999016010A1 (en) * 1997-09-22 1999-04-01 Intelligent Reasoning Systems, Inc. Automated visual inspection system and process for detecting and classifying defects
US20090199298A1 (en) * 2007-06-26 2009-08-06 Miliefsky Gary S Enterprise security management for network equipment
CN101576508A (zh) * 2009-05-27 2009-11-11 华南理工大学 芯片外观缺陷自动检测装置及检测方法
CN105450765A (zh) * 2015-12-03 2016-03-30 广州云新信息技术有限公司 一种服务器kvm远程控制方法及装置
CN108564104A (zh) * 2018-01-09 2018-09-21 北京百度网讯科技有限公司 产品缺陷检测方法、装置、系统、服务器及存储介质
CN108694496A (zh) * 2017-04-11 2018-10-23 西门子产品生命周期管理软件公司 有助于产品缺陷的误差分析的系统和方法
CN111638672A (zh) * 2020-06-05 2020-09-08 昆山艾控智能科技有限公司 一种工业机台的自动控制系统
CN111855668A (zh) * 2020-07-17 2020-10-30 上海洪朴信息科技有限公司 一种产品缺陷检测系统
CN111863646A (zh) * 2019-04-24 2020-10-30 中芯国际集成电路制造(上海)有限公司 一种半导体器件缺陷的检测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999016010A1 (en) * 1997-09-22 1999-04-01 Intelligent Reasoning Systems, Inc. Automated visual inspection system and process for detecting and classifying defects
US20090199298A1 (en) * 2007-06-26 2009-08-06 Miliefsky Gary S Enterprise security management for network equipment
CN101576508A (zh) * 2009-05-27 2009-11-11 华南理工大学 芯片外观缺陷自动检测装置及检测方法
CN105450765A (zh) * 2015-12-03 2016-03-30 广州云新信息技术有限公司 一种服务器kvm远程控制方法及装置
CN108694496A (zh) * 2017-04-11 2018-10-23 西门子产品生命周期管理软件公司 有助于产品缺陷的误差分析的系统和方法
CN108564104A (zh) * 2018-01-09 2018-09-21 北京百度网讯科技有限公司 产品缺陷检测方法、装置、系统、服务器及存储介质
CN111863646A (zh) * 2019-04-24 2020-10-30 中芯国际集成电路制造(上海)有限公司 一种半导体器件缺陷的检测方法
CN111638672A (zh) * 2020-06-05 2020-09-08 昆山艾控智能科技有限公司 一种工业机台的自动控制系统
CN111855668A (zh) * 2020-07-17 2020-10-30 上海洪朴信息科技有限公司 一种产品缺陷检测系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
常海涛;苟军年;李晓梅;: "Faster R-CNN在工业CT图像缺陷检测中的应用", 中国图象图形学报, no. 07 *
黄寅;: "基于深度学习网络模型与大数据自动训练的工件缺陷识别算法研究", 齐齐哈尔大学学报(自然科学版), no. 02 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913119A (zh) * 2022-03-02 2022-08-16 上海哥瑞利软件股份有限公司 一种半导体晶圆检测工艺中的自动探针状态识别方法
CN114913119B (zh) * 2022-03-02 2024-03-22 上海哥瑞利软件股份有限公司 一种半导体晶圆检测工艺中的自动探针状态识别方法

Also Published As

Publication number Publication date
CN112927170B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN111650204B (zh) 基于级联目标检测的输电线路金具缺陷检测方法及系统
US20200357109A1 (en) Method for detecting display screen quality, apparatus, electronic device and storage medium
CN113095438B (zh) 晶圆缺陷分类方法及其装置、系统、电子设备和存储介质
CN102938077A (zh) 基于双阈值二值化的在线式aoi图像检索方法
CN111707614B (zh) 一种光学芯片表面沾污缺陷检测方法及线激光视觉检测系统
US20200090319A1 (en) Machine learning method implemented in aoi device
CN110186375A (zh) 智能化高铁白车身焊接装配特征检测装置及检测方法
CN112927170A (zh) 半导体制造工艺中的自动缺陷去除方法
CN113077416A (zh) 一种基于图像处理的焊点焊接缺陷检测方法与系统
CN112465784B (zh) 一种地铁夹钳外观异常检测的方法
CN117114420B (zh) 一种基于图像识别的工贸安全事故风险管控系统和方法
Wang et al. Assembly defect detection of atomizers based on machine vision
CN117314829A (zh) 一种基于计算机视觉的工业零件质检方法和系统
CN116681995A (zh) 基于grpc的多模型融合方案在显示屏检测中的应用
TW202402117A (zh) 印刷電路板缺陷檢測模型訓練方法及缺陷檢測方法
CN112052727B (zh) 一种基于大数据的人像识别分析系统及方法
CN113420713A (zh) 异常监控方法、装置、电子设备及计算机可读介质
KR102618194B1 (ko) Ai와 자동제어 기술을 접목한 반도체 패키지 기판 가공홀 3d 자동 공정검사 방법 및 시스템
Shen et al. Design and implementation of PCB detection and classification system based on machine vision
CN112669267B (zh) 一种电路板缺陷检测方法、装置、电子设备和存储介质
CN111340809A (zh) 基于流关联的深度学习模型的多工位检测设备
CN117128862B (zh) 一种汽车部件的扫描检测分析方法
CN113411204B (zh) 电信接入网设施故障检测方法、装置及计算机存储介质
CN115861279A (zh) 一种人机协同的产品表面缺陷检测方法及系统
KR20240131059A (ko) Pcb 제조 공정에서 머신 비전 기반 홀 가공 품질 검사 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant