CN112634215A - 一种提高多类型图片深度学习模型训练效率的方法 - Google Patents

一种提高多类型图片深度学习模型训练效率的方法 Download PDF

Info

Publication number
CN112634215A
CN112634215A CN202011482436.0A CN202011482436A CN112634215A CN 112634215 A CN112634215 A CN 112634215A CN 202011482436 A CN202011482436 A CN 202011482436A CN 112634215 A CN112634215 A CN 112634215A
Authority
CN
China
Prior art keywords
images
different types
deep learning
training efficiency
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011482436.0A
Other languages
English (en)
Other versions
CN112634215B (zh
Inventor
李磊
孟德旭
靳璇
米琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hua Hong Semiconductor Wuxi Co Ltd
Original Assignee
Hua Hong Semiconductor Wuxi Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hua Hong Semiconductor Wuxi Co Ltd filed Critical Hua Hong Semiconductor Wuxi Co Ltd
Priority to CN202011482436.0A priority Critical patent/CN112634215B/zh
Publication of CN112634215A publication Critical patent/CN112634215A/zh
Application granted granted Critical
Publication of CN112634215B publication Critical patent/CN112634215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本发明提供一种提高多类型图片深度学习模型训练效率的方法，提供三张不同类型的图像，对该三张不同类型的图像进行尺寸变换；对经过尺寸变换后的三张不同类型的图像进行滤波去噪；对经过滤波去噪后的三张不同类型的图像进行裁剪；对经过裁剪的三张不同类型的图像进行图像组合，图像组合包括对该三张不同类型的图像进行三维堆叠。本发明在预处理中将不同类型的图像进行三维堆叠，堆叠后图像尺寸为3 Channel 320*320，通过第一层深度学习神经网络使用3 Channel卷积核减少后续神经网络层的计算量，进而提高模型训练的效率。

Description

一种提高多类型图片深度学习模型训练效率的方法
技术领域
本发明涉及半导体技术领域，特别是涉及一种提高多类型图片深度学习模型训练效率的方法。
背景技术
芯片制造通常包含成百上千道工艺步骤，只有一道工艺步骤有问题，就会引起缺陷(defect)的产生，严重的可能会导致整个芯片的失效。随着线宽的缩小，制造工艺越来越复杂，产线缺陷(Inline defect)对产品良率的影响越来越大。
近年来将深度学习图像识别技术引入到在线缺陷(Inline defect)的识别与检测，以实现在线缺陷(Inline defect)的自动分类，提高分类的准确性，一致性和及时性。深度学习需要大量的缺陷图像(defect image)作为学习样本并且学习过程参数不断的训练优化，整个过程耗费大量的时间，如何提高模型训练的效率至关重要。
目前在线(Inline)每颗缺陷(defect)包含三种不同类型的图像(image)以得到更丰富的缺陷(defect)信息，包括扫描电镜侧视图像(SEM Side View Image)，扫描电镜俯视图像(SEM Top View Image)以及OM图像(OM Image)。当前在模型训练图像预处理中采取三种类型图像二维拼接的方式，模型训练效率低(一个模型训练平均耗费一周)。
因此，需要提出一种新的方法来解决上述问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种提高多类型图片深度学习模型训练效率的方法，用于解决现有技术中模型训练图像预处理中采取三种类型图像二维拼接的方式，模型训练效率低的问题。
为实现上述目的及其他相关目的，本发明提供一种提高多类型图片深度学习模型训练效率的方法，至少包括：
步骤一、提供三张不同类型的图像，对该三张不同类型的图像进行尺寸变换；
步骤二、对经过尺寸变换后的三张不同类型的图像进行滤波去噪；
步骤三、对经过滤波去噪后的三张不同类型的图像进行裁剪；
步骤四、对经过裁剪的三张不同类型的图像进行图像组合，所述图像组合包括对该三张不同类型的图像进行三维堆叠。
优选地，步骤一中的所述不同类型的图像包括：扫描电镜侧视图像、扫描电镜俯视图像、OM图像。
优选地，步骤四中对该三张不同类型的图像进行三维堆叠后，所述图像组合的尺寸为3channel 320*320。
优选地，步骤四中对所述图像进行三维堆叠后使用3channel卷积核提取特征。
优选地，该方法还包括有步骤五、模型构建和优化；
优选地，步骤五中的模型构建和优化至少包括：1、模型调整；2、拒绝模型。
如上所述，本发明的提高多类型图片深度学习模型训练效率的方法，具有以下有益效果：本发明在预处理中将不同类型的图像进行三维堆叠，堆叠后图像尺寸为3Channel320*320，通过第一层深度学习神经网络使用3Channel卷积核减少后续神经网络层的计算量，进而提高模型训练的效率。
附图说明
图1显示为本发明和现有技术的Epoch循环次数的对比图；
图2显示为本发明和现有技术的预测Accuracy对比图；
图3显示为本发明的提高多类型图片深度学习模型训练效率的方法流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
请参阅图1至图3。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明提供一种提高多类型图片深度学习模型训练效率的方法，如图3所示，图3显示为本发明的提高多类型图片深度学习模型训练效率的方法流程图，该方法至少包括以下步骤：
步骤一、提供三张不同类型的图像，对该三张不同类型的图像进行尺寸变换；
本发明进一步地，本实施例的步骤一中的所述不同类型的图像包括：扫描电镜侧视图像、扫描电镜俯视图像、OM图像。也就是说步骤一中提供三张不同类型的图像，其中一张为扫描电镜侧视图像(SEM Side View Image)，一张为扫描电镜俯视图像(SEM Top ViewImage)，另一张为OM图像(OM Image)。之后对该三张不同类型的图像进行尺寸的变换。
步骤二、对经过尺寸变换后的三张不同类型的图像进行滤波去噪；也就是说分别对所述扫描电镜侧视图像(SEM Side View Image)、扫描电镜俯视图像(SEM Top ViewImage)以及OM图像(OM Image)进行滤波去噪，分别得到滤波去噪后的扫描电镜侧视图像(SEM Side View Image)、扫描电镜俯视图像(SEM Top View Image)以及OM图像(OMImage)。
步骤三、对经过滤波去噪后的三张不同类型的图像进行裁剪；也就是说该步骤中对经过滤波去噪后的所述扫描电镜侧视图像(SEM Side View Image)、扫描电镜俯视图像(SEM Top View Image)以及OM图像(OM Image)分别进行裁剪，得到裁剪后的扫描电镜侧视图像(SEM Side View Image)、扫描电镜俯视图像(SEM Top View Image)以及OM图像(OMImage)。
步骤四、对经过裁剪的三张不同类型的图像进行图像组合，所述图像组合包括对该三张不同类型的图像进行三维堆叠。
本发明进一步地，本实施例的步骤四中对该三张不同类型的图像进行三维堆叠后，所述图像组合的尺寸为3channel 320*320。
本发明进一步地，本实施例的步骤三中对所述图像进行三维堆叠后使用3channel卷积核提取特征
也就是说，本实施例的该步骤四对裁剪后的扫描电镜侧视图像(SEM Side ViewImage)、扫描电镜俯视图像(SEM Top View Image)以及OM图像(OM Image)进行三维堆叠后，所述图像组合的尺寸为3channel 320*320。
本发明进一步地，本实施例的该方法还包括有步骤五、模型构建和优化；
本发明进一步地，本实施例的步骤五中的模型构建和优化至少包括：1、模型调整；2、拒绝模型。
本发明进一步地，本实施例的步骤六、缺陷模型测试。
如图1和图2所示，图1显示为本发明和现有技术的Epoch循环次数的对比图。图2显示为本发明和现有技术的预测Accuracy对比图。如下为90CIS ILDSIN_DEP产品为例：Total11种缺陷类型(defect type)3697张image进行模型训练，本发明每小时epoch循环9.67次,较原方法(现有技术)每小时epoch循环20.93次，效率提高116％，一周lot缺陷(Defect)预测的平均准确率无差异。
综上所述，本发明预处理图像进行三维堆叠，堆叠后图像尺寸为3Channel320*320，通过第一层深度学习神经网络使用3Channel卷积核减少后续神经网络层的计算量，进而提高模型训练的效率。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (7)

1.一种提高多类型图片深度学习模型训练效率的方法，其特征在于，至少包括：
步骤一、提供三张不同类型的图像，对该三张不同类型的图像进行尺寸变换；
步骤二、对经过尺寸变换后的三张不同类型的图像进行滤波去噪；
步骤三、对经过滤波去噪后的三张不同类型的图像进行裁剪；
步骤四、对经过裁剪的三张不同类型的图像进行图像组合，所述图像组合包括对该三张不同类型的图像进行三维堆叠。
2.根据权利要求1所述的提高多类型图片深度学习模型训练效率的方法，其特征在于：步骤一中的所述不同类型的图像包括：扫描电镜侧视图像、扫描电镜俯视图像、OM图像。
3.根据权利要求1所述的提高多类型图片深度学习模型训练效率的方法，其特征在于：步骤四中对该三张不同类型的图像进行三维堆叠后，所述图像组合的尺寸为3channel320*320。
4.根据权利要求1所述的提高多类型图片深度学习模型训练效率的方法，其特征在于：步骤四中对所述图像进行三维堆叠后使用3channel卷积核提取特征。
5.根据权利要求1所述的提高多类型图片深度学习模型训练效率的方法，其特征在于：该方法还包括有步骤五、模型构建和优化。
6.根据权利要求1所述的提高多类型图片深度学习模型训练效率的方法，其特征在于：该方法还包括有步骤六、缺陷模型测试。
7.根据权利要求5所述的提高多类型图片深度学习模型训练效率的方法，其特征在于：步骤五中的模型构建和优化至少包括：1、模型调整；2、拒绝模型。
CN202011482436.0A 2020-12-16 2020-12-16 一种提高多类型图片深度学习模型训练效率的方法 Active CN112634215B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011482436.0A CN112634215B (zh) 2020-12-16 2020-12-16 一种提高多类型图片深度学习模型训练效率的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011482436.0A CN112634215B (zh) 2020-12-16 2020-12-16 一种提高多类型图片深度学习模型训练效率的方法

Publications (2)

Publication Number Publication Date
CN112634215A true CN112634215A (zh) 2021-04-09
CN112634215B CN112634215B (zh) 2022-06-07

Family

ID=75313293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011482436.0A Active CN112634215B (zh) 2020-12-16 2020-12-16 一种提高多类型图片深度学习模型训练效率的方法

Country Status (1)

Country Link
CN (1) CN112634215B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154134A (zh) * 2018-01-11 2018-06-12 天格科技（杭州）有限公司 基于深度卷积神经网络的互联网直播色情图像检测方法
CN111931751A (zh) * 2020-10-13 2020-11-13 深圳市瑞图生物技术有限公司 深度学习训练方法、目标物识别方法、系统和存储介质
CN111985161A (zh) * 2020-08-21 2020-11-24 广东电网有限责任公司清远供电局 一种变电站三维模型重构方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154134A (zh) * 2018-01-11 2018-06-12 天格科技（杭州）有限公司 基于深度卷积神经网络的互联网直播色情图像检测方法
CN111985161A (zh) * 2020-08-21 2020-11-24 广东电网有限责任公司清远供电局 一种变电站三维模型重构方法
CN111931751A (zh) * 2020-10-13 2020-11-13 深圳市瑞图生物技术有限公司 深度学习训练方法、目标物识别方法、系统和存储介质

Also Published As

Publication number Publication date
CN112634215B (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN112037219B (zh) 一种基于两阶段卷积神经网络的金属表面缺陷检测方法
Ren et al. Defect detection from X-ray images using a three-stage deep learning algorithm
CN112070727B (zh) 一种基于机器学习的金属表面缺陷检测方法
CN109919908A (zh) 发光二极管芯片缺陷检测的方法和装置
CN109242830A (zh) 一种基于深度学习的机器视觉技术检测方法
CN113628178B (zh) 一种速度与精度平衡的钢铁产品表面缺陷检测方法
CN113643228B (zh) 一种基于改进的CenterNet网络的核电站设备表面缺陷检测方法
US20210182615A1 (en) Alexnet-based insulator self-explosion recognition method
CN110598698A (zh) 基于自适应区域建议网络的自然场景文本检测方法和系统
CN111429510B (zh) 基于自适应特征金字塔的花粉检测方法
CN113012153A (zh) 一种铝型材瑕疵检测方法
CN115861281A (zh) 一种基于多尺度特征的免锚框表面缺陷检测方法
CN116205876A (zh) 基于多尺度标准化流的无监督笔记本外观缺陷检测方法
CN113763364B (zh) 一种基于卷积神经网络的图像缺陷检测方法
Chen et al. Detection of surface defects in solar cells by bidirectional-path feature pyramid group-wise attention detector
CN112837281B (zh) 基于级联卷积神经网络的销钉缺陷识别方法、装置和设备
CN110544249A (zh) 一种面向任意角度机箱装配视觉检测的卷积神经网络质量鉴别方法
CN112634215B (zh) 一种提高多类型图片深度学习模型训练效率的方法
CN111709936A (zh) 一种基于多级特征比对的令纸缺陷检测方法
CN116664941A (zh) 一种轴承套圈表面缺陷视觉检测方法
CN115641437A (zh) 工业缺陷实例分割方法
CN115601357A (zh) 一种基于小样本的冲压件表面缺陷检测方法
Chen et al. Research on anti-interference detection of 3D-printed ceramics surface defects based on deep learning
CN115795366A (zh) 基于多支路注意力机制的晶圆图故障模式识别方法
CN115587989A (zh) 一种工件ct图像缺陷检测分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant