CN114820429B - 一种基于生成式对抗网络的芯片爬胶高度识别方法和系统 - Google Patents

一种基于生成式对抗网络的芯片爬胶高度识别方法和系统 Download PDF

Info

Publication number
CN114820429B
CN114820429B CN202210148864.2A CN202210148864A CN114820429B CN 114820429 B CN114820429 B CN 114820429B CN 202210148864 A CN202210148864 A CN 202210148864A CN 114820429 B CN114820429 B CN 114820429B
Authority
CN
China
Prior art keywords
chip
climbing
glue
image
countermeasure network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210148864.2A
Other languages
English (en)
Other versions
CN114820429A (zh
Inventor
李辉
刘胜
张亿凯
覃浩平
申胜男
吕纯池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Luojia Intelligent Technology Co ltd
Original Assignee
Hunan Luojia Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Luojia Intelligent Technology Co ltd filed Critical Hunan Luojia Intelligent Technology Co ltd
Priority to CN202210148864.2A priority Critical patent/CN114820429B/zh
Publication of CN114820429A publication Critical patent/CN114820429A/zh
Application granted granted Critical
Publication of CN114820429B publication Critical patent/CN114820429B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种基于生成式对抗网络的芯片爬胶高度识别方法，包括：获取生产制造过程中芯片贴合时的爬胶高度图像；对芯片爬胶图像采集装置所采集的芯片爬胶图像进行预处理。对预处理后的芯片爬胶图像输入生成对抗网络进行训练。对芯片爬胶图像进行分割处理。计算由生成对抗网络所分割的芯片爬胶的高度。本发明在芯片爬胶图像处理中所使用的生成对抗网络能够生成大量的芯片爬胶模拟图像，有效扩大了数据集，大大减少了神经网络分析芯片爬胶图像类别特征的信息成本。本发明采用的生成对抗网络可以有效地区分芯片的爬胶与背景，并且将芯片的爬胶图像分割出来；本发明所使用的生成对抗网络模型使用了双分支结构，提高了模型的学习能力以及适应性，减少时间成本。

Description

一种基于生成式对抗网络的芯片爬胶高度识别方法和系统
技术领域
本发明涉及的是芯片生产测量领域，特别涉及一种基于生成式对抗网络的芯片爬胶高度识别方法。
背景技术
在芯片的生产制造中,爬胶高度对于芯片质量具有决定性的影响。芯片的爬胶高度由爬胶轮廓线与芯片底座边线的最大距离来确定，在通常情况下,芯片贴合时控制适宜的爬胶高度能够很好地控制芯片生产的质量。
对于芯片爬胶高度的测量可以采用图像处理的方式，但对图像的处理精度具有较高的要求。而目前获取芯片的爬胶高度的图像处理多采用显微镜粗略观察测量的手段,其存在滞后性和误差大等缺点，而传统的视觉和图像处理技术的检测精度又难以满足其应用要求，同时能够采集的图像数量也较少。因此，如何更精确并同时采用小数据集获取芯片爬胶高度对于生产制造出更优质芯片来说具有重大意义。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于生成式对抗网络的芯片爬胶高度识别方法和系统。
为了解决上述技术问题，本申请实施例公开了如下技术方案：
一种基于生成式对抗网络的芯片爬胶高度识别方法，包括：
S100.使用芯片爬胶图像采集装置对芯片生产制造过程中芯片贴合时的爬胶图像进行采集；
S200.对芯片爬胶图像采集装置所采集的芯片爬胶图像进行预处理；对芯片爬胶图像采集装置所采集的生产制造过程中芯片贴合时的爬胶图像标注出表示类别信息，将采集与标记后的爬胶图像小数据集做一系列随机变换来扩大训练数据集的规模，将经过随机变换后的爬胶图像小数据集作为用于生成对抗网络训练的数据集；
S300.对预处理后的芯片爬胶图像输入生成对抗网络进行训练；将S200训练数据集输入生成对抗网络的第一分支进行训练；在生成对抗网络模型训练完成后，向生成对抗网络模型的第一分支输入采集的爬胶图像，则生成对抗网络模型将会生成芯片爬胶的模拟图像；
S400.对芯片爬胶图像进行分割处理；将生成对抗网络模型生成的芯片爬胶的模拟图像与芯片爬胶图像采集装置所采集的生产制造过程中芯片贴合时的爬胶图像混合并分成用于训练和测试的两部分芯片爬胶数据集，同时对其进行平滑处理；将经过平滑处理后的芯片爬胶数据集输入生成对抗网络的第二分支，最终输出不同类别灰度的爬胶图像，完成对所输入芯片爬胶高度图像的爬胶与背景的分割处理；
S500.计算由生成对抗网络所分割的芯片爬胶的高度。
进一步地，S200中，对芯片爬胶图像采集装置所采集的生产制造过程中芯片贴合时的爬胶图像标注出表示类别信息，具体包括：将芯片爬胶图像中的爬胶使用不同的灰度来进行标注，所标注的图像区域将作为生成对抗网络的约束条件；并将芯片爬胶图像的像素格式统一调整为8-bit，大小为450×512像素，其灰度值范围为0到255。
进一步地，S300中，将预处理后的爬胶图像小数据集输入生成对抗网络的第一分支进行训练，生成对抗网络主要由生成模型和判别模型组成；生成模型的作用是在参照预处理后的芯片爬胶图像集后，不断地生成芯片爬胶图像的模拟图像，并计算出芯片爬胶模拟图像与芯片爬胶真实图像的特征损失，通过反向传播算法逐层计算生成器的梯度并更新参数；判别模型的作用是辨别生成器所生成的芯片爬胶模拟图像与真实的芯片爬胶图像，并将判别的结果由损失函数L计算出损失值，通过反向传播算法逐层计算判别器的梯度并更新参数，损失函数L为
Figure BDA0003509808690000031
其中，y为真实值，f(x)为预测的概率分布，c为类别标签；由判别模型与生成模型不断交替地进行对抗训练，直至判别模型无法分辨芯片爬胶图像是否由生成模型生成时训练终止。
进一步地，S400中，将芯片爬胶图像数据集进行平滑处理，具体包括：
对芯片爬胶图像数据集使用高斯滤波器移动相关核的中心元素，使它位于所述芯片爬胶图像待处理像素的正上方，再将芯片爬胶图像的像素值作为权重，乘以相关核将得到的结果相加作为输出从而去除高斯噪声；对经过高斯滤波后的两部分图像的每一像素点和邻域内的其他像素值进行加权平均，输出图像的像素均值，从而去除与爬胶图像不相关且扰乱图像的可观测信息噪声信号。
进一步地，S400中，将经过平滑处理后的芯片爬胶图像数据集输入生成对抗网络的第二分支进行分割处理，具体包括：
将芯片爬胶图像数据集分为两部分，其中80％用于训练数据集，20％作为测试数据集；将训练数据集输入生成对抗网络的第二分支的分类定位器中训练；所述分类定位器损失值由损失函数L计算求出，并使用L1正则化约束参数，从而降低生成对抗网络出现过拟合问题的频率，所述损失函数L为
Figure BDA0003509808690000032
其中，y为真实值，f(x)为预测的概率分布，c为类别标签；并且在所述分类定位器中使用Adam算法来优化模型，减少训练时间。
进一步地，当分类定位器所计算的损失值低于阈值或迭代次数或次数高于阈值时，完成对生成对抗网络第二分支的训练；将生成对抗网络第二分支所得到的爬胶和无关背景的分割图像输出到显示设备上；在所得到的爬胶和无关背景的分割图像中，利用爬胶和无关背景的灰度值不同分离出爬胶和无关背景。
进一步地，S500中，计算由生成对抗网络所分割的芯片爬胶的高度，具体包括：
计算芯片爬胶区域边界上任意两像素点间的距离，取距离为最大值的两像素点确定芯片侧面底边线的位置，计算此边界上任意像素点到该侧面底边线的距离，取最大值为芯片爬胶高度。
进一步地，硅胶区域边界上任意两像素点间距离定义为：
Figure BDA0003509808690000041
其中，xk,d,p,q为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第p行第q列像素点的横坐标,yk,d,p,q为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第p行第q列像素点的纵坐标；xk,d,m,n为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第m行第n列像素点的横坐标,yk,d,m,n为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第m行第n列像素点的纵坐标。
本发明还公开了一种基于生成式对抗网络的芯片爬胶高度识别系统，包括芯片爬胶图像采集单元、芯片爬胶图像预处理单元、生成对抗网络训练单元、芯片爬胶图像分割处理单元、芯片爬胶高度计算单元；其中：
芯片爬胶图像采集单元，用于对芯片生产制造过程中芯片贴合时的爬胶图像进行采集；
芯片爬胶图像预处理单元，用于对芯片爬胶图像采集装置所采集的生产制造过程中芯片贴合时的爬胶图像标注出表示类别信息，将采集与标记后的爬胶图像小数据集做一系列随机变换来扩大训练数据集的规模，将经过随机变换后的爬胶图像小数据集作为用于生成对抗网络训练的数据集；
生成对抗网络训练单元，用于对预处理后的芯片爬胶图像输入生成对抗网络进行训练；将S200训练数据集输入生成对抗网络的第一分支进行训练；在生成对抗网络模型训练完成后，向生成对抗网络模型的第一分支输入采集的爬胶图像，则生成对抗网络模型将会生成芯片爬胶的模拟图像
芯片爬胶图像分割处理单元，用于将生成对抗网络模型生成的芯片爬胶的模拟图像与芯片爬胶图像采集装置所采集的生产制造过程中芯片贴合时的爬胶图像混合并分成用于训练和测试的两部分芯片爬胶数据集，同时对其进行平滑处理；将经过平滑处理后的芯片爬胶数据集输入生成对抗网络的第二分支，最终输出不同类别灰度的爬胶图像，完成对所输入芯片爬胶高度图像的爬胶与背景的分割处理；
芯片爬胶高度计算单元，用于计算由生成对抗网络所分割的芯片爬胶的高度。
本发明实施例提供的上述技术方案的有益效果至少包括：
本发明公开的一种基于生成式对抗网络的芯片爬胶高度识别方法和系统，在芯片爬胶图像处理中所使用的生成对抗网络能够生成大量的芯片爬胶模拟图像，有效扩大了数据集，大大减少了神经网络分析芯片爬胶图像类别特征的信息成本。本发明采用的生成对抗网络可以有效地区分芯片的爬胶与背景，并且将芯片的爬胶图像分割出来，其分割性能与手工分割非常接近。本发明所使用的生成对抗网络模型使用了双分支结构，在保留一般生成对抗网络优点的同时，不仅能够高效地完成生成并分割芯片爬胶图像的功能，而且提高了模型的学习能力以及适应性，大大减少时间成本。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例1中，一种基于生成式对抗网络的芯片爬胶高度识别方法的流程图；
图2为本发明实施例1中，一种基于生成式对抗网络的芯片爬胶高度识别系统的结构图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为了解决现有技术中存在的问题，本发明实施例提供一种基于生成式对抗网络的芯片爬胶高度识别方法和系统。
实施例1
本实施例公开了一种基于生成式对抗网络的芯片爬胶高度识别方法，如图1，包括：
S100.使用芯片爬胶图像采集装置对芯片生产制造过程中芯片贴合时的爬胶图像进行采集；具体的，由芯片爬胶图像采集装置拍摄生产制造过程中芯片贴合时的爬胶图像，并上传装置所连接的电脑。
S200.对芯片爬胶图像采集装置所采集的芯片爬胶图像进行预处理；对芯片爬胶图像采集装置所采集的生产制造过程中芯片贴合时的爬胶图像标注出表示类别信息，将采集与标记后的爬胶图像小数据集做一系列随机变换来扩大训练数据集的规模，将经过随机变换后的爬胶图像小数据集作为用于生成对抗网络训练的数据集；
在本实施例的S200中，对芯片爬胶图像采集装置所采集的生产制造过程中芯片贴合时的爬胶图像标注出表示类别信息，具体包括：将芯片爬胶图像中的爬胶使用不同的灰度来进行标注，所标注的图像区域将作为生成对抗网络的约束条件；并将芯片爬胶图像的像素格式统一调整为8-bit，大小为450×512像素，其灰度值范围为0到255。
S300.对预处理后的芯片爬胶图像输入生成对抗网络进行训练；将S200训练数据集输入生成对抗网络的第一分支进行训练；在生成对抗网络模型训练完成后，向生成对抗网络模型的第一分支输入采集的爬胶图像，则生成对抗网络模型将会生成芯片爬胶的模拟图像；
在本实施例的S300中，将预处理后的爬胶图像小数据集输入生成对抗网络的第一分支进行训练，生成对抗网络主要由生成模型和判别模型组成；生成模型的作用是在参照预处理后的芯片爬胶图像集后，不断地生成芯片爬胶图像的模拟图像，并计算出芯片爬胶模拟图像与芯片爬胶真实图像的特征损失，通过反向传播算法逐层计算生成器的梯度并更新参数；判别模型的作用是辨别生成器所生成的芯片爬胶模拟图像与真实的芯片爬胶图像，并将判别的结果由损失函数L计算出损失值，通过反向传播算法逐层计算判别器的梯度并更新参数，损失函数L为
Figure BDA0003509808690000071
其中，y为真实值，f(x)为预测的概率分布，c为类别标签；由判别模型与生成模型不断交替地进行对抗训练，直至判别模型无法分辨芯片爬胶图像是否由生成模型生成时训练终止。
S400.对芯片爬胶图像进行分割处理；将生成对抗网络模型生成的芯片爬胶的模拟图像与芯片爬胶图像采集装置所采集的生产制造过程中芯片贴合时的爬胶图像混合并分成用于训练和测试的两部分芯片爬胶数据集，同时对其进行平滑处理；将经过平滑处理后的芯片爬胶数据集输入生成对抗网络的第二分支，最终输出不同类别灰度的爬胶图像，完成对所输入芯片爬胶高度图像的爬胶与背景的分割处理；
在本实施例的S400中，将芯片爬胶图像数据集进行平滑处理，具体包括：
对芯片爬胶图像数据集使用高斯滤波器移动相关核的中心元素，使它位于所述芯片爬胶图像待处理像素的正上方，再将芯片爬胶图像的像素值作为权重，乘以相关核将得到的结果相加作为输出从而去除高斯噪声；对经过高斯滤波后的两部分图像的每一像素点和邻域内的其他像素值进行加权平均，输出图像的像素均值，从而去除与爬胶图像不相关且扰乱图像的可观测信息噪声信号。
在一些优选实施例中，将经过平滑处理后的芯片爬胶图像数据集输入生成对抗网络的第二分支进行分割处理，具体包括：
将芯片爬胶图像数据集分为两部分，其中80％用于训练数据集，20％作为测试数据集；将训练数据集输入生成对抗网络的第二分支的分类定位器中训练；所述分类定位器损失值由损失函数L计算求出，并使用L1正则化约束参数，从而降低生成对抗网络出现过拟合问题的频率，所述损失函数L为
Figure BDA0003509808690000081
其中，y为真实值，f(x)为预测的概率分布，c为类别标签；并且在所述分类定位器中使用Adam算法来优化模型，减少训练时间。
当分类定位器所计算的损失值低于阈值或迭代次数或次数高于阈值时，完成对生成对抗网络第二分支的训练；将生成对抗网络第二分支所得到的爬胶和无关背景的分割图像输出到显示设备上；在所得到的爬胶和无关背景的分割图像中，利用爬胶和无关背景的灰度值不同分离出爬胶和无关背景。
S500.计算由生成对抗网络所分割的芯片爬胶的高度。具体的，S500中，计算由生成对抗网络所分割的芯片爬胶的高度，具体包括：
计算芯片爬胶区域边界上任意两像素点间的距离，取距离为最大值的两像素点确定芯片侧面底边线的位置，计算此边界上任意像素点到该侧面底边线的距离，取最大值为芯片爬胶高度。
硅胶区域边界上任意两像素点间距离定义为：
Figure BDA0003509808690000082
其中，xk,d,p,q为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第p行第q列像素点的横坐标,yk,d,p,q为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第p行第q列像素点的纵坐标；xk,d,m,n为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第m行第n列像素点的横坐标,yk,d,m,n为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第m行第n列像素点的纵坐标。
本实施例还公开了一种基于生成式对抗网络的芯片爬胶高度识别系统，如图2，包括芯片爬胶图像采集单元、芯片爬胶图像预处理单元、生成对抗网络训练单元、芯片爬胶图像分割处理单元、芯片爬胶高度计算单元；其中：
芯片爬胶图像采集单元，用于对芯片生产制造过程中芯片贴合时的爬胶图像进行采集；
芯片爬胶图像预处理单元，用于对芯片爬胶图像采集装置所采集的生产制造过程中芯片贴合时的爬胶图像标注出表示类别信息，将采集与标记后的爬胶图像小数据集做一系列随机变换来扩大训练数据集的规模，将经过随机变换后的爬胶图像小数据集作为用于生成对抗网络训练的数据集；
生成对抗网络训练单元，用于对预处理后的芯片爬胶图像输入生成对抗网络进行训练；将S200训练数据集输入生成对抗网络的第一分支进行训练；在生成对抗网络模型训练完成后，向生成对抗网络模型的第一分支输入采集的爬胶图像，则生成对抗网络模型将会生成芯片爬胶的模拟图像
芯片爬胶图像分割处理单元，用于将生成对抗网络模型生成的芯片爬胶的模拟图像与芯片爬胶图像采集装置所采集的生产制造过程中芯片贴合时的爬胶图像混合并分成用于训练和测试的两部分芯片爬胶数据集，同时对其进行平滑处理；将经过平滑处理后的芯片爬胶数据集输入生成对抗网络的第二分支，最终输出不同类别灰度的爬胶图像，完成对所输入芯片爬胶高度图像的爬胶与背景的分割处理；
芯片爬胶高度计算单元，用于计算由生成对抗网络所分割的芯片爬胶的高度。
具体的，芯片爬胶图像采集单元、芯片爬胶图像预处理单元、生成对抗网络训练单元、芯片爬胶图像分割处理单元和芯片爬胶高度计算单元具体的工作方法已在上述进行了详细描述，再此不在进行赘述。
本实施例公开的一种基于生成式对抗网络的芯片爬胶高度识别方法和系统，在芯片爬胶图像处理中所使用的生成对抗网络能够生成大量的芯片爬胶模拟图像，有效扩大了数据集，大大减少了神经网络分析芯片爬胶图像类别特征的信息成本。本发明采用的生成对抗网络可以有效地区分芯片的爬胶与背景，并且将芯片的爬胶图像分割出来，其分割性能与手工分割非常接近。本发明所使用的生成对抗网络模型使用了双分支结构，在保留一般生成对抗网络优点的同时，不仅能够高效地完成生成并分割芯片爬胶图像的功能，而且提高了模型的学习能力以及适应性，大大减少时间成本。
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。
结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。
对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

Claims (6)

1.一种基于生成式对抗网络的芯片爬胶高度识别方法，其特征在于，包括：
S100.使用芯片爬胶图像采集装置对芯片生产制造过程中芯片贴合时的爬胶图像进行采集；S200.对芯片爬胶图像采集装置所采集的芯片爬胶图像进行预处理；对芯片爬胶图像采集装置所采集的生产制造过程中芯片贴合时的爬胶图像标注出表示类别信息，将采集与标记后的爬胶图像小数据集做一系列随机变换来扩大训练数据集的规模，将经过随机变换后的爬胶图像小数据集作为用于生成对抗网络训练的数据集；
S300.将预处理后的芯片爬胶图像输入生成对抗网络进行训练；将生成对抗网络训练的数据集输入生成对抗网络的第一分支进行训练；在生成对抗网络模型训练完成后，向生成对抗网络模型的第一分支输入采集的爬胶图像，则生成对抗网络模型将会生成芯片爬胶的模拟图像；S400.对芯片爬胶图像进行分割处理；将生成对抗网络模型生成的芯片爬胶的模拟图像与芯片爬胶图像采集装置所采集的生产制造过程中芯片贴合时的爬胶图像混合并分成用于训练和测试的两部分芯片爬胶图像数据集，同时对其进行平滑处理；将经过平滑处理后的芯片爬胶数据集输入生成对抗网络的第二分支，最终输出不同类别灰度的爬胶图像，完成对所输入芯片爬胶图像的爬胶与背景的分割处理；
S400中，所述平滑处理，具体包括：
对芯片爬胶图像数据集使用高斯滤波器移动相关核的中心元素，使它位于所述芯片爬胶图像待处理像素的正上方，再将芯片爬胶图像的像素值作为权重，乘以相关核将得到的结果相加作为输出；对经过高斯滤波后的两部分芯片爬胶图像数据集的图像的每一像素点和邻域内的其他像素值进行加权平均，输出图像的像素均值；
S400中，将经过平滑处理后的芯片爬胶数据集输入生成对抗网络的第二分支，最终输出不同类别灰度的爬胶图像，完成对所输入芯片爬胶图像的爬胶与背景的分割处理，具体包括：
将芯片爬胶图像数据集分为两部分，其中80％用于训练数据集，20％作为测试数据集；将训练数据集输入生成对抗网络的第二分支的分类定位器中训练；分类定位器损失值由损失函数L计算求出，并使用L1正则化约束参数，所述损失函数L为
Figure FDA0004174578140000011
其中，y为真实值，f(x)为预测的概率分布，c为类别标签；并且在所述分类定位器中使用Adam算法来优化模型；
当分类定位器所计算的损失值低于阈值时，完成对生成对抗网络第二分支的训练；将生成对抗网络第二分支所得到的爬胶和无关背景的分割图像输出到显示设备上；在所得到的爬胶和无关背景的分割图像中，利用爬胶和无关背景的灰度值不同分离出爬胶和无关背景；
S500.计算由生成对抗网络所分割的芯片爬胶的高度。
2.如权利要求1所述的一种基于生成式对抗网络的芯片爬胶高度识别方法，其特征在于，S200中，对芯片爬胶图像采集装置所采集的生产制造过程中芯片贴合时的爬胶图像标注出表示类别信息，具体包括：将芯片爬胶图像中的爬胶使用不同的灰度来进行标注，所标注的图像区域将作为生成对抗网络的约束条件；并将芯片爬胶图像的像素格式统一调整为8-bit，大小为450×512像素，其灰度值范围为0到255。
3.如权利要求1所述的一种基于生成式对抗网络的芯片爬胶高度识别方法，其特征在于，S300中，将生成对抗网络训练的数据集输入生成对抗网络的第一分支进行训练，生成对抗网络主要由生成模型和判别模型组成；生成模型的作用是在参照预处理后的芯片爬胶图像集后，不断地生成芯片爬胶图像的模拟图像，并计算出芯片爬胶模拟图像与芯片爬胶真实图像的特征损失，通过反向传播算法逐层计算生成模型的梯度并更新参数；判别模型的作用是辨别生成器所生成的芯片爬胶模拟图像与真实的芯片爬胶图像，并将判别的结果由损失函数L计算出损失值，通过反向传播算法逐层计算判别模型的梯度并更新参数，损失函数L为
Figure FDA0004174578140000021
其中，y为真实值，f(x)为预测的概率分布，c为类别标签；
由判别模型与生成模型不断交替地进行对抗训练，直至判别模型无法分辨芯片爬胶图像是否由生成模型生成时训练终止。
4.如权利要求1所述的一种基于生成式对抗网络的芯片爬胶高度识别方法，其特征在于，S500中，计算由生成对抗网络所分割的芯片爬胶的高度，具体包括：
计算芯片爬胶区域边界上任意两像素点间的距离，取距离为最大值的两像素点确定芯片侧面底边线的位置，计算此边界上任意像素点到该芯片侧面底边线的距离，取最大值为芯片爬胶高度。
5.如权利要求4所述的一种基于生成式对抗网络的芯片爬胶高度识别方法，其特征在于，爬胶图像硅胶区域边界上任意两像素点间距离定义为：
Figure FDA0004174578140000022
其中，xk,d,p,q为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第p行第q列像素点的横坐标,yk,d,p,q为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第p行第q列像素点的纵坐标；xk,d,m,n为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第m行第n列像素点的横坐标,yk,d,m,n为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第m行第n列像素点的纵坐标。
6.一种基于生成式对抗网络的芯片爬胶高度识别系统，其特征在于，包括芯片爬胶图像采集单元、芯片爬胶图像预处理单元、生成对抗网络训练单元、芯片爬胶图像分割处理单元、芯片爬胶高度计算单元；其中：
芯片爬胶图像采集单元，用于对芯片生产制造过程中芯片贴合时的爬胶图像进行采集；
芯片爬胶图像预处理单元，用于对芯片爬胶图像采集装置所采集的生产制造过程中芯片贴合时的爬胶图像标注出表示类别信息，将采集与标记后的爬胶图像小数据集做一系列随机变换来扩大训练数据集的规模，将经过随机变换后的爬胶图像小数据集作为用于生成对抗网络训练的数据集；
生成对抗网络训练单元，用于将预处理后的芯片爬胶图像输入生成对抗网络进行训练；将生成对抗网络训练的数据集输入生成对抗网络的第一分支进行训练；在生成对抗网络模型训练完成后，向生成对抗网络模型的第一分支输入采集的爬胶图像，则生成对抗网络模型将会生成芯片爬胶的模拟图像；
芯片爬胶图像分割处理单元，用于对芯片爬胶图像进行分割处理；将生成对抗网络模型生成的芯片爬胶的模拟图像与芯片爬胶图像采集装置所采集的生产制造过程中芯片贴合时的爬胶图像混合并分成用于训练和测试的两部分芯片爬胶图像数据集，同时对其进行平滑处理；将经过平滑处理后的芯片爬胶数据集输入生成对抗网络的第二分支，最终输出不同类别灰度的爬胶图像，完成对所输入芯片爬胶图像的爬胶与背景的分割处理；
所述平滑处理，具体包括：
对芯片爬胶图像数据集使用高斯滤波器移动相关核的中心元素，使它位于所述芯片爬胶图像待处理像素的正上方，再将芯片爬胶图像的像素值作为权重，乘以相关核将得到的结果相加作为输出；对经过高斯滤波后的两部分芯片爬胶图像数据集的图像的每一像素点和邻域内的其他像素值进行加权平均，输出图像的像素均值；
将经过平滑处理后的芯片爬胶数据集输入生成对抗网络的第二分支，最终输出不同类别灰度的爬胶图像，完成对所输入芯片爬胶图像的爬胶与背景的分割处理，具体包括：
将芯片爬胶图像数据集分为两部分，其中80％用于训练数据集，20％作为测试数据集；将训练数据集输入生成对抗网络的第二分支的分类定位器中训练；分类定位器损失值由损失函数L计算求出，并使用L1正则化约束参数，所述损失函数L为
Figure FDA0004174578140000041
其中，y为真实值，f(x)为预测的概率分布，c为类别标签；并且在所述分类定位器中使用Adam算法来优化模型；
当分类定位器所计算的损失值低于阈值时，完成对生成对抗网络第二分支的训练；将生成对抗网络第二分支所得到的爬胶和无关背景的分割图像输出到显示设备上；在所得到的爬胶和无关背景的分割图像中，利用爬胶和无关背景的灰度值不同分离出爬胶和无关背景；
芯片爬胶高度计算单元，用于计算由生成对抗网络所分割的芯片爬胶的高度。
CN202210148864.2A 2022-02-18 2022-02-18 一种基于生成式对抗网络的芯片爬胶高度识别方法和系统 Active CN114820429B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210148864.2A CN114820429B (zh) 2022-02-18 2022-02-18 一种基于生成式对抗网络的芯片爬胶高度识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210148864.2A CN114820429B (zh) 2022-02-18 2022-02-18 一种基于生成式对抗网络的芯片爬胶高度识别方法和系统

Publications (2)

Publication Number Publication Date
CN114820429A CN114820429A (zh) 2022-07-29
CN114820429B true CN114820429B (zh) 2023-06-16

Family

ID=82527044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210148864.2A Active CN114820429B (zh) 2022-02-18 2022-02-18 一种基于生成式对抗网络的芯片爬胶高度识别方法和系统

Country Status (1)

Country Link
CN (1) CN114820429B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544555A (zh) * 2018-11-26 2019-03-29 陕西师范大学 基于生成式对抗网络的细小裂缝分割方法
CN109886970A (zh) * 2019-01-18 2019-06-14 南京航空航天大学 太赫兹图像中目标物体的检测分割方法及计算机存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177984B (zh) * 2013-03-22 2015-12-02 江苏艾科瑞思封装自动化设备有限公司 封装全过程视觉监控方法
GB201809604D0 (en) * 2018-06-12 2018-07-25 Tom Tom Global Content B V Generative adversarial networks for image segmentation
CN112634190B (zh) * 2019-09-24 2024-08-13 上海汽车集团股份有限公司 一种涂胶检测方法及装置
CN112686894B (zh) * 2021-03-10 2021-06-04 武汉大学 基于生成式对抗网络的fpcb板缺陷检测方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544555A (zh) * 2018-11-26 2019-03-29 陕西师范大学 基于生成式对抗网络的细小裂缝分割方法
CN109886970A (zh) * 2019-01-18 2019-06-14 南京航空航天大学 太赫兹图像中目标物体的检测分割方法及计算机存储介质

Also Published As

Publication number Publication date
CN114820429A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN108830188B (zh) 基于深度学习的车辆检测方法
CN110021425B (zh) 一种比较检测器及其构建方法与宫颈癌细胞检测方法
CN110210448B (zh) 一种智能人脸皮肤老化程度的识别与评估方法
CN108921201B (zh) 基于特征组合与cnn的大坝缺陷识别与分类方法
CN108537751B (zh) 一种基于径向基神经网络的甲状腺超声图像自动分割方法
CN111932511B (zh) 一种基于深度学习的电子元器件质量检测方法与系统
CN111428625A (zh) 一种基于深度学习的交通场景目标检测方法及系统
CN114091606A (zh) 一种隧道爆破炮孔半眼痕识别和损伤平整度评价分类方法
CN114820625B (zh) 一种汽车顶块缺陷检测方法
CN112232371A (zh) 一种基于YOLOv3与文本识别的美式车牌识别方法
CN112365497A (zh) 基于TridentNet和Cascade-RCNN结构的高速目标检测方法和系统
CN102214290B (zh) 车牌定位方法及车牌定位模板训练方法
CN111724566A (zh) 基于智慧灯杆视频监控系统的行人跌倒检测方法和装置
CN110263867A (zh) 一种钢轨伤损分类方法
CN111914902A (zh) 一种基于深度神经网络的中药识别与表面缺陷检测方法
US20240304007A1 (en) Method and system for the segmentation and clustering of nuclei based on single-cell pathological images
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN106682604B (zh) 一种基于深度学习的模糊图像检测方法
CN111931663A (zh) 一种基于深度学习的荧光免疫层析定量图像寻峰算法
CN111414930B (zh) 深度学习模型训练方法及装置、电子设备及存储介质
CN113673396B (zh) 一种孢子发芽率计算方法、装置及存储介质
CN108805181B (zh) 一种基于多分类模型的图像分类装置及分类方法
CN114972153A (zh) 一种基于深度学习的桥梁振动位移视觉测量方法及系统
CN110059573A (zh) 基于图像识别的野山参分级检定方法
CN106548195A (zh) 一种基于改进型hog‑ulbp特征算子的目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 414022 floors 2, 3 and 4, R & D building, Yueyang modern equipment manufacturing industrial park, muligang Avenue, Yueyang Economic and Technological Development Zone, Hunan Province

Applicant after: Hunan Luojia Intelligent Technology Co.,Ltd.

Address before: 414000 floors 2, 3 and 4, R & D building, Yueyang modern equipment manufacturing industrial park, muligang Avenue, Yueyang Economic and Technological Development Zone, Hunan Province

Applicant before: Yueyang Luojia Intelligent Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant