CN114549454A - 一种生产线芯片爬胶高度在线监控方法和系统 - Google Patents

一种生产线芯片爬胶高度在线监控方法和系统 Download PDF

Info

Publication number
CN114549454A
CN114549454A CN202210152950.0A CN202210152950A CN114549454A CN 114549454 A CN114549454 A CN 114549454A CN 202210152950 A CN202210152950 A CN 202210152950A CN 114549454 A CN114549454 A CN 114549454A
Authority
CN
China
Prior art keywords
climbing
image
silica gel
chip
glue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210152950.0A
Other languages
English (en)
Inventor
李辉
刘胜
张亿凯
岳浩文
申胜男
朱文康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yueyang Luojia Intelligent Technology Co ltd
Original Assignee
Yueyang Luojia Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yueyang Luojia Intelligent Technology Co ltd filed Critical Yueyang Luojia Intelligent Technology Co ltd
Priority to CN202210152950.0A priority Critical patent/CN114549454A/zh
Publication of CN114549454A publication Critical patent/CN114549454A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

一种生产线芯片爬胶高度在线监控方法，包括：采集同一时刻四个方向的爬胶图像；将图像数据集的图像进行图像预处理，将预处理后的爬胶图像进行人工标注；将预处理后的刻爬胶图像作为训练集输入生成式对抗网络，得到生成式对抗网络；将待检测的图像输入优化后的生成式对抗网络得到预测硅胶边框；对由生成式对抗网络预测得到的硅胶区域预测框内的区域，由Canny算子提取硅胶边界；计算经由Canny算子提取的硅胶区域边界上任意两像素点间的距离，获取芯片爬胶高度；比较获取的爬胶高度与经验总结的该芯片贴合时的爬胶高度极限值，输出信号及时调节机械臂。本发明相比于现有技术，具有更精确、不易疲劳的优点，节省人力减少损耗和降低成本的优点。

Description

一种生产线芯片爬胶高度在线监控方法和系统
技术领域
本发明涉及的是芯片生产测量领域,特别涉及一种生产线芯片爬胶高度在线监控方法和系统。
背景技术
芯片生产过程中贴合时的爬胶高度是芯片质量高低的重要评判指标之一。根据一线生产工人的经验可知，芯片的爬胶高度可以由爬胶轮廓线与芯片底座边线的最大距离来确定，控制好适宜的爬胶高度对于芯片质量意义重大。传统的利用肉眼观察或者普通光学设备观察爬胶高度的方法存在费时费力的情况，目前已经不合时宜。基于人工智能的图像处理具有高精度、低延时的优点，可以将其应用于芯片爬胶高度的实时监测中，同时依靠监测结果实时调控机械臂进而控制适宜的爬胶高度。
发明内容
鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种生产线芯片爬胶高度在线监控方法和系统。
为了解决上述技术问题，本申请实施例公开了如下技术方案：
一种生产线芯片爬胶高度在线监控方法，包括：
S100.爬胶图像捕捉单元采集同一时刻四个方向的爬胶图像，并传输至图像处理系统构建图像数据集；
S200.将图像数据集中每个方位每个采集时刻的图像进行图像预处理，得到预处理后的每个方位每个采集时刻的爬胶图像，将预处理后的每个方位每个采集时刻的爬胶图像进行人工标注，得到每个方位每个采集时刻对应的爬胶图像的硅胶边框；
S300.将S200预处理后的每个方位每个采集时刻爬胶图像作为训练集输入生成式对抗网络，将每个方位的图像对应的硅胶边框作为图像标签，进一步结合生成式对抗网络预测的硅胶边框构建生成式对抗网络的损失函数模型，进一步对网络优化训练后，得到生成式对抗网络；
S400.将待检测的图像输入优化后的生成式对抗网络得到预测硅胶边框；
S500.对由生成式对抗网络预测得到的硅胶区域预测框内的区域，由Canny算子提取硅胶边界；
S600.计算经由Canny算子提取的硅胶区域边界上任意两像素点间的距离，取距离为最大值的两像素点确定芯片侧面底边线的位置，计算此边界上任意两像素点间的距离，取最大值为芯片爬胶高度；
S700.比较爬胶高度与经验总结所得的该种芯片贴合时的爬胶高度极限值对比，若小于该极限值，则输出信号令芯片贴合机器的机械臂继续下压，贴合过程继续，同时若发现四边的爬胶高度出现倾斜现象，则输出信号及时调节机械臂方位使之对正；反之，则输出信号令芯片贴合机器的机械臂停止下压，贴合过程停止。
进一步的，S100中，图像数据集为：
picturek,d(i,j)
k∈[1,K],d∈[1,D],i∈[1,M],j∈[1,N]
其中，picturek,d为第k个采集时刻第d个方位采集的图像，picturek,d(i,j)为第k个采集时刻第d个方位采集的图像上第i行第j列的像素，K＝1500为采集时刻的数量，D＝4为方位的数量，M＝1080为图像像素行的数量，N＝2160为图像像素列的数量。
进一步的，S200中，图像预处理具体为：图像预处理系统对每个方位每个采集时刻的爬胶图像进行灰度化处理、平滑滤波；具体的，灰度化处理，即将每个方位每个采集时刻的爬胶图像转化为每个方位每个采集时刻的灰度图像；平滑滤波，即消除每个方位每个采集时刻的灰度图像中的干扰噪声，得到预处理后的每个方位每个采集时刻的爬胶图像。
进一步的，S200中，预处理后的每个方位每个采集时刻的爬胶图像为：
Climbing-gluek,d(i,j)
k∈[1,K],d∈[1,D],i∈[1,M],j∈[1,N]
其中，Climbing-gluek,d为第k个采集时刻第d个方位采集的图像，Climbing-gluek,d(i,j)为第k个采集时刻第d个方位采集的灰度图像上第i行第j列的像素，K＝1500为采集时刻的数量，D＝4为方位的数量，M＝1080为图像像素行的数量，N＝2160为图像像素列的数量。
进一步的，S200中，经由人工标注得到的每个方位每个采集时刻的爬胶图像对应的硅胶边框定义为：
RG-gjbkk,d＝(RG-gjbkk,d,l,b,RG-gjbkk,d,r,t)
RG-gjbkk,d,l,b＝(Xk,d,l,b，Yk,d,l,b)
RG-gjbkk,d,r,t＝(Xk,d,r,t，Yk,d,r,t)
k∈[1,K],d∈[1,D]
其中，RG-gjbkk,d为第k个采集时刻第d个方位的人工标记硅胶边框线，K＝1500为采集时刻的数量，D＝4为方位的数量；RG-gjbkk,d,l,b为人工标记硅胶边框的左下角像素点，Xk,d,l,b为人工标记硅胶边框的左下角像素点的横坐标，Yk,d,l,b为人工标记硅胶边框的左下角像素点的纵坐标；RG-gjbkk,d,r,t为人工标记硅胶边框的右上角像素点，Xk,d,r,t为人工标记硅胶边框的右上角像素点的横坐标，Yk,d,r,t为人工标记硅胶边框的右上角像素点的纵坐标；人工标记硅胶边框是由左下角与右上角两像素点确定的矩形边框。
进一步的，S300中，生成式对抗网络由生成器模块和判断器模块级联组成；其中，生成器模块由输入层、噪化层依次级联构成；具体的，输入层将第k个采集时刻的芯片爬胶图像即picturek,d(i,j)通过均值零化、方差归一化方法，将得到第k个采集时刻的标准化图像输出至噪化层；噪化层对标准化图像给予3×3区域内的像素进行3×3，步长取3的最大噪化运算，构成特征图(M4×M4×C4)；判别器模块由降噪层、softmax层级联构成；其中，降噪层对特征图(M4×M4×C4)进行横向、纵向叠加运算，在噪化图像中心位置3×3，步长取1的上采样，扩大图像维度，还原输入的特征对应的图像，3×3降噪核遍历整个输入特征图得到的所有输出值构成复原图img(M×M)；softmax层对输入的特征图的N个特征构建N×1的列向量矩阵，对各值网络输出指数运算后输出另一个N×1的矩阵，其中列向量各元素为softmax层判定所输入特征分属各类别的概率，从而获知是否是硅胶边界线和芯片侧面底边线的判定值。
进一步的，softmax层内的soft_max函数计算类别θ的概率值φθ定义如下：
Figure BDA0003511318960000041
其中
Figure BDA0003511318960000042
为要计算的类别θ的网络输出的指数，分母上为网络输出的所有类别的指数之和，一共α＝2个类别，α0指硅胶边框不存在，判定值为0，α1指硅胶边框存在，判定值为1；以此得到类别θ的概率值。
进一步的，S300中，经由生成器生成的每个方位每个采集时刻的芯片爬胶图样对应的预测硅胶边框定义为：
YC-gjbkk,d＝(YC-gjbkk,d,l,b,YC-gjbkk,d,r,t)
YC-gjbkk,d,l,b＝(Xk,d,l,b，Yk,d,l,b)
YC-gjbkk,d,r,t＝(Xk,d,r,t，Yk,d,r,t)
k∈[1,K],d∈[1,D]
其中，YC-gjbkk,d为第k个采集时刻第d个方位的预测硅胶边框线，K＝1500为采集时刻的数量，D＝4为方位的数量；YC-gjbkk,d,l,b为预测硅胶边框的左下角像素点，Xk,d,l,b为预测硅胶边框的左下角像素点的横坐标，Yk,d,l,b为预测硅胶边框的左下角像素点的纵坐标；YC-gjbkk,d,r,t为预测硅胶边框的右上角像素点，Xk,d,r,t为预测硅胶边框的右上角像素点的横坐标，Yk,d,r,t为预测硅胶边框的右上角像素点的纵坐标；预测硅胶边框是由左下角与右上角两像素点确定的矩形边框。
进一步的，S300中，对抗神经网络损失函数模型的具体定义为：
Figure BDA0003511318960000051
其中，RG-gjbkk,d是第k个时刻第d个方位的爬胶图样对应的人工标记硅胶边框的标签，YC-gjbkk,d是第k个时刻第d个方位的爬胶图样对应的预测硅胶边框，φθ，c为由soft_max函数计算出的样本空间中总共C个爬胶图像中硅胶边框样本中第c个图像为硅胶边界线图像的预测概率值，C为对抗神经网络训练集中硅胶边框样本的总数量，其中c∈[1，C]；如果Loss的值小于0.5，则可以认为预测硅胶边框与实际的硅胶边框误差可以接受，即生成式对抗网络已经成功建立，后续只需要将实时拍摄的爬胶图样导入该网络即可得到所需硅胶边界线以及芯片侧面底边线；否，则认为损失函数过大，生成式对抗网络未建立成功，则需要重复步骤3的过程，直至Loss的值小于0.5。
进一步的，S300中，对网络优化训练得到优化后生成式对抗网络为：
Figure BDA0003511318960000052
利用生成式对抗网络训练集中爬胶图像作为训练元输入至生成式对抗网络，通过生成式对抗网络预测得到硅胶判定值tag存在与否，进一步结合神经网络数据集中硅胶边框的tag构建生成式对抗网络损失函数，通过优化训练直至生成式对抗网络损失函数达到Nash均衡。
进一步的，S400中，将实时拍摄的图像输入优化后的生成式对抗网络得到的硅胶预测边框定义为：
gjbkk,d＝(gjbkk,d,l,b,gjbkk,d,r,t)
gjbkk,d,l,b＝(Xk,d,l,b，Yk,d,l,b)
gjbkk,d,r,t＝(Xk,d,r,t，Yk,d,r,t)
k∈[1,K],d∈[1,D]
其中，gjbkk,d为第k个采集时刻第d个方位的生成式对抗网络预测的硅胶边框，K＝1500为采集时刻的数量，D＝4为方位的数量；gjbkk,d,l,b为生成式对抗网络预测的硅胶边框的左下角像素点，Xk,d,l,b为生成式对抗网络预测的硅胶边框的左下角像素点的横坐标，Yk,d,l,b为生成式对抗网络预测的硅胶边框的左下角像素点的纵坐标；gjbkk,d,r,t为生成式对抗网络预测的硅胶边框的右上角像素点，Xk,d,r,t为生成式对抗网络预测的硅胶边框的右上角像素点的横坐标，Yk,d,r,t为生成式对抗网络预测的硅胶边框的右上角像素点的纵坐标；生成式对抗网络预测的硅胶边框是由左下角与右上角两像素点确定的矩形。
进一步的，S500中，提取硅胶边界过程经由高斯滤波滤去图像中叠加的高频噪声、计算梯度图像与角度图像、对梯度图像进行非极大值抑制且使用双阈值进行边缘连接实现；具体的，高斯滤波滤去高频噪声过程定义为：
Figure BDA0003511318960000061
其中，xk,d,i,j为第k个捕捉时刻第d个方位的爬胶图像经由生成式对抗网络预测的边框内区域的第i行第j列像素点的横坐标，yk,d,i,j为第k个捕捉时刻第d个方位的爬胶图像经由生成式对抗网络预测的边框内区域第i行第j列的像素点的纵坐标；σ为正态分布值。
进一步的，S600中，硅胶区域边界上任意两像素点间距离定义为：
Figure BDA0003511318960000062
其中，xk,d,p,q为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第p行第q列像素点的横坐标,yk,d,p,q为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第p行第q列像素点的纵坐标；xk,d,m,n为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第m行第n列像素点的横坐标,yk,d,m,n为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第m行第n列像素点的纵坐标；
硅胶区域边界上任意两像素点间距离最大值定义为：
Figure BDA0003511318960000071
坐标为(xk,d,p',q',yk,d,p',q')和(xk,d,m',n',yk,d,m',n')的两像素点为芯片底面正方形的四个角点之二，即为芯片侧面底边线的两个端点。
进一步的，S600中，芯片侧面底边线定义为：
Figure BDA0003511318960000072
S600中，硅胶区域边界上像素点到芯片侧面底边线的距离定义为：
Figure BDA0003511318960000073
S600中，芯片爬胶高度定义为：
Figure BDA0003511318960000074
其中，xk,d,m,n为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第m行第n列像素点的横坐标,yk,d,m,n为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第m行第n列像素点的纵坐标。
本发明还刚看了一种生产线芯片芯片爬胶高度在线监控系统，包括：
爬胶图像捕捉单元、图像处理单元和反馈控制单元；其中：
爬胶图像捕捉单元，用于对芯片爬胶图像进行拍摄并且将图像传输给图像处理系统；
图像处理单元，用于对芯片爬胶图像捕捉系统传输的爬胶图像进行处理，获取硅胶爬胶区域，计算爬胶高度并取最大值；
反馈控制单元，用于通过比较爬胶高度与经验总结所得的该种芯片贴合时的爬胶高度极限值对比对芯片贴合机器的机械臂进行控制。
本发明实施例提供的上述技术方案的有益效果至少包括：
本发明提供的一种生产线芯片爬胶高度在线监控方法和系统，与传统的显微镜等光学仪器观测芯片爬胶高度相比，在方法上有本质区别。本发明利用现代信息技术手段，通过高速摄像机快速捕捉芯片贴合中的爬胶过程，更清晰、显著，实时性更强；图像处理系统采用的生成式对抗网络是一种人工智能，相比于一线工人人眼监控，具有更精确、不易疲劳的优点，有利于节省人力；并且图像处理系统能快速将爬胶高度与标准高度进行比对，不断输出反馈意见，控制芯片贴合的速度与结束时刻，有利于提高芯片的良品率，减少损耗，降低成本；同时处理速度极快，有助于加快芯片生产，撼动当前芯片短缺的困境。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例1中，一种生产线芯片爬胶高度在线监控方法的流程图；
图2为本发明实施例1中，一种生产线芯片爬胶高度在线监控方法的结构图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
为了解决现有技术中存在的问题，本发明实施例提供一种生产线芯片爬胶高度在线监控方法和系统。
实施例1
本发明公开了一种生产线芯片爬胶高度在线监控方法，如同1，包括：
S100.爬胶图像捕捉单元采集同一时刻四个方向的爬胶图像，并传输至图像处理系统构建图像数据集；
在本实施例的S100中，图像数据集为：
picturek,d(i,j)
k∈[1,K],d∈[1,D],i∈[1,M],j∈[1,N]
其中，picturek,d为第k个采集时刻第d个方位采集的图像，picturek,d(i,j)为第k个采集时刻第d个方位采集的图像上第i行第j列的像素，K＝1500为采集时刻的数量，D＝4为方位的数量，M＝1080为图像像素行的数量，N＝2160为图像像素列的数量。
S200.将图像数据集中每个方位每个采集时刻的图像进行图像预处理，得到预处理后的每个方位每个采集时刻的爬胶图像，将预处理后的每个方位每个采集时刻的爬胶图像进行人工标注，得到每个方位每个采集时刻对应的爬胶图像的硅胶边框；
在本实施例的S200中，图像预处理具体为：图像预处理系统对每个方位每个采集时刻的爬胶图像进行灰度化处理、平滑滤波；具体的，灰度化处理，即将每个方位每个采集时刻的爬胶图像转化为每个方位每个采集时刻的灰度图像；平滑滤波，即消除每个方位每个采集时刻的灰度图像中的干扰噪声，得到预处理后的每个方位每个采集时刻的爬胶图像。
在本实施例中，预处理后的每个方位每个采集时刻的爬胶图像为：
Climbing-gluek,d(i,j)
k∈[1,K],d∈[1,D],i∈[1,M],j∈[1,N]
其中，Climbing-gluek,d为第k个采集时刻第d个方位采集的图像，Climbing-gluek,d(i,j)为第k个采集时刻第d个方位采集的灰度图像上第i行第j列的像素，K＝1500为采集时刻的数量，D＝4为方位的数量，M＝1080为图像像素行的数量，N＝2160为图像像素列的数量。
在本实施例中，经由人工标注得到的每个方位每个采集时刻的爬胶图像对应的硅胶边框定义为：
RG-gjbkk,d＝(RG-gjbkk,d,l,b,RG-gjbkk,d,r,t)
RG-gjbkk,d,l,b＝(Xk,d,l,b，Yk,d,l,b)
RG-gjbkk,d,r,t＝(Xk,d,r,t，Yk,d,r,t)
k∈[1,K],d∈[1,D]
其中，RG-gjbkk,d为第k个采集时刻第d个方位的人工标记硅胶边框线，K＝1500为采集时刻的数量，D＝4为方位的数量；RG-gjbkk,d,l,b为人工标记硅胶边框的左下角像素点，Xk,d,l,b为人工标记硅胶边框的左下角像素点的横坐标，Yk,d,l,b为人工标记硅胶边框的左下角像素点的纵坐标；RG-gjbkk,d,r,t为人工标记硅胶边框的右上角像素点，Xk,d,r,t为人工标记硅胶边框的右上角像素点的横坐标，Yk,d,r,t为人工标记硅胶边框的右上角像素点的纵坐标；人工标记硅胶边框是由左下角与右上角两像素点确定的矩形边框。
S300.将S200预处理后的每个方位每个采集时刻爬胶图像作为训练集输入生成式对抗网络，将每个方位的图像对应的硅胶边框作为图像标签，进一步结合生成式对抗网络预测的硅胶边框构建生成式对抗网络的损失函数模型，进一步对网络优化训练后，得到生成式对抗网络；
在本实施例中，生成式对抗网络由生成器模块和判断器模块级联组成；其中，生成器模块由输入层、噪化层依次级联构成；具体的，输入层将第k个采集时刻的芯片爬胶图像即picturek,d(i,j)通过均值零化、方差归一化方法，将得到第k个采集时刻的标准化图像输出至噪化层；噪化层对标准化图像给予3×3区域内的像素进行3×3，步长取3的最大噪化运算，构成特征图(M4×M4×C4)；判别器模块由降噪层、softmax层级联构成；其中，降噪层对特征图(M4×M4×C4)进行横向、纵向叠加运算，在噪化图像中心位置3×3，步长取1的上采样，扩大图像维度，还原输入的特征对应的图像，3×3降噪核遍历整个输入特征图得到的所有输出值构成复原图img(M×M)；softmax层对输入的特征图的N个特征构建N×1的列向量矩阵，对各值网络输出指数运算后输出另一个N×1的矩阵，其中列向量各元素为softmax层判定所输入特征分属各类别的概率，从而获知是否是硅胶边界线和芯片侧面底边线的判定值。
在本实施例中，softmax层内的soft_max函数计算类别θ的概率值φθ定义如下：
Figure BDA0003511318960000111
其中
Figure BDA0003511318960000112
为要计算的类别θ的网络输出的指数，分母上为网络输出的所有类别的指数之和，一共α＝2个类别，α0指硅胶边框不存在，判定值为0，α1指硅胶边框存在，判定值为1；以此得到类别θ的概率值。
在本实施例中，经由生成器生成的每个方位每个采集时刻的芯片爬胶图样对应的预测硅胶边框定义为：
YC-gjbkk,d＝(YC-gjbkk,d,l,b,YC-gjbkk,d,r,t)
YC-gjbkk,d,l,b＝(Xk,d,l,b，Yk,d,l,b)
YC-gjbkk,d,r,t＝(Xk,d,r,t，Yk,d,r,t)
k∈[1,K],d∈[1,D]
其中，YC-gjbkk,d为第k个采集时刻第d个方位的预测硅胶边框线，K＝1500为采集时刻的数量，D＝4为方位的数量；YC-gjbkk,d,l,b为预测硅胶边框的左下角像素点，Xk,d,l,b为预测硅胶边框的左下角像素点的横坐标，Yk,d,l,b为预测硅胶边框的左下角像素点的纵坐标；YC-gjbkk,d,r,t为预测硅胶边框的右上角像素点，Xk,d,r,t为预测硅胶边框的右上角像素点的横坐标，Yk,d,r,t为预测硅胶边框的右上角像素点的纵坐标；预测硅胶边框是由左下角与右上角两像素点确定的矩形边框。
在本实施例中，对抗神经网络损失函数模型的具体定义为：
Figure BDA0003511318960000121
其中，RG-gjbkk,d是第k个时刻第d个方位的爬胶图样对应的人工标记硅胶边框的标签，YC-gjbkk,d是第k个时刻第d个方位的爬胶图样对应的预测硅胶边框，φθ，c为由soft_max函数计算出的样本空间中总共C个爬胶图像中硅胶边框样本中第c个图像为硅胶边界线图像的预测概率值，C为对抗神经网络训练集中硅胶边框样本的总数量，其中c∈[1，C]；如果Loss的值小于0.5，则可以认为预测硅胶边框与实际的硅胶边框误差可以接受，即生成式对抗网络已经成功建立，后续只需要将实时拍摄的爬胶图样导入该网络即可得到所需硅胶边界线以及芯片侧面底边线；否，则认为损失函数过大，生成式对抗网络未建立成功，则需要重复步骤3的过程，直至Loss的值小于0.5。
在本实施例中，对网络优化训练得到优化后生成式对抗网络为：
Figure BDA0003511318960000122
利用生成式对抗网络训练集中爬胶图像作为训练元输入至生成式对抗网络，通过生成式对抗网络预测得到硅胶判定值tag存在与否，进一步结合神经网络数据集中硅胶边框的tag构建生成式对抗网络损失函数，通过优化训练直至生成式对抗网络损失函数达到Nash均衡。
S400.将待检测的图像输入优化后的生成式对抗网络得到预测硅胶边框；在本实施例中，将实时拍摄的图像输入优化后的生成式对抗网络得到的硅胶预测边框定义为：
gjbkk,d＝(gjbkk,d,l,b,gjbkk,d,r,t)
gjbkk,d,l,b＝(Xk,d,l,b，Yk,d,l,b)
gjbkk,d,r,t＝(Xk,d,r,t，Yk,d,r,t)
k∈[1,K],d∈[1,D]
其中，gjbkk,d为第k个采集时刻第d个方位的生成式对抗网络预测的硅胶边框，K＝1500为采集时刻的数量，D＝4为方位的数量；gjbkk,d,l,b为生成式对抗网络预测的硅胶边框的左下角像素点，Xk,d,l,b为生成式对抗网络预测的硅胶边框的左下角像素点的横坐标，Yk,d,l,b为生成式对抗网络预测的硅胶边框的左下角像素点的纵坐标；gjbkk,d,r,t为生成式对抗网络预测的硅胶边框的右上角像素点，Xk,d,r,t为生成式对抗网络预测的硅胶边框的右上角像素点的横坐标，Yk,d,r,t为生成式对抗网络预测的硅胶边框的右上角像素点的纵坐标；生成式对抗网络预测的硅胶边框是由左下角与右上角两像素点确定的矩形。
S500.对由生成式对抗网络预测得到的硅胶区域预测框内的区域，由Canny算子提取硅胶边界；在本实施例中，提取硅胶边界过程经由高斯滤波滤去图像中叠加的高频噪声、计算梯度图像与角度图像、对梯度图像进行非极大值抑制且使用双阈值进行边缘连接实现；具体的，高斯滤波滤去高频噪声过程定义为：
Figure BDA0003511318960000131
其中，xk,d,i,j为第k个捕捉时刻第d个方位的爬胶图像经由生成式对抗网络预测的边框内区域的第i行第j列像素点的横坐标，yk,d,i,j为第k个捕捉时刻第d个方位的爬胶图像经由生成式对抗网络预测的边框内区域第i行第j列的像素点的纵坐标；σ为正态分布值。
S600.计算经由Canny算子提取的硅胶区域边界上任意两像素点间的距离，取距离为最大值的两像素点确定芯片侧面底边线的位置，计算此边界上任意两像素点间的距离，取最大值为芯片爬胶高度；
在本实施例中，硅胶区域边界上任意两像素点间距离定义为：
Figure BDA0003511318960000141
其中，xk,d,p,q为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第p行第q列像素点的横坐标,yk,d,p,q为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第p行第q列像素点的纵坐标；xk,d,m,n为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第m行第n列像素点的横坐标,yk,d,m,n为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第m行第n列像素点的纵坐标；
硅胶区域边界上任意两像素点间距离最大值定义为：
Figure BDA0003511318960000142
坐标为(xk,d,p',q',yk,d,p',q')和(xk,d,m',n',yk,d,m',n')的两像素点为芯片底面正方形的四个角点之二，即为芯片侧面底边线的两个端点。
在本实施例中，芯片侧面底边线定义为：
Figure BDA0003511318960000143
硅胶区域边界上像素点到芯片侧面底边线的距离定义为：
Figure BDA0003511318960000144
芯片爬胶高度定义为：
Figure BDA0003511318960000145
Figure BDA0003511318960000151
其中，xk,d,m,n为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第m行第n列像素点的横坐标,yk,d,m,n为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第m行第n列像素点的纵坐标。
S700.比较爬胶高度与经验总结所得的该种芯片贴合时的爬胶高度极限值对比，若小于该极限值，则输出信号令芯片贴合机器的机械臂继续下压，贴合过程继续，同时若发现四边的爬胶高度出现倾斜现象，则输出信号及时调节机械臂方位使之对正；反之，则输出信号令芯片贴合机器的机械臂停止下压，贴合过程停止。
在一些优选实施例中，对于不同种类的芯片，适宜的爬胶高度并不一致，需要手动输入需要监控的芯片对应的爬胶高度经验值以保证良品率。
本实施例还公开了一种生产线芯片芯片爬胶高度在线监控系统，如图2，包括：爬胶图像捕捉单元、图像处理单元和反馈控制单元；其中：
爬胶图像捕捉单元，用于对芯片爬胶图像进行拍摄并且将图像传输给图像处理系统；
图像处理单元，用于对芯片爬胶图像捕捉系统传输的爬胶图像进行处理，获取硅胶爬胶区域，计算爬胶高度并取最大值；
反馈控制单元，用于通过比较爬胶高度与经验总结所得的该种芯片贴合时的爬胶高度极限值对比对芯片贴合机器的机械臂进行控制。
在一些优选实施例中，爬胶图像捕捉单元包含显微镜头与高速摄像机；
显微镜头为行业标准光学显微镜头，旨在对待测芯片的微小的爬胶区域进行放大，便于高速摄像机捕捉爬胶图像；
高速摄像机为行业标准之上的工业摄像机，选型为C13440-20CU，具有高帧率的特点，每个高速摄像机前适配1个显微镜头，显微镜头选型为KOMD0745；
爬胶图像捕捉单元设置4个显微镜头和4个高速摄像机，每个高速摄像机前适配1个显微镜头，分别放置于芯片4个侧面垂直方向上，同时进行拍摄并将捕获的爬胶图像通过数据传输线传输至图像处理系统；
在一些优选实施例中，图像处理单元包含图像预处理模块、生成式对抗网络和爬胶高度计算模块；
图像预处理模块对爬胶图像捕捉系统传输的图像进行灰度化处理和平滑滤波；灰度化处理旨在降低图像亮度，减少生成式对抗网络处理图像的数据量；平滑滤波旨在利用几何变换以及二维傅里叶变换、平滑领域增强算法增加锐度，更正镜头放置位置、拍摄环境明亮度变化等原因造成的随机误差；
生成式对抗网络对预处理后的爬胶图像进行处理，识别提取爬胶区域；
爬胶高度计算模块对生成式对抗网络识别的爬胶区域，利用Canny算子提取爬胶区域边界，计算爬胶高度。其中，爬胶图像捕捉单元、图像处理单元和反馈控制单元具体的工作方法已在上述进行了详细描述，因此不在进行赘述。
本实施例提供的一种生产线芯片爬胶高度在线监控方法和系统，与传统的显微镜等光学仪器观测芯片爬胶高度相比，在方法上有本质区别。本发明利用现代信息技术手段，通过高速摄像机快速捕捉芯片贴合中的爬胶过程，更清晰、显著，实时性更强；图像处理系统采用的生成式对抗网络是一种人工智能，相比于一线工人人眼监控，具有更精确、不易疲劳的优点，有利于节省人力；并且图像处理系统能快速将爬胶高度与标准高度进行比对，不断输出反馈意见，控制芯片贴合的速度与结束时刻，有利于提高芯片的良品率，减少损耗，降低成本；同时处理速度极快，有助于加快芯片生产，撼动当前芯片短缺的困境。
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。
本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。
结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该ASIC可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。
对于软件实现，本申请中描述的技术可用执行本申请所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。

Claims (15)

1.一种生产线芯片爬胶高度在线监控方法，其特征在于，包括：
S100.爬胶图像捕捉单元采集同一时刻四个方向的爬胶图像，并传输至图像处理系统构建图像数据集；
S200.将图像数据集中每个方位每个采集时刻的图像进行图像预处理，得到预处理后的每个方位每个采集时刻的爬胶图像，将预处理后的每个方位每个采集时刻的爬胶图像进行人工标注，得到每个方位每个采集时刻对应的爬胶图像的硅胶边框；
S300.将S200预处理后的每个方位每个采集时刻爬胶图像作为训练集输入生成式对抗网络，将每个方位的图像对应的硅胶边框作为图像标签，进一步结合生成式对抗网络预测的硅胶边框构建生成式对抗网络的损失函数模型，进一步对网络优化训练后，得到生成式对抗网络；
S400.将待检测的图像输入优化后的生成式对抗网络得到预测硅胶边框；
S500.对由生成式对抗网络预测得到的硅胶区域预测框内的区域，由Canny算子提取硅胶边界；
S600.计算经由Canny算子提取的硅胶区域边界上任意两像素点间的距离，取距离为最大值的两像素点确定芯片侧面底边线的位置，计算此边界上任意两像素点间的距离，取最大值为芯片爬胶高度；
S700.比较爬胶高度与经验总结所得的该种芯片贴合时的爬胶高度极限值对比，若小于该极限值，则输出信号令芯片贴合机器的机械臂继续下压，贴合过程继续，同时若发现四边的爬胶高度出现倾斜现象，则输出信号及时调节机械臂方位使之对正；反之，则输出信号令芯片贴合机器的机械臂停止下压，贴合过程停止。
2.如权利要求1所述的一种生产线芯片爬胶高度在线监控方法，其特征在于，S100中，图像数据集为：
picturek,d(i,j)
k∈[1,K],d∈[1,D],i∈[1,M],j∈[1,N]
其中，picturek,d为第k个采集时刻第d个方位采集的图像，picturek,d(i,j)为第k个采集时刻第d个方位采集的图像上第i行第j列的像素，K＝1500为采集时刻的数量，D＝4为方位的数量，M＝1080为图像像素行的数量，N＝2160为图像像素列的数量。
3.如权利要求1所述的一种生产线芯片爬胶高度在线监控方法，其特征在于，S200中，图像预处理具体为：图像预处理系统对每个方位每个采集时刻的爬胶图像进行灰度化处理、平滑滤波；具体的，灰度化处理，即将每个方位每个采集时刻的爬胶图像转化为每个方位每个采集时刻的灰度图像；平滑滤波，即消除每个方位每个采集时刻的灰度图像中的干扰噪声，得到预处理后的每个方位每个采集时刻的爬胶图像。
4.如权利要求1所述的一种生产线芯片爬胶高度在线监控方法，其特征在于，S200中，预处理后的每个方位每个采集时刻的爬胶图像为：
Climbing-gluek,d(i,j)
k∈[1,K],d∈[1,D],i∈[1,M],j∈[1,N]
其中，Climbing-gluek,d为第k个采集时刻第d个方位采集的图像，Climbing-gluek,d(i,j)为第k个采集时刻第d个方位采集的灰度图像上第i行第j列的像素，K＝1500为采集时刻的数量，D＝4为方位的数量，M＝1080为图像像素行的数量，N＝2160为图像像素列的数量。
5.如权利要求1所述的一种生产线芯片爬胶高度在线监控方法，其特征在于，S200中，经由人工标注得到的每个方位每个采集时刻的爬胶图像对应的硅胶边框定义为：
RG-gjbkk,d＝(RG-gjbkk,d,l,b,RG-gjbkk,d,r,t)
RG-gjbkk,d,l,b＝(Xk,d,l,b，Yk,d,l,b)
RG-gjbkk,d,r,t＝(Xk,d,r,t，Yk,d,r,t)
k∈[1,K],d∈[1,D]
其中，RG-gjbkk,d为第k个采集时刻第d个方位的人工标记硅胶边框线，K＝1500为采集时刻的数量，D＝4为方位的数量；RG-gjbkk,d,l,b为人工标记硅胶边框的左下角像素点，Xk,d,l,b为人工标记硅胶边框的左下角像素点的横坐标，Yk,d,l,b为人工标记硅胶边框的左下角像素点的纵坐标；RG-gjbkk,d,r,t为人工标记硅胶边框的右上角像素点，Xk,d,r,t为人工标记硅胶边框的右上角像素点的横坐标，Yk,d,r,t为人工标记硅胶边框的右上角像素点的纵坐标；人工标记硅胶边框是由左下角与右上角两像素点确定的矩形边框。
6.如权利要求1所述的一种生产线芯片爬胶高度在线监控方法，其特征在于，S300中，生成式对抗网络由生成器模块和判断器模块级联组成；其中，生成器模块由输入层、噪化层依次级联构成；具体的，输入层将第k个采集时刻的芯片爬胶图像即picturek,d(i,j)通过均值零化、方差归一化方法，将得到第k个采集时刻的标准化图像输出至噪化层；噪化层对标准化图像给予3×3区域内的像素进行3×3，步长取3的最大噪化运算，构成特征图(M4×M4×C4)；判别器模块由降噪层、softmax层级联构成；其中，降噪层对特征图(M4×M4×C4)进行横向、纵向叠加运算，在噪化图像中心位置3×3，步长取1的上采样，扩大图像维度，还原输入的特征对应的图像，3×3降噪核遍历整个输入特征图得到的所有输出值构成复原图img(M×M)；softmax层对输入的特征图的N个特征构建N×1的列向量矩阵，对各值网络输出指数运算后输出另一个N×1的矩阵，其中列向量各元素为softmax层判定所输入特征分属各类别的概率，从而获知是否是硅胶边界线和芯片侧面底边线的判定值。
7.如权利要求6所述的一种生产线芯片爬胶高度在线监控方法，其特征在于，softmax层内的soft_max函数计算类别θ的概率值φθ定义如下：
Figure FDA0003511318950000031
其中
Figure FDA0003511318950000032
为要计算的类别θ的网络输出的指数，分母上为网络输出的所有类别的指数之和，一共α＝2个类别，α0指硅胶边框不存在，判定值为0，α1指硅胶边框存在，判定值为1；以此得到类别θ的概率值。
8.如权利要求1所述的一种生产线芯片爬胶高度在线监控方法，其特征在于，S300中，经由生成器生成的每个方位每个采集时刻的芯片爬胶图样对应的预测硅胶边框定义为：
YC-gjbkk,d＝(YC-gjbkk,d,l,b,YC-gjbkk,d,r,t)
YC-gjbkk,d,l,b＝(Xk,d,l,b，Yk,d,l,b)
YC-gjbkk,d,r,t＝(Xk,d,r,t，Yk,d,r,t)
k∈[1,K],d∈[1,D]
其中，YC-gjbkk,d为第k个采集时刻第d个方位的预测硅胶边框线，K＝1500为采集时刻的数量，D＝4为方位的数量；YC-gjbkk,d,l,b为预测硅胶边框的左下角像素点，Xk,d,l,b为预测硅胶边框的左下角像素点的横坐标，Yk,d,l,b为预测硅胶边框的左下角像素点的纵坐标；YC-gjbkk,d,r,t为预测硅胶边框的右上角像素点，Xk,d,r,t为预测硅胶边框的右上角像素点的横坐标，Yk,d,r,t为预测硅胶边框的右上角像素点的纵坐标；预测硅胶边框是由左下角与右上角两像素点确定的矩形边框。
9.如权利要求1所述的一种生产线芯片爬胶高度在线监控方法，其特征在于，S300中，对抗神经网络损失函数模型的具体定义为：
Figure FDA0003511318950000041
其中，RG-gjbkk,d是第k个时刻第d个方位的爬胶图样对应的人工标记硅胶边框的标签，YC-gjbkk,d是第k个时刻第d个方位的爬胶图样对应的预测硅胶边框，φθ，c为由soft_max函数计算出的样本空间中总共C个爬胶图像中硅胶边框样本中第c个图像为硅胶边界线图像的预测概率值，C为对抗神经网络训练集中硅胶边框样本的总数量，其中c∈[1，C]；如果Loss的值小于0.5，则可以认为预测硅胶边框与实际的硅胶边框误差可以接受，即生成式对抗网络已经成功建立，后续只需要将实时拍摄的爬胶图样导入该网络即可得到所需硅胶边界线以及芯片侧面底边线；否，则认为损失函数过大，生成式对抗网络未建立成功，则需要重复步骤3的过程，直至Loss的值小于0.5。
10.如权利要求1所述的一种生产线芯片爬胶高度在线监控方法，其特征在于，S300中，对网络优化训练得到优化后生成式对抗网络为：
Figure FDA0003511318950000051
利用生成式对抗网络训练集中爬胶图像作为训练元输入至生成式对抗网络，通过生成式对抗网络预测得到硅胶判定值tag存在与否，进一步结合神经网络数据集中硅胶边框的tag构建生成式对抗网络损失函数，通过优化训练直至生成式对抗网络损失函数达到Nash均衡。
11.如权利要求1所述的一种生产线芯片爬胶高度在线监控方法，其特征在于，S400中，将实时拍摄的图像输入优化后的生成式对抗网络得到的硅胶预测边框定义为：
gjbkk,d＝(gjbkk,d,l,b,gjbkk,d,r,t)
gjbkk,d,l,b＝(Xk,d,l,b，Yk,d,l,b)
gjbkk,d,r,t＝(Xk,d,r,t，Yk,d,r,t)
k∈[1,K],d∈[1,D]
其中，gjbkk,d为第k个采集时刻第d个方位的生成式对抗网络预测的硅胶边框，K＝1500为采集时刻的数量，D＝4为方位的数量；gjbkk,d,l,b为生成式对抗网络预测的硅胶边框的左下角像素点，Xk,d,l,b为生成式对抗网络预测的硅胶边框的左下角像素点的横坐标，Yk,d,l,b为生成式对抗网络预测的硅胶边框的左下角像素点的纵坐标；gjbkk,d,r,t为生成式对抗网络预测的硅胶边框的右上角像素点，Xk,d,r,t为生成式对抗网络预测的硅胶边框的右上角像素点的横坐标，Yk,d,r,t为生成式对抗网络预测的硅胶边框的右上角像素点的纵坐标；生成式对抗网络预测的硅胶边框是由左下角与右上角两像素点确定的矩形。
12.如权利要求1所述的一种生产线芯片爬胶高度在线监控方法，其特征在于，S500中，提取硅胶边界过程经由高斯滤波滤去图像中叠加的高频噪声、计算梯度图像与角度图像、对梯度图像进行非极大值抑制且使用双阈值进行边缘连接实现；具体的，高斯滤波滤去高频噪声过程定义为：
Figure FDA0003511318950000061
其中，xk,d,i,j为第k个捕捉时刻第d个方位的爬胶图像经由生成式对抗网络预测的边框内区域的第i行第j列像素点的横坐标，yk,d,i,j为第k个捕捉时刻第d个方位的爬胶图像经由生成式对抗网络预测的边框内区域第i行第j列的像素点的纵坐标；σ为正态分布值。
13.如权利要求1所述的一种生产线芯片爬胶高度在线监控方法，其特征在于，S600中，硅胶区域边界上任意两像素点间距离定义为：
Figure FDA0003511318950000062
其中，xk,d,p,q为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第p行第q列像素点的横坐标,yk,d,p,q为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第p行第q列像素点的纵坐标；xk,d,m,n为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第m行第n列像素点的横坐标,yk,d,m,n为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第m行第n列像素点的纵坐标；
硅胶区域边界上任意两像素点间距离最大值定义为：
Figure FDA0003511318950000063
坐标为(xk,d,p',q',yk,d,p',q')和(xk,d,m',n',yk,d,m',n')的两像素点为芯片底面正方形的四个角点之二，即为芯片侧面底边线的两个端点。
14.如权利要求13所述的一种生产线芯片爬胶高度在线监控方法，其特征在于，S600中，芯片侧面底边线定义为：
Figure FDA0003511318950000071
硅胶区域边界上像素点到芯片侧面底边线的距离定义为：
Figure FDA0003511318950000072
芯片爬胶高度定义为：
Figure FDA0003511318950000073
其中，xk,d,m,n为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第m行第n列像素点的横坐标,yk,d,m,n为第k个捕捉时刻第d个方位的爬胶图像硅胶区域边界上的第m行第n列像素点的纵坐标。
15.一种生产线芯片芯片爬胶高度在线监控系统，其特征在于，包括：
爬胶图像捕捉单元、图像处理单元和反馈控制单元；其中：
爬胶图像捕捉单元，用于对芯片爬胶图像进行拍摄并且将图像传输给图像处理系统；
图像处理单元，用于对芯片爬胶图像捕捉系统传输的爬胶图像进行处理，获取硅胶爬胶区域，计算爬胶高度并取最大值；
反馈控制单元，用于通过比较爬胶高度与经验总结所得的该种芯片贴合时的爬胶高度极限值对比对芯片贴合机器的机械臂进行控制。
CN202210152950.0A 2022-02-18 2022-02-18 一种生产线芯片爬胶高度在线监控方法和系统 Pending CN114549454A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210152950.0A CN114549454A (zh) 2022-02-18 2022-02-18 一种生产线芯片爬胶高度在线监控方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210152950.0A CN114549454A (zh) 2022-02-18 2022-02-18 一种生产线芯片爬胶高度在线监控方法和系统

Publications (1)

Publication Number Publication Date
CN114549454A true CN114549454A (zh) 2022-05-27

Family

ID=81675259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210152950.0A Pending CN114549454A (zh) 2022-02-18 2022-02-18 一种生产线芯片爬胶高度在线监控方法和系统

Country Status (1)

Country Link
CN (1) CN114549454A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492282A (zh) * 2018-03-09 2018-09-04 天津工业大学 基于线结构光与多任务级联卷积神经网络的三维涂胶检测
CN110598761A (zh) * 2019-08-26 2019-12-20 深圳大学 一种点胶检测方法、装置及计算机可读存储介质
CN110807463A (zh) * 2019-09-17 2020-02-18 珠海格力电器股份有限公司 图像分割方法、装置、计算机设备和存储介质
CN111192237A (zh) * 2019-12-16 2020-05-22 重庆大学 一种基于深度学习的涂胶检测系统和方法
CN112085738A (zh) * 2020-08-14 2020-12-15 南京邮电大学 一种基于生成对抗网络的图像分割方法
CN112634190A (zh) * 2019-09-24 2021-04-09 上海汽车集团股份有限公司 一种涂胶检测方法及装置
CN112833799A (zh) * 2021-01-07 2021-05-25 甬矽电子(宁波)股份有限公司 助焊剂爬胶高度检测装置及检测方法
CN213579176U (zh) * 2020-11-26 2021-06-29 上海艾飞思精密仪器有限公司 一种测量芯片爬胶高度及宽度的装置
CN214702139U (zh) * 2021-05-31 2021-11-12 佛山市蓝箭电子股份有限公司 一种测量半导体封装同颗芯片四面爬胶高度的装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492282A (zh) * 2018-03-09 2018-09-04 天津工业大学 基于线结构光与多任务级联卷积神经网络的三维涂胶检测
CN110598761A (zh) * 2019-08-26 2019-12-20 深圳大学 一种点胶检测方法、装置及计算机可读存储介质
CN110807463A (zh) * 2019-09-17 2020-02-18 珠海格力电器股份有限公司 图像分割方法、装置、计算机设备和存储介质
CN112634190A (zh) * 2019-09-24 2021-04-09 上海汽车集团股份有限公司 一种涂胶检测方法及装置
CN111192237A (zh) * 2019-12-16 2020-05-22 重庆大学 一种基于深度学习的涂胶检测系统和方法
CN112085738A (zh) * 2020-08-14 2020-12-15 南京邮电大学 一种基于生成对抗网络的图像分割方法
CN213579176U (zh) * 2020-11-26 2021-06-29 上海艾飞思精密仪器有限公司 一种测量芯片爬胶高度及宽度的装置
CN112833799A (zh) * 2021-01-07 2021-05-25 甬矽电子(宁波)股份有限公司 助焊剂爬胶高度检测装置及检测方法
CN214702139U (zh) * 2021-05-31 2021-11-12 佛山市蓝箭电子股份有限公司 一种测量半导体封装同颗芯片四面爬胶高度的装置

Similar Documents

Publication Publication Date Title
CN110314854B (zh) 一种基于视觉机器人的工件检测分拣的装置及方法
CN106886216B (zh) 基于rgbd人脸检测的机器人自动跟踪方法和系统
CN106548182B (zh) 基于深度学习和主成因分析的路面裂纹检测方法及装置
CN112990310A (zh) 服务于电力机器人的人工智能系统及方法
CN106778659B (zh) 一种车牌识别方法及装置
CN113643280B (zh) 一种基于计算机视觉的板材分拣系统及方法
CN110956082B (zh) 基于深度学习的人脸关键点检测方法和检测系统
CN110245663A (zh) 一种用于钢卷信息识别的方法
CN112907519A (zh) 一种基于深度学习的金属曲面缺陷分析系统及方法
CN206322194U (zh) 一种基于三维扫描的反欺诈人脸识别系统
CN114693661A (zh) 一种基于深度学习的快速分拣方法
CN111415339B (zh) 一种复杂纹理工业产品图像缺陷检测方法
CN101908153A (zh) 低分辨率图像处理中的头部姿态估计的方法
CN114863189B (zh) 一种基于大数据的图像智能识别方法
CN113996500A (zh) 一种基于视觉点胶机器人的点胶智能识别系统
CN115049821A (zh) 一种基于多传感器融合的三维环境目标检测方法
CN116486287A (zh) 基于环境自适应机器人视觉系统的目标检测方法及系统
CN116071315A (zh) 一种基于机器视觉的产品可视缺陷检测方法及系统
CN112949380B (zh) 一种基于激光雷达点云数据的智能水下目标识别系统
CN110059573A (zh) 基于图像识别的野山参分级检定方法
CN112308087A (zh) 基于动态视觉传感器的一体化成像识别系统和方法
CN114549454A (zh) 一种生产线芯片爬胶高度在线监控方法和系统
CN113021355A (zh) 一种用于预测遮挡农作物摘取点的农业机器人作业方法
CN114549403A (zh) 一种机械零部件侧剖面多单体智能精密几何圆心检测方法
CN108830166B (zh) 一种公交车客流量实时统计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 414022 floors 2, 3 and 4, R & D building, Yueyang modern equipment manufacturing industrial park, muligang Avenue, Yueyang Economic and Technological Development Zone, Hunan Province

Applicant after: Hunan Luojia Intelligent Technology Co.,Ltd.

Address before: 414000 floors 2, 3 and 4, R & D building, Yueyang modern equipment manufacturing industrial park, muligang Avenue, Yueyang Economic and Technological Development Zone, Hunan Province

Applicant before: Yueyang Luojia Intelligent Technology Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20220527

RJ01 Rejection of invention patent application after publication