CN117057371B - 一种基于ai识别算法的自适应晶圆读码方法 - Google Patents
一种基于ai识别算法的自适应晶圆读码方法 Download PDFInfo
- Publication number
- CN117057371B CN117057371B CN202311081912.1A CN202311081912A CN117057371B CN 117057371 B CN117057371 B CN 117057371B CN 202311081912 A CN202311081912 A CN 202311081912A CN 117057371 B CN117057371 B CN 117057371B
- Authority
- CN
- China
- Prior art keywords
- image
- wafer
- gray
- gray level
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 22
- 230000001502 supplementing effect Effects 0.000 claims abstract description 23
- 238000001914 filtration Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000005286 illumination Methods 0.000 claims description 29
- 238000004458 analytical method Methods 0.000 claims description 17
- 238000011176 pooling Methods 0.000 claims description 15
- 230000003044 adaptive effect Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 238000003709 image segmentation Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 5
- 108091026890 Coding region Proteins 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 238000003708 edge detection Methods 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 2
- 230000009469 supplementation Effects 0.000 claims 1
- 235000012431 wafers Nutrition 0.000 description 60
- 238000003384 imaging method Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 210000002569 neuron Anatomy 0.000 description 5
- 125000004122 cyclic group Chemical group 0.000 description 3
- 230000001105 regulatory effect Effects 0.000 description 3
- 101100240662 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) gtt-1 gene Proteins 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000010030 laminating Methods 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
- G06K7/10712—Fixed beam scanning
- G06K7/10722—Photodetector array or CCD scanning
- G06K7/10732—Light sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/146—Methods for optical code recognition the method including quality enhancement steps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Electromagnetism (AREA)
- Evolutionary Computation (AREA)
- Toxicology (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及晶圆编码识别技术领域，尤其涉及一种基于AI识别算法的自适应晶圆读码方法，本发明包括设置灯光调节策略，收集并分析当前工作环境下图像及参数，利用补光器调节读码区域亮度；采集图像构建样本库，将采集到的图像分割成亚区域，采用滤波策略对图像亚区域进行处理；将处理后的亚区域进行选择，选择出带有晶圆ID编码信息的亚区域；构建基于LeNet－5网络的晶圆ID编码识别和提取策略；用样本库样本对LeNet－5网络的训练；将处理好的亚区域图像放入训练好的网络中进行ID提取识别。解决了规格不统一编码晶圆ID在阴雨天、黑夜、强光等复杂环境中识别困难的问题。
Description
技术领域
本发明涉及晶圆编码识别技术领域，尤其涉及一种基于AI识别算法的自适应晶圆读码方法。
背景技术
随着竞争激烈的全球半导体行业对日益复杂的工艺流程提出更为严格的控制要求，为了保证封装与生产的工艺管控、追溯以及防伪需求，生产的晶圆上都会打上编码进行追溯。在制造流程中，需要通过机械手等搬运设备，将晶圆在这些加工设备之间进行搬运。为了实现晶圆的流向追踪，以及记录晶圆的相关信息(如测试结果等)，需要识别晶圆ID。目前，晶圆ID读取设备市场主要集中在国外相关设备厂商如康耐视、IOSS GMbH、R2DAutomation等，进口晶圆读码器一方面价格居高不下，售后服务体系不够完善，无法实现24小时及时响应。另一方面，国内部分晶圆制造商，编码规则不够规范，存在字体偏小、位置有偏差等问题，国外相关晶圆读码器在编码识别率上存在一定不足。规格不统一的晶圆ID在复杂环境中的识别都存在较大问题，读码器随着生产制造的需求，其重要性日益凸显。
现有授权公告号为CN217426129U的中国专利公开了一种晶圆ID全自动识别设备，包括：底座，其顶部开始的凹槽内壁底部贴合设置有转盘，所述转盘上表面贴合设置有晶圆本体，且晶圆本体的上表面边缘处刻印有二维码本体用于储存信息；还包括：透光环，其内侧固定安装在所述转盘的侧壁顶部，两者同轴设置，所述透光环的外侧固定套设有同轴设置的环板，且透光环的上表面与所述晶圆本体贴合设置，并且环板的内外两侧分别贴合设置有所述晶圆本体和底座；安装支架，其底部垂直连接在所述底座的顶部边缘处。
现有公开号为CN112200182A的中国专利公开了一种基于深度学习的晶圆ID识别方法和装置。该晶圆ID识别方法包括：获取待识别的晶圆ID图像；利用光学文字识别循环卷积神经网络模型，从待识别的晶圆ID图像中获得晶圆ID。其中，光学文字识别循环卷积神经网络包括Mobilenetbottleneck卷积模块。本发明的技术方案利用包括Mobilenetbottleneck卷积模块的循环卷积神经网络模型，实现了对任意长度的晶圆ID字符的快速且准确的识别。以上专利都存在背景技术提出的问题：规格不统一的晶圆ID在复杂环境中的识别都存在较大问题。
发明内容
为了解决规格不统一编码晶圆ID在复杂环境中识别困难问题，本发明采取的技术方案为，一种基于AI识别算法的自适应晶圆读码方法，具体实现步骤包括：
S1、设置灯光调节策略，收集并分析当前工作环境下参数，利用补光器调节读码区域亮度，所述工作环境参数包括光照强度Ii、湿度Pi；
S2、采集图像构建样本库，将采集到的图像分割成亚区域，采用滤波策略对图像亚区域进行处理；
S3、将处理后的亚区域进行选择，选择出带有晶圆ID编码信息的亚区域；
S4、构建基于LeNet－5网络的晶圆ID编码提取和识别模型；
S5、用样本库样本对模型进行训练；
S6、处理好的亚区域图像放入训练好的网络中进行ID编码提取识别。
作为优选的技术方案，所述S1中灯光调节策略具体包括以下步骤：
S101、搭建卷积神经网络模型；
S102、将收集的光照强度Ii、湿度Pi导入到卷积神经网络模型中训练，使用3×3的卷积核进行特征提取；
S103、将提取到的特征通过池化层进行降采样，采用RELU函数作为激活函数，连接卷积层和池化层；
S104、利用提取到的特征信息进行补光器亮度调节分配。
作为优选的技术方案，所述S1中补光器的具体调节方法包括，根据环境的亮度提供不同程度的亮度补充，根据不同类型环境提供不同光照种类，光照种类包括白光和蓝光两种，两种不同颜色的灯间错安装在补光器上。
作为优选的技术方案，所述采集图像构建样本库，将采集到的图像分割成亚区域具体包括以下步骤：
S201、开启相机，获取晶圆ID编码区域图像；
S202、将所获取的图像分割成亚区域，并针对亚区域进行分析和处理；
S203、使用Otsu阈值分割策略确定图像分割阈值k；
S204、采用滤波策略对分割好的亚区域进行处理。
作为优选的技术方案，所述使用Otsu阈值分割算法确定阈值k包括以下步骤：
S301、将采集的图像定义为x，将x转化为灰度图像f(x)；
S302、设灰度图像f(x)的像素大小为M×N，灰度级大小为L,灰度级区间为{0,1,···,L-1}；
S303、设灰度图像中灰度级为i的所有像素个数为gi，灰度级为i的像素点出现的概率为其中i∈{0,1,···,L-1},且
S304、将灰度图像f(x)中的像素按灰度级用图像分割阈值k划分为背景C0灰度级和目标C1灰度级；其中，背景C0灰度级所属区间为{0,1,···,t-1}，目标C1灰度级所属区间为{t,t+1,···,L-1}，背景C0和目标C1对应的像素分别为{f(C0)≤k-1}和{f(C1)≥k}；
S305、分别计算背景C0出现的概率ω0(k)以及目标C1出现的概率ω1(k)，计算公式分别如下：
分别计算背景C0平均灰度值μ0(k)以及目标C1平均灰度值μ1(k)，计算公式分别如下：
计算背景C0以及目标C1类间方差δ2(k),计算公式如下：
δ2(k)＝ω0(k)[μ-μ0(k)]2+ω1(k)[μ-μ1(k)]2；
其中为灰度图像f(x)的总灰度值；
S306、令k的取值从0～L-1变化，计算不同的k值下的类间方差δ2(k)，最优阈值k为当δ2(k)最大时k的取值。
作为优选的技术方案，对每个亚区域进行进一步的分析和处理包括以下步骤：
S401、选取的当前像素点(i,j)为中心点，选取邻域大小n×n，对邻域中各像素灰度值大小进行排序，得到灰度值中心值c和灰度值最大值Zmax以及灰度值最小值Zmin；
S402、计算邻域中像素灰度值的均值α和方差σ2；
S403、判断或/>是否成立，若都不成立，则中心点不变，若其中任意一个不等式成立，则令n＝n+2，并选取的当前像素点(i，j)重新设为中心点；
S404、重复上述计算和分析比较步骤，最后将中心点(i,j)的像素灰度值取为中心值c，直到完成所有像素点分析。
作为优选的技术方案，所述S3将处理后的亚区域进行选择包括以下具体内容：将分割好的亚区域进行像素分析，选取带有晶圆ID编码的区域。
作为优选的技术方案，将滤波处理后的图像进行像素点分析包括以下具体内容：使用Sobel算子边缘检测策略去对图像中的有效区域进行检测，Sobel算子水平方向的算子为垂直方向的算子为/>水平方向的算子和垂直方向的算子分别对水平及垂直方向上的边缘敏感，将灰度图像f(x)两个方向上的灰度值分别用这两个算子对输入图像进行卷积操作，得到x,y方向上各点的卷积结果垂直梯度Gx和水平梯度Gy，并计算梯度
作为优选的技术方案，所述S4构建基于LeNet－5网络的晶圆ID编码提取和识别模型：
搭建LeNet－5网络，包含卷积层、池化层，全连接层，输出层；
池化层用于降采样，并使用sigmoid作非线性输出到下一卷积层。
作为优选的技术方案，所述S5用样本库样本对模型进行训练具体内容为：设置dropout参数，输入样本对设置网络进行训练，在训练完成后关闭dropout参数，验证网络的训练效果。
作为优选的技术方案，所述S6的具体步骤为：将处理好的带有晶圆ID的图像放入训练完毕的网络中进行ID提取识别。
一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现一种基于AI识别算法的自适应晶圆读码方法。
与现有技术相比，本发明具有如下有益效果：
1)本发明的一种基于AI识别算法的自适应晶圆读码方法，通过读码器进行多模式亮度调节，综合分析在不同光照条件下的工作情况，并且添加了湿度对当前工作的影响，并反馈给补光调节，在晶圆编码成像时提供不同的光照条件，只有在亮度达到要求的情况下，才能进行准确的晶圆编码形成区域成像。这种方式不仅能够提供清晰的影像，还能保证成像结果的准确性。最大限度实现晶圆编码的读取效率。
2)本发明一种基于AI识别算法的自适应晶圆读码方法，针对在晶圆生产过程中，由于生产工序的处理会对ID标记的质量的不统一，通过图像切割区分亚区域之后利用改进自适应中值滤波，提升图像边缘质量及图像清晰度，之后对图像有效信息块选取，准确定位有效信息区域，为实现晶圆ID的精准识别提供保障。有效的解决了编码规则不够规范，存在字体偏小、位置有偏差等问题。
附图说明
图1为本发明一种基于AI识别算法的自适应晶圆读码方法的步骤示意图；
图2为本发明一种基于AI识别算法的自适应晶圆读码方法的流程示意图；
图3为本发明一种基于AI识别算法的自适应晶圆读码方法的图像滤波处理流程图。
具体实施方式
需要说明的是：本发明方法可在各种环境中使用，不局限于发明中提到的黑夜和阴雨天，本发明方法只做了实现效果阐述，但并不限制于开发平台，可于任意合适的平台实现，也可开发成具体设备来实现此功能。
下面通过附图以及具体实施例对本发明技术方案做详细地说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。
实施例1
如图2所示，本实施例提供一种基于AI识别算法的自适应晶圆读码方法流程，具体包括下述步骤：
S1、设置灯光调节策略，收集并分析当前工作环境下参数，利用补光器调节读码区域亮度，克服不规则晶圆ID在复杂环境下的识别如：阴雨天、反光、光照遮挡及黑夜的环境中；
S11、设置光照和湿度检测器，工作时收集当前的工作环境下的光照强度Ii、湿度Pi；
S12、针对不同光照和湿度分别设置了白光和蓝光两种补光方式，将湿度作为调控光照的因素，解决湿度对光照传播的影响，设计蓝光作为补光手段，为了缓解强曝光中反光带来的影响，并且蓝光背景下成像其背景干扰较小；
S13、补光区域设计成圆顶形光源，间错排列白色发光光源和蓝色发光光源，确保光源均匀且集中的照射在出光口，这种设计可以提供均匀而稳定的光照，有效减少光照不均匀造成的读码错误。同时，圆顶形光源的设计还可以减少光线的反射和折射，提高读码的准确性和稳定性；
S14、设计相应的灯光调节策略：
S101、搭建卷积神经网络模型；
S102、将收集的光照强度Ii、湿度Pi导入到卷积神经网络模型中训练，使用3×3的卷积核进行特征提取；
S103、将提取到的特征通过池化层进行降采样，采用RELU函数作为激活函数，连接卷积层和池化层；
S104、利用提取到的特征信息进行补光器亮度调节分配。
根据当前工作环境下的光照强度和湿度，自动匹配合适的补光类型。通过收集环境光照强度和湿度的数据，并将其导入算法中进行分析和处理，根据不同的工作环境提供最适合的补光方式，以保证读码过程的稳定性和准确性。这样，无论是在强光照还是低光照环境下，或是在干燥还是潮湿的环境中，都能够自动调节补光方式，保证晶圆读码的成功率和效果。
将所收集的当前工作环境下的光照强度、湿度导入灯光调节算法程序进行决策，将分析结果作用到补光器上。
通过亮度调节的方式完成补光后进行晶圆编码形成区域成像，使用合适的补光方式，确保成像区域得到足够的光照，以保证成像的清晰和准确。
在读码器内置多模式亮度调节模块，实时收集当前工作环境下的光照、湿度；将收集到的数据放入到亮度调节模块进行分析对比，根据所得结果来调节补光器亮度，在晶圆编码成像时提供不同的光照条件，在亮度调节模块完成补光后进行晶圆编码形成区域成像，使用合适的补光方式，确保成像区域得到足够的光照，以保证成像的清晰和准确。可以解决阴雨天、反光、光照遮挡及黑夜等光照不足以及湿度过高带来的成像的影响。
S2、采集图像构建样本库，将采集到的图像分割成多个亚区域，采用滤波策略对图像亚区域进行处理，其主要过程如下：
开启相机，对晶圆ID编码区域成像；
将所获取的图像分割成亚区域，并针对亚区域进行分析和处理；
使用Otsu阈值分割策略确定图像分割阈值k；
采用滤波策略对分割好的亚区域进行处理。
其中Otsu阈值分割算法确定阈值k包括以下步骤：
S301、将采集的图像定义为x，将x转化为灰度图像f(x)；
S302、设灰度图像f(x)的像素大小为M×N，灰度级大小为L,灰度级区间为{0,1,···,L-1}；
S303、设灰度图像中灰度级为i的所有像素个数为gi，灰度级为i的像素点出现的概率为其中i∈{0,1,···,L-1},且
S304、将灰度图像f(x)中的像素按灰度级用图像分割阈值k划分为背景C0灰度级和目标C1灰度级；其中，背景C0灰度级所属区间为{0,1,···,t-1}，目标C1灰度级所属区间为{t,t+1,···,L-1}，背景C0和目标C1对应的像素分别为{f(C0)≤k-1}和{f(C1)≥k}；
S305、分别计算背景C0出现的概率ω0(k)以及目标C1出现的概率ω1(k)，计算公式分别如下：
分别计算背景C0平均灰度值μ0(k)以及目标C1平均灰度值μ1(k)，计算公式分别如下：
计算背景C0以及目标C1类间方差δ2(k),计算公式如下：
δ2(k)＝ω0(k)[μ-μ0(k)]2+ω1(k)[μ-μ1(k)]2；
其中为灰度图像f(x)的总灰度值；
S306、令k的取值从0～L-1变化，计算不同的k值下的类间方差δ2(k)，最优阈值k为当δ2(k)最大时k的取值。
对得到的二值图像进行后处理，包括去噪、填充、连通域分析等操作，消除噪声和不完整的目标物体，以得到准确的分割结果。采用改进自适应滤波对图像进行处理，减少字体偏小、位置有偏差等问题带来的信息干扰。
S3、将处理后的亚区域进行选择，选择出带有晶圆ID编码信息的亚区域；
使用Sobel算子边缘检测策略去对图像中的有效区域进行检测，Sobel算子水平方向的算子为垂直方向的算子为/>水平方向的算子和垂直方向上的算子分别对水平及垂直方向上的边缘敏感，将灰度图像f(x)两个方向上的灰度值分别用这两个算子对输入图像进行卷积操作，得到x,y方向上各点的卷积结果垂直梯度Gx和水平梯度Gy，并计算梯度
S4、构建基于LeNet－5网络的晶圆ID编码提取和识别模型；
搭建LeNet－5网络，包含输入层，卷积层、池化层，全连接层，输出层；
将输出层神经元增加至40个；
池化层降采样，并使用sigmoid作非线性输出到下一卷积层。
将传统模型中的输出层神经元增加至40个以满足晶圆ID中可能包含数字、字母以及字符的预测要求,更好地捕捉到可能出现的各种数字、字母和字符的组合。
S5、用样本库样本模型进行训练：
网络结构连接规模扩大，所抓取的特征较多，在初始训练中设置dropout参数。dropout是一种常用的正则化技术，可以随机地将一部分神经元的输出置为0，从而减少过拟合的风险。减少神经网络中各层之间的依赖关系，有效地增加模型的泛化能力。输入样本对设置网络进行训练，避免过拟合现象的发生，在训练完成后关闭dropout参数，验证网络的训练效果。
S6、处理好的亚区域图像放入训练好的网络中进行ID提取识别：所述S6的具体步骤为：将处理好的图像放入到训练好的网络当中进行ID提取识别。将分割后的图片输入网络模型中，通过卷积层提取图像特征和池化层下采样得到编码的结构特征，在全连接层进行编码匹配，通过输出层输出，实现晶圆ID编码的准确识别。这样可以实现对图像中ID的自动化识别，提高识别的准确性和效率。
实施例2
如图3所示，本实施例提供一种基于AI识别算法的自适应晶圆读码器方法的图像滤波策略，其主要实现过程如下：
本实例中通过设置灯光调节策略，收集并分析当前工作环境下参数，利用补光器调节读码区域亮度，所述工作环境的参数包括光照强度Ii、湿度Pi；
通过设置的检测光强和湿度的传感器检测环境参数，针对不同光照和湿度分别设置了白光和蓝光两种补光方式，将湿度作为调控光照的因素，解决湿度对光照传播的影响，设计蓝光作为补光手段，为了缓解强曝光中反光带来的影响，并且蓝光背景下成像其背景干扰较小；
补光区域设计成圆顶形光源，间错排列白色发光光源和蓝色发光光源，确保光源均匀且集中的照射在出光口，这种设计可以提供均匀而稳定的光照，有效减少光照不均匀造成的读码错误。同时，圆顶形光源的设计还可以减少光线的反射和折射，提高读码的准确性和稳定性
本实例中通过采集图像构建样本库，将采集到的图像分割成亚区域，采用滤波策略对图像亚区域进行处理；
通过采集图像并构建样本库，收集大量的图像用于分析和处理，样本图像用于训练算法、优化图像处理和分割方法等，使用滤波策略对图像的亚区域进行处理，滤波是一种在图像上应用滤波器以改变其特定特征或减少噪点的技术。
在本实施例中采用对称性平均法改进自适应中值滤波，采用自适应滤波作为基础，考虑到自适应中值滤波算法中选取的邻域是正方形的，具有平移对称，引入对称性平均法可以简化滤波的解决过程，提高滤波的效率，因此引入对称性平均改进法改进自适应中值滤波，分别对每个亚区域进行处理。
本实例中的滤波策略的主要实现过程如下：
S401、选取的当前像素点(i,j)为中心点，选取邻域大小n×n，对邻域中各像素灰度值大小进行排序，得到灰度值中心值c和灰度值最大值Zmax以及灰度值最小值Zmin；
S402、计算邻域中像素灰度值的均值α和方差σ2；
S403、判断或/>是否成立，若都不成立，则中心点不变，若其中任意一个不等式成立，则令n＝n+2，并选取的当前像素点(i，j)重新设为中心点；
S404、重复上述计算和分析比较步骤，最后将中心点(i,j)的像素灰度值取为中心值c，直到完成所有像素点分析。
本实例中将处理后的亚区域进行选择，选择出带有晶圆ID编码信息的亚区域；
本实例中构建基于LeNet－5网络的晶圆ID编码提取和识别模型；
搭建LeNet－5网络，包含输入层，卷积层、池化层，全连接层，输出层；
将输出层神经元增加至40个；
池化层降采样，并使用sigmoid作非线性输出到下一卷积层。
将传统模型中的输出层神经元增加至40个以满足晶圆ID中可能包含数字、字母以及字符的预测要求,更好地捕捉到可能出现的各种数字、字母和字符的组合。
本实例中用样本库样本对模型进行训练；
本实例中处理好的亚区域图像放入训练好的网络中进行ID编码提取识别。
本发明实施例的一种存储介质，存储介质中存储有指令，当采集到的图像数据，输入到装置处理器当中的一种基于AI识别算法的自适应晶圆读码器的装置。
本发明实施例的一种电子设备，包括处理器和上述的存储介质，处理器执行存储介质中的指令。其中，电子设备可以选用电脑、手机等。所属技术领域的技术人员知道，本发明可以实现为方法或计算机程序产品。
因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。
计算机可读存储介质例如可以是一一但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)，只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
Claims (2)
1.一种基于AI识别算法的自适应晶圆读码方法，其特征在于，包括下述步骤：
S1、设置灯光调节策略，收集并分析当前工作环境下参数，利用补光器调节读码区域亮度，所述工作环境的参数包括光照强度Ii、湿度Pi；
S2、采集图像构建样本库，将采集到的图像分割成亚区域，采用滤波策略对图像亚区域进行处理；
S3、将处理后的亚区域进行选择，选择出带有晶圆ID编码信息的亚区域；
S4、构建基于LeNet－5网络的晶圆ID编码提取和识别模型；
S5、用样本库样本对模型进行训练；
S6、处理好的亚区域图像放入训练好的网络中进行ID编码提取识别；
所述S1中灯光调节策略具体包括以下步骤：
S101、搭建卷积神经网络模型；
S102、将收集的光照强度Ii、湿度Pi导入到卷积神经网络模型中训练，使用3×3的卷积核进行特征提取；
S103、将提取到的特征通过池化层进行降采样，采用RELU函数作为激活函数，连接卷积层和池化层；
S104、利用提取到的特征信息进行补光器亮度调节分配；
所述S1中补光器的具体调节方法包括，根据环境的亮度提供不同程度的亮度补充，根据不同类型环境提供不同光照种类，光照种类包括白光和蓝光两种，两种不同颜色的灯间错安装在补光器上；
所述采集图像构建样本库，将采集到的图像分割成亚区域具体包括以下步骤：
S201、开启相机，获取晶圆ID编码区域图像；
S202、将所获取的图像分割成亚区域，并针对亚区域进行分析和处理；
S203、使用Otsu阈值分割策略确定图像分割阈值k；
S204、采用滤波策略对分割好的亚区域进行处理；
所述使用Otsu阈值分割算法确定图像分割最优阈值k包括以下步骤：
S301、将采集的图像定义为x，将x转化为灰度图像f(x)；
S302、设灰度图像f(x)的像素大小为M×N，灰度级大小为L,灰度级区间为{0,1,···,L-1}；
S303、设灰度图像中灰度级为i的所有像素个数为gi，灰度级为i的像素点出现的概率为其中i∈{0,1,···,L-1},且/>
S304、将灰度图像f(x)中的像素按灰度级用图像分割阈值k划分为背景C0灰度级和目标C1灰度级；其中，背景C0灰度级所属区间为{0,1,···,k-1}，目标C1灰度级所属区间为{k,k+1,···,L-1}，背景C0和目标C1对应的像素分别为{f(C0)≤k-1}和{f(C1)≥k}；
S305、分别计算背景C0出现的概率ω0(k)以及目标C1出现的概率ω1(k)，计算公式分别如下：
分别计算背景C0平均灰度值μ0(k)以及目标C1平均灰度值μ1(k)，计算公式分别如下：
计算背景C0以及目标C1类间方差δ2(k),计算公式如下：
δ2(k)＝ω0(k)[μ-μ0(k)]2+ω1(k)[μ-μ1(k)]2；
其中为灰度图像f(x)的总灰度值；
S306、令k的取值从0～L-1变化，计算不同的k值下的类间方差δ2(k)，最优阈值k为当δ2(k)最大时k的取值；
对每个亚区域进行进一步的分析和处理包括以下步骤：
S401、选取的当前像素点(i,j)为中心点，选取邻域大小n×n，对邻域中各像素灰度值大小进行排序，得到灰度值中心值c和灰度值最大值Zmax以及灰度值最小值Zmin；
S402、计算邻域中像素灰度值的均值α和方差σ2；
S403、判断或/>是否成立，若都不成立，则中心点不变，若其中任意一个不等式成立，则令n＝n+2，并选取的当前像素点(i，j)重新设为中心点；
S404、重复上述计算和分析比较步骤，最后将中心点(i,j)的像素灰度值取为中心值c，直到完成所有像素点分析；
所述S3将处理后的亚区域进行选择包括以下具体内容：将分割好的亚区域进行像素点分析，选取带有晶圆ID编码的区域；
将滤波处理后的图像进行像素点分析包括以下具体内容：使用Sobel算子边缘检测策略去对图像中的有效区域进行检测，Sobel算子水平方向的算子为垂直方向的算子为/>水平方向的算子和垂直方向的算子分别对水平及垂直方向上的边缘敏感，将灰度图像f(x)两个方向上的灰度值分别用这两个算子对输入图像进行卷积操作，得到x,y方向上各点的卷积结果垂直梯度Gx和水平梯度Gy，并计算梯度
所述S4构建基于LeNet－5网络的晶圆ID编码提取和识别模型步骤为：
搭建LeNet－5网络，包含卷积层、池化层，全连接层，输出层；
池化层用于降采样，并使用sigmoid作非线性输出到下一卷积层；
所述S5用样本库样本对模型进行训练的具体内容为：设置dropout参数，输入样本对设置网络进行训练，在训练完成后关闭dropout参数，验证网络的训练效果；
所述S6的具体步骤为：将处理好的带有晶圆ID的图像放入训练完毕的网络中进行ID提取识别。
2.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现权利要求1中所述的一种基于AI识别算法的自适应晶圆读码方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311081912.1A CN117057371B (zh) | 2023-08-26 | 2023-08-26 | 一种基于ai识别算法的自适应晶圆读码方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311081912.1A CN117057371B (zh) | 2023-08-26 | 2023-08-26 | 一种基于ai识别算法的自适应晶圆读码方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117057371A CN117057371A (zh) | 2023-11-14 |
| CN117057371B true CN117057371B (zh) | 2024-02-20 |
Family
ID=88655149
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311081912.1A Active CN117057371B (zh) | 2023-08-26 | 2023-08-26 | 一种基于ai识别算法的自适应晶圆读码方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117057371B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886260A (zh) * | 2019-02-27 | 2019-06-14 | 上海千映智能科技有限公司 | 一种智能读码器 |
| CN111931671A (zh) * | 2020-08-17 | 2020-11-13 | 青岛北斗天地科技有限公司 | 一种用于煤矿井下逆光环境中光照补偿的人脸识别方法 |
| CN112200182A (zh) * | 2020-09-25 | 2021-01-08 | 杭州加速科技有限公司 | 基于深度学习的晶圆id识别方法和装置 |
| CN113160222A (zh) * | 2021-05-14 | 2021-07-23 | 电子科技大学 | 一种针对工业信息图像的生产数据识别方法 |
| CN113936280A (zh) * | 2021-11-23 | 2022-01-14 | 河海大学 | 一种嵌入式仪表码盘字符自动识别系统及方法 |
| WO2022088660A1 (zh) * | 2020-10-29 | 2022-05-05 | 长鑫存储技术有限公司 | 提高晶圆检测灵敏度的方法、装置以及存储介质 |
| CN217426129U (zh) * | 2022-06-06 | 2022-09-13 | 浙江载力科技有限公司 | 一种晶圆id全自动识别设备 |
| CN115375635A (zh) * | 2022-08-05 | 2022-11-22 | 中国地质大学（武汉） | 一种晶圆缺陷的识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220343623A1 (en) * | 2019-11-28 | 2022-10-27 | Beijing Xiaoying Technology Co., Ltd. | Blood smear full-view intelligent analysis method, and blood cell segmentation model and recognition model construction method |
-
2023
- 2023-08-26 CN CN202311081912.1A patent/CN117057371B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109886260A (zh) * | 2019-02-27 | 2019-06-14 | 上海千映智能科技有限公司 | 一种智能读码器 |
| CN111931671A (zh) * | 2020-08-17 | 2020-11-13 | 青岛北斗天地科技有限公司 | 一种用于煤矿井下逆光环境中光照补偿的人脸识别方法 |
| CN112200182A (zh) * | 2020-09-25 | 2021-01-08 | 杭州加速科技有限公司 | 基于深度学习的晶圆id识别方法和装置 |
| WO2022088660A1 (zh) * | 2020-10-29 | 2022-05-05 | 长鑫存储技术有限公司 | 提高晶圆检测灵敏度的方法、装置以及存储介质 |
| CN113160222A (zh) * | 2021-05-14 | 2021-07-23 | 电子科技大学 | 一种针对工业信息图像的生产数据识别方法 |
| CN113936280A (zh) * | 2021-11-23 | 2022-01-14 | 河海大学 | 一种嵌入式仪表码盘字符自动识别系统及方法 |
| CN217426129U (zh) * | 2022-06-06 | 2022-09-13 | 浙江载力科技有限公司 | 一种晶圆id全自动识别设备 |
| CN115375635A (zh) * | 2022-08-05 | 2022-11-22 | 中国地质大学（武汉） | 一种晶圆缺陷的识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| 基于光度立体视觉的一体化智能读码器;王勇;集成电路应用;第37卷(第10期);第192-194页 * |
| 基于机器视觉的编码自动识别系统;王烨青;中国硕士学位论文全文数据库 信息科技辑;全文 * |
| 复杂背景下晶圆标识符识别系统研究;邵俊豪;中国硕士学位论文全文数据库 信息科技辑(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117057371A (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3740897B1 (en) | License plate reader using optical character recognition on plural detected regions | |
| CN109816644B (zh) | 一种基于多角度光源影像的轴承缺陷自动检测系统 | |
| CN107545239B (zh) | 一种基于车牌识别与车辆特征匹配的套牌检测方法 | |
| CN110060237B (zh) | 一种故障检测方法、装置、设备及系统 | |
| US10043090B2 (en) | Information processing device, information processing method, computer-readable recording medium, and inspection system | |
| JP5546317B2 (ja) | 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム | |
| CN109684959B (zh) | 基于肤色检测和深度学习的视频手势的识别方法及装置 | |
| JP6794737B2 (ja) | 情報処理装置、情報処理方法、プログラムおよび検査システム | |
| CN107590512B (zh) | 一种模板匹配中参数的自适应方法和系统 | |
| CN111160169B (zh) | 人脸检测方法、装置、设备及计算机可读存储介质 | |
| EP3848472A2 (en) | Methods and systems for automated counting and classifying microorganisms | |
| CN111062938B (zh) | 基于机器学习的板材涨塞检测系统和检测方法 | |
| CN113019973B (zh) | 一种易拉罐制造缺陷在线视觉检测方法 | |
| CN113962306A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
| EP2504697A1 (en) | Methods and system for recognizing wood species | |
| CN110929795A (zh) | 高速焊线机焊点快速识别与定位方法 | |
| CN111833369A (zh) | 一种矾花图像处理方法、系统、介质及电子设备 | |
| CN114651172A (zh) | 使用卷积上下文属性以寻找半导体缺陷 | |
| CN113302619A (zh) | 目标区域评估和特征点评估的系统和方法 | |
| CN113409271B (zh) | 一种镜头油污的检测方法、装置及设备 | |
| CN116740728B (zh) | 一种用于晶圆读码器动态获取方法和系统 | |
| CN117057371B (zh) | 一种基于ai识别算法的自适应晶圆读码方法 | |
| TWI498830B (zh) | 不均勻光線下的車牌辨識方法及系統 | |
| CN112784675A (zh) | 目标检测方法及装置、存储介质、终端 | |
| CN108171705A (zh) | 一种透明玻璃瓶内液体的异物检测算法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |