CN117057371A - 一种基于ai识别算法的自适应晶圆读码方法 - Google Patents

一种基于ai识别算法的自适应晶圆读码方法 Download PDF

Info

Publication number
CN117057371A
CN117057371A CN202311081912.1A CN202311081912A CN117057371A CN 117057371 A CN117057371 A CN 117057371A CN 202311081912 A CN202311081912 A CN 202311081912A CN 117057371 A CN117057371 A CN 117057371A
Authority
CN
China
Prior art keywords
image
wafer
network
code reading
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311081912.1A
Other languages
English (en)
Other versions
CN117057371B (zh
Inventor
林坚
王彭
吴国明
王栋梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honghu Suzhou Semiconductor Technology Co ltd
Original Assignee
Honghu Suzhou Semiconductor Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honghu Suzhou Semiconductor Technology Co ltd filed Critical Honghu Suzhou Semiconductor Technology Co ltd
Priority to CN202311081912.1A priority Critical patent/CN117057371B/zh
Publication of CN117057371A publication Critical patent/CN117057371A/zh
Application granted granted Critical
Publication of CN117057371B publication Critical patent/CN117057371B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712—Fixed beam scanning
    • G06K7/10722—Photodetector array or CCD scanning
    • G06K7/10732—Light sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/146—Methods for optical code recognition the method including quality enhancement steps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Computation (AREA)
  • Toxicology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及晶圆编码识别技术领域，尤其涉及一种基于AI识别算法的自适应晶圆读码方法，本发明包括设置灯光调节策略，收集并分析当前工作环境下图像及参数，利用补光器调节读码区域亮度；采集图像构建样本库，将采集到的图像分割成亚区域，采用滤波策略对图像亚区域进行处理；将处理后的亚区域进行选择，选择出带有晶圆ID编码信息的亚区域；构建基于LeNet－5网络的晶圆ID编码识别和提取策略；用样本库样本对LeNet－5网络的训练；将处理好的亚区域图像放入训练好的网络中进行ID提取识别。解决了规格不统一编码晶圆ID在阴雨天、黑夜、强光等复杂环境中识别困难的问题。

Description

一种基于AI识别算法的自适应晶圆读码方法
技术领域
本发明涉及晶圆编码识别技术领域，尤其涉及一种基于AI识别算法的自适应晶圆读码方法。
背景技术
随着竞争激烈的全球半导体行业对日益复杂的工艺流程提出更为严格的控制要求，为了保证封装与生产的工艺管控、追溯以及防伪需求，生产的晶圆上都会打上编码进行追溯。在制造流程中，需要通过机械手等搬运设备，将晶圆在这些加工设备之间进行搬运。为了实现晶圆的流向追踪，以及记录晶圆的相关信息(如测试结果等)，需要识别晶圆ID。目前，晶圆ID读取设备市场主要集中在国外相关设备厂商如康耐视、IOSS GMbH、R2DAutomation等，进口晶圆读码器一方面价格居高不下，售后服务体系不够完善，无法实现24小时及时响应。另一方面，国内部分晶圆制造商，编码规则不够规范，存在字体偏小、位置有偏差等问题，国外相关晶圆读码器在编码识别率上存在一定不足。规格不统一的晶圆ID在复杂环境中的识别都存在较大问题，读码器随着生产制造的需求，其重要性日益凸显。
现有授权公告号为CN217426129U的中国专利公开了一种晶圆ID全自动识别设备，包括：底座，其顶部开始的凹槽内壁底部贴合设置有转盘，所述转盘上表面贴合设置有晶圆本体，且晶圆本体的上表面边缘处刻印有二维码本体用于储存信息；还包括：透光环，其内侧固定安装在所述转盘的侧壁顶部，两者同轴设置，所述透光环的外侧固定套设有同轴设置的环板，且透光环的上表面与所述晶圆本体贴合设置，并且环板的内外两侧分别贴合设置有所述晶圆本体和底座；安装支架，其底部垂直连接在所述底座的顶部边缘处。
现有公开号为CN112200182A的中国专利公开了一种基于深度学习的晶圆ID识别方法和装置。该晶圆ID识别方法包括：获取待识别的晶圆ID图像；利用光学文字识别循环卷积神经网络模型，从待识别的晶圆ID图像中获得晶圆ID。其中，光学文字识别循环卷积神经网络包括Mobilenet bottleneck卷积模块。本发明的技术方案利用包括Mobilenetbottleneck卷积模块的循环卷积神经网络模型，实现了对任意长度的晶圆ID字符的快速且准确的识别。以上专利都存在背景技术提出的问题：规格不统一的晶圆ID在复杂环境中的识别都存在较大问题。
发明内容
为了解决规格不统一编码晶圆ID在复杂环境中识别困难问题，本发明采取的技术方案为，一种基于AI识别算法的自适应晶圆读码方法，具体实现步骤包括：
S1、设置灯光调节策略，收集并分析当前工作环境下参数，利用补光器调节读码区域亮度，所述工作环境参数包括光照强度、湿度/>；
S2、采集图像构建样本库，将采集到的图像分割成亚区域，采用滤波策略对图像亚区域进行处理；
S3、将处理后的亚区域进行选择，选择出带有晶圆ID编码信息的亚区域；
S4、构建基于LeNet－5网络的晶圆ID编码提取和识别模型；
S5、用样本库样本对模型进行训练；
S6、处理好的亚区域图像放入训练好的网络中进行ID编码提取识别。
作为优选的技术方案，所述S1中灯光调节策略具体包括以下步骤：
S101、搭建卷积神经网络模型；
S102、将收集的光照强度、湿度/>导入到卷积神经网络模型中训练，使用/>的卷积核进行特征提取；
S103、将提取到的特征通过池化层进行降采样，采用RELU函数作为激活函数，连接卷积层和池化层；
S104、利用提取到的特征信息进行补光器亮度调节分配。
作为优选的技术方案，所述S1中补光器的具体调节方法包括，根据环境的亮度提供不同程度的亮度补充，根据不同类型环境提供不同光照种类，光照种类包括白光和蓝光两种，两种不同颜色的灯间错安装在补光器上。
作为优选的技术方案，所述采集图像构建样本库，将采集到的图像分割成亚区域具体包括以下步骤：
S201、开启相机，获取晶圆ID编码区域图像；
S202、将所获取的图像分割成亚区域，并针对亚区域进行分析和处理；
S203、使用Otsu阈值分割策略确定图像分割阈值；
S204、采用滤波策略对分割好的亚区域进行处理。
作为优选的技术方案，所述使用Otsu阈值分割算法确定阈值包括以下步骤：
S301、将采集的图像定义为，将/>转化为灰度图像/>；
S302、设灰度图像的像素大小为/>，灰度级大小为/>,灰度级区间为；
S303、设灰度图像中灰度级为的所有像素个数为/>，灰度级为i的像素点出现的概率为/>其中/>,且/>；
S304、将灰度图像中的像素按灰度级用图像分割阈值/>划分为背景/>灰度级和目标/>灰度级；其中，背景/>灰度级所属区间为/>，目标/>灰度级所属区间为/>，背景/>和目标/>对应的像素分别为/>和；
S305、分别计算背景出现的概率/>以及目标/>出现的概率/>，计算公式分别如下：
；
；
分别计算背景平均灰度值/>以及目标/>平均灰度值/>，计算公式分别如下：
；
；
计算背景以及目标/>类间方差/>,计算公式如下：
；
其中为灰度图像/>的总灰度值；
S306、令的取值从/>变化，计算不同的/>值下的类间方差/>，最优阈值/>为当/>最大时/>的取值。
作为优选的技术方案，所述对每个亚区域进行进一步的分析和处理包括以下步骤：
S401、选取的当前像素点为中心点，选取邻域大小/>，对邻域中各像素灰度值大小进行排序，得到灰度值中心值/>和灰度值最大值/>以及灰度值最小值/>；
S402、计算邻域中像素灰度值的均值和方差/>；
S403、判断或/>是否成立，若都不成立，则中心点不变，若其中任意一个不等式成立，则令/>，并选取的当前像素点（i，j）重新设为中心点；
S404、重复上述计算和分析比较步骤，最后将中心点的像素灰度值取为中心值/>，直到完成所有像素点分析。
作为优选的技术方案，所述S3将处理后的亚区域进行选择包括以下具体内容：将分割好的亚区域进行像素分析，选取带有晶圆ID编码的区域。
作为优选的技术方案，所述将滤波处理后的图像进行像素点分析包括以下具体内容：使用Sobel算子边缘检测策略去对图像中的有效区域进行检测，Sobel算子水平方向的算子为、垂直方向的算子为/>，水平方向的算子和垂直方向的算子分别对水平及垂直方向上的边缘敏感，将灰度图像/>两个方向上的灰度值分别用这两个算子对输入图像进行卷积操作，得到/>方向上各点的卷积结果垂直梯度/>和水平梯度/>，并计算梯度/>。
作为优选的技术方案，所述S4构建基于LeNet－5网络的晶圆ID编码提取和识别模型：
搭建LeNet－5网络，包含卷积层、池化层，全连接层，输出层；
池化层用于降采样，并使用sigmoid作非线性输出到下一卷积层。
作为优选的技术方案，所述S5用样本库样本对模型进行训练具体内容为：设置dropout参数，输入样本对设置网络进行训练，在训练完成后关闭dropout参数，验证网络的训练效果。
作为优选的技术方案，所述S6的具体步骤为：将处理好的带有晶圆ID的图像放入训练完毕的网络中进行ID提取识别。
一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现一种基于AI识别算法的自适应晶圆读码方法。
本发明还提供一种基于AI识别算法的自适应晶圆读码系统，包括以下模块：
多模式亮度调节模块：设置灯光调节策略，收集并分析当前工作环境下参数，利用补光器调节读码区域亮度；
图像处理模块：将采集到的图像分割成亚区域，采用滤波策略对图像亚区域进行处理；
图像提取模块：将处理后的亚区域进行选择，选择出带有晶圆ID编码信息的亚区域；
网络搭建模块：构建基于LeNet－5网络的晶圆ID编码提取和识别模型；
网络训练模块：用样本库样本对模型进行训练；
ID提取和识别模块：处理好的亚区域图像放入训练好的网络中进行ID编码提取识别。
与现有技术相比，本发明具有如下有益效果：
1）本发明的一种基于AI识别算法的自适应晶圆读码方法，通过读码器内置的多模式亮度调节模块，综合分析在不同光照条件下的工作情况，并且添加了湿度对当前工作的影响，并反馈给补光调节，在晶圆编码成像时提供不同的光照条件，只有在亮度达到要求的情况下，才能进行准确的晶圆编码形成区域成像。这种方式不仅能够提供清晰的影像，还能保证成像结果的准确性。最大限度实现晶圆编码的读取效率。
2）本发明一种基于AI识别算法的自适应晶圆读码方法，针对在晶圆生产过程中，由于生产工序的处理会对ID标记的质量的不统一，通过图像切割区分亚区域之后利用改进自适应中值滤波，提升图像边缘质量及图像清晰度，之后对图像有效信息块选取，准确定位有效信息区域，为实现晶圆ID的精准识别提供保障。有效的解决了编码规则不够规范，存在字体偏小、位置有偏差等问题。
附图说明
图1为本发明一种基于AI识别算法的自适应晶圆读码方法的步骤示意图；
图2为本发明一种基于AI识别算法的自适应晶圆读码方法的流程示意图；
图3为本发明一种基于AI识别算法的自适应晶圆读码方法的图像滤波处理流程图；
图4为本发明一种基于AI识别算法的自适应晶圆读码系统的系统模块图。
具体实施方式
需要说明的是：本发明方法可在各种环境中使用，不局限于发明中提到的黑夜和阴雨天，本发明方法只做了实现效果阐述，但并不限制于开发平台，可于任意合适的平台实现，也可开发成具体设备来实现此功能。
下面通过附图以及具体实施例对本发明技术方案做详细地说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。
实施例1
如图2所示，本实施例提供一种基于AI识别算法的自适应晶圆读码方法流程，具体包括下述步骤：
S1、设置灯光调节策略，收集并分析当前工作环境下参数，利用补光器调节读码区域亮度，克服不规则晶圆ID在复杂环境下的识别如：阴雨天、反光、光照遮挡及黑夜的环境中；
S11、设置光照和湿度检测器，工作时收集当前的工作环境下的光照强度、湿度；
S12、针对不同光照和湿度分别设置了白光和蓝光两种补光方式，将湿度作为调控光照的因素，解决湿度对光照传播的影响，设计蓝光作为补光手段，为了缓解强曝光中反光带来的影响，并且蓝光背景下成像其背景干扰较小；
S13、补光区域设计成圆顶形光源，间错排列白色发光光源和蓝色发光光源，确保光源均匀且集中的照射在出光口，这种设计可以提供均匀而稳定的光照，有效减少光照不均匀造成的读码错误。同时，圆顶形光源的设计还可以减少光线的反射和折射，提高读码的准确性和稳定性；
S14、系统设计了相应的灯光调节策略：
S101、搭建卷积神经网络模型；
S102、将收集的光照强度、湿度/>导入到卷积神经网络模型中训练，使用/>的卷积核进行特征提取；
S103、将提取到的特征通过池化层进行降采样，采用RELU函数作为激活函数，连接卷积层和池化层；
S104、利用提取到的特征信息进行补光器亮度调节分配。
根据当前工作环境下的光照强度和湿度，自动匹配合适的补光类型。通过收集环境光照强度和湿度的数据，并将其导入算法中进行分析和处理，系统能够根据不同的工作环境提供最适合的补光方式，以保证读码过程的稳定性和准确性。这样，无论是在强光照还是低光照环境下，或是在干燥还是潮湿的环境中，系统都能够自动调节补光方式，保证晶圆读码的成功率和效果。
将所收集的当前工作环境下的光照强度、湿度导入灯光调节算法程序进行决策，将分析结果作用到补光器上。
在亮度调节模块完成补光后进行晶圆编码形成区域成像，使用合适的补光方式，确保成像区域得到足够的光照，以保证成像的清晰和准确。
读码器内置多模式亮度调节模块，实时收集当前工作环境下的光照、湿度；将收集到的数据放入到亮度调节模块进行分析对比，根据所得结果来调节补光器亮度，在晶圆编码成像时提供不同的光照条件，在亮度调节模块完成补光后进行晶圆编码形成区域成像，使用合适的补光方式，确保成像区域得到足够的光照，以保证成像的清晰和准确。可以解决阴雨天、反光、光照遮挡及黑夜等光照不足以及湿度过高带来的成像的影响。
S2、采集图像构建样本库，将采集到的图像分割成多个亚区域，采用滤波策略对图像亚区域进行处理，其主要过程如下：
开启相机，对晶圆ID编码区域成像；
将所获取的图像分割成亚区域，并针对亚区域进行分析和处理；
使用Otsu阈值分割策略确定图像分割阈值；
采用滤波策略对分割好的亚区域进行处理。
其中Otsu阈值分割算法确定阈值包括以下步骤：
S301、将采集的图像定义为，将/>转化为灰度图像/>；
S302、设灰度图像的像素大小为/>，灰度级大小为/>,灰度级区间为；
S303、设灰度图像中灰度级为的所有像素个数为/>，灰度级为i的像素点出现的概率为/>其中/>,且/>；
S304、将灰度图像中的像素按灰度级用图像分割阈值/>划分为背景/>灰度级和目标/>灰度级；其中，背景/>灰度级所属区间为/>，目标/>灰度级所属区间为/>，背景/>和目标/>对应的像素分别为/>和；
S305、分别计算背景出现的概率/>以及目标/>出现的概率/>，计算公式分别如下：
；
；
分别计算背景平均灰度值/>以及目标/>平均灰度值/>，计算公式分别如下：
；
；
计算背景以及目标/>类间方差/>,计算公式如下：
；
其中为灰度图像/>的总灰度值；
S306、令的取值从/>变化，计算不同的/>值下的类间方差/>，最优阈值/>为当/>最大时/>的取值。
对得到的二值图像进行后处理，包括去噪、填充、连通域分析等操作，消除噪声和不完整的目标物体，以得到准确的分割结果。采用改进自适应滤波对图像进行处理，减少字体偏小、位置有偏差等问题带来的信息干扰。
S3、将处理后的亚区域进行选择，选择出带有晶圆ID编码信息的亚区域；
使用Sobel算子边缘检测策略去对图像中的有效区域进行检测，Sobel算子水平方向的算子为、垂直方向的算子为/>，水平方向的算子和垂直方向上的算子分别对水平及垂直方向上的边缘敏感，将灰度图像/>两个方向上的灰度值分别用这两个算子对输入图像进行卷积操作，得到/>方向上各点的卷积结果垂直梯度/>和水平梯度/>，并计算梯度/>。
S4、构建基于LeNet－5网络的晶圆ID编码提取和识别模型；
搭建LeNet－5网络，包含输入层，卷积层、池化层，全连接层，输出层；
将输出层神经元增加至40个；
池化层降采样，并使用sigmoid作非线性输出到下一卷积层。
将传统模型中的输出层神经元增加至40个以满足晶圆ID中可能包含数字、字母以及字符的预测要求,更好地捕捉到可能出现的各种数字、字母和字符的组合。
S5、用样本库样本模型进行训练：
网络结构连接规模扩大，所抓取的特征较多，在初始训练中设置dropout参数。dropout是一种常用的正则化技术，可以随机地将一部分神经元的输出置为0，从而减少过拟合的风险。减少神经网络中各层之间的依赖关系，有效地增加模型的泛化能力。输入样本对设置网络进行训练，避免过拟合现象的发生，在训练完成后关闭dropout参数，验证网络的训练效果。
S6、处理好的亚区域图像放入训练好的网络中进行ID提取识别：所述S6的具体步骤为：将处理好的图像放入到训练好的网络当中进行ID提取识别。将分割后的图片输入网络模型中，通过卷积层提取图像特征和池化层下采样得到编码的结构特征，在全连接层进行编码匹配，通过输出层输出，实现晶圆ID编码的准确识别。这样可以实现对图像中ID的自动化识别，提高识别的准确性和效率。
实施例2
如图3所示，本实施例提供一种基于AI识别算法的自适应晶圆读码器方法的图像滤波策略，其主要实现过程如下：
本实例中通过设置灯光调节策略，收集并分析当前工作环境下参数，利用补光器调节读码区域亮度，所述工作环境的参数包括光照强度、湿度/>；
通过设置的检测光强和湿度的传感器检测环境参数，针对不同光照和湿度分别设置了白光和蓝光两种补光方式，将湿度作为调控光照的因素，解决湿度对光照传播的影响，设计蓝光作为补光手段，为了缓解强曝光中反光带来的影响，并且蓝光背景下成像其背景干扰较小；
补光区域设计成圆顶形光源，间错排列白色发光光源和蓝色发光光源，确保光源均匀且集中的照射在出光口，这种设计可以提供均匀而稳定的光照，有效减少光照不均匀造成的读码错误。同时，圆顶形光源的设计还可以减少光线的反射和折射，提高读码的准确性和稳定性
本实例中通过采集图像构建样本库，将采集到的图像分割成亚区域，采用滤波策略对图像亚区域进行处理；
通过采集图像并构建样本库，收集大量的图像用于分析和处理，样本图像用于训练算法、优化图像处理和分割方法等，使用滤波策略对图像的亚区域进行处理，滤波是一种在图像上应用滤波器以改变其特定特征或减少噪点的技术。
在本实施例中采用对称性平均法改进自适应中值滤波，采用自适应滤波作为基础，考虑到自适应中值滤波算法中选取的邻域是正方形的，具有平移对称，引入对称性平均法可以简化滤波的解决过程，提高滤波的效率，因此引入对称性平均改进法改进自适应中值滤波，分别对每个亚区域进行处理。
本实例中的滤波策略的主要实现过程如下：
S401、选取的当前像素点为中心点，选取邻域大小/>，对邻域中各像素灰度值大小进行排序，得到灰度值中心值/>和灰度值最大值/>以及灰度值最小值/>；
S402、计算邻域中像素灰度值的均值和方差/>；
S403、判断或/>是否成立，若都不成立，则中心点不变，若其中任意一个不等式成立，则令/>，并选取的当前像素点（i，j）重新设为中心点；
S404、重复上述计算和分析比较步骤，最后将中心点的像素灰度值取为中心值/>，直到完成所有像素点分析。
本实例中将处理后的亚区域进行选择，选择出带有晶圆ID编码信息的亚区域；
本实例中构建基于LeNet－5网络的晶圆ID编码提取和识别模型；
搭建LeNet－5网络，包含输入层，卷积层、池化层，全连接层，输出层；
将输出层神经元增加至40个；
池化层降采样，并使用sigmoid作非线性输出到下一卷积层。
将传统模型中的输出层神经元增加至40个以满足晶圆ID中可能包含数字、字母以及字符的预测要求,更好地捕捉到可能出现的各种数字、字母和字符的组合。
本实例中用样本库样本对模型进行训练；
本实例中处理好的亚区域图像放入训练好的网络中进行ID编码提取识别。
实施例3
如图4所示，本实施例提供一种基于AI识别算法的自适应晶圆读码器的系统，整个装置包括多模式亮度调节模块、图像处理模块、图像提取模块、网络搭建模块、网络训练模块、ID提取和识别模块。
本实施例中多模式亮度调节模块用于收集当前工作环境下的光照、湿度；将收集到的数据放入到亮度调节模块进行分析对比，更据所得结果来调节补光器亮度；
本实施例中图像处理模块用于将图像按照阈值分割成多个亚区域，采用改进自适应滤波对图像进行处理，用于增强和处理分割后的图像；
在本实施例图像提取模块用来对处理后的图像筛选，提取核心的信息块，通过对每个像素点的属性进行分析，可以确定每个像素点所属的区域类型。然后，根据预设的有效区域标准，筛选出符合条件的区域，即有效区域。这样，可以更准确地确定图像中的目标物体或感兴趣区域，提高图像处理的效果和准确性将滤波处理后的图像进行像素点分析，选取有效区域。
在本实施例采用使用使用Sobel算子边缘检测策略去对图像中的有效区域进行检测，Sobel算子水平方向的算子为、垂直方向的算子为/>，水平方向的算子和垂直方向上的算子分别对水平及垂直方向上的边缘敏感，将灰度图像两个方向上的灰度值分别用这两个算子对输入图像进行卷积操作，得到/>方向上各点的卷积结果垂直梯度/>和水平梯度/>，并计算梯度/>。
本实施例中网络训练模块用来搭建识别和提取晶圆ID的网络。
搭建七层LeNet－5网络，其中包含三层卷积层，两层池化层，池化层通过下采样连接卷积层。
在本实施例使用LeNet－5网络来做识别算法，为了保证LeNet－5网络的提取效果，将第一卷积层Con1和第二池化层Sub1的特征图数目调整为32幅，将第三卷积层Con2和第四池化层Sub2的特征图数目调整为64幅，第五层卷积层不变。
本实施例中搭建LeNet－5网络，第六为全连接层，第六层计算输入向量和权重向量之间的点积，再加上一个偏置，结果通过sigmoid函数输出。这个全连接层的目的是将第五层的特征向量映射到一个更高维度的空间，以便更好地进行分类任务。
第七层是输出层，也是一个全连接层。它共有40个节点，每个节点代表一个特殊字符，包括数字0-9、字母A-Z和特殊字符“-”等。且如果节点i的值为0，则网络识别的结果是数字i。这个输出层的设计使得网络可以同时识别多个不同的特殊字符。将第六层的输出作为RBF神经元的输入，并使用RBF神经元来计算第七层的输出。这样的网络结构可以应用于各种需要同时识别多个特殊字符的任务，令是上一层的输入，/>是RBF的输出，/>的值由/>的比特编码决定，则RBF输出的计算方式是：
在本实施例中将传统模型中的输出层神经元增加至40个以满足晶圆ID中可能包含数字(0-9)、字母(A-Z)等特殊字符(-)的预测要求,更好地识别到可能出现的各种数字、字母和字符的组合。
在本实施例中ID提取和识别模块主要工作是使用大量训练样本对LeNet－5网络的进行训练；利用训练好的网络对处理过的图像进行ID提取识别。
在本实施例中由于网络结构连接规模扩大，所抓取的特征较多，在初始训练阶段，设置dropout参数，并使用输入样本对网络进行训练。减少神经网络中各层之间的依赖关系，有效地增加模型的泛化能力。dropout是一种正则化技术，通过随机丢弃一部分神经元的输出来减少过拟合现象，提高网络的泛化能力。在训练完成后，我们关闭dropout参数，验证网络的训练效果。
在本实施例深度学习网络训练过程中，设置dropout=0.5，每个神经元有50%的概率被保留下来，有50%的概率被设置为零。
输入样本对设置网络进行训练，避免过拟合现象的发生，在训练完成后关闭dropout参数，验证网络的训练效果。
将处理好的图像放入到训练好的网络中进行ID提取和识别。经过前面的步骤，网络已经具有较好的特征提取和识别能力。通过将处理好的图像输入网络，可以得到对图像中ID的提取和识别结果。这样可以实现对图像中ID的自动化识别，提高识别的准确性和效率。
本发明实施例的一种存储介质，存储介质中存储有指令，当采集到的图像数据，输入到装置处理器当中的一种基于AI识别算法的自适应晶圆读码器的装置。
本发明实施例的一种电子设备，包括处理器和上述的存储介质，处理器执行存储介质中的指令。其中，电子设备可以选用电脑、手机等。所属技术领域的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。
因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件（包括固件、驻留软件、微代码等），还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。
计算机可读存储介质例如可以是一一但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器（RAM），只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

Claims (13)

1.一种基于AI识别算法的自适应晶圆读码方法，其特征在于，包括下述步骤：
S1、设置灯光调节策略，收集并分析当前工作环境下参数，利用补光器调节读码区域亮度，所述工作环境的参数包括光照强度、湿度/>；
S2、采集图像构建样本库，将采集到的图像分割成亚区域，采用滤波策略对图像亚区域进行处理；
S3、将处理后的亚区域进行选择，选择出带有晶圆ID编码信息的亚区域；
S4、构建基于LeNet－5网络的晶圆ID编码提取和识别模型；
S5、用样本库样本对模型进行训练；
S6、处理好的亚区域图像放入训练好的网络中进行ID编码提取识别。
2.根据权利要求1所述的一种基于AI识别算法的自适应晶圆读码方法，其特征在于，所述S1中灯光调节策略具体包括以下步骤：
S101、搭建卷积神经网络模型；
S102、将收集的光照强度、湿度/>导入到卷积神经网络模型中训练，使用/>的卷积核进行特征提取；
S103、将提取到的特征通过池化层进行降采样，采用RELU函数作为激活函数，连接卷积层和池化层；
S104、利用提取到的特征信息进行补光器亮度调节分配。
3.根据权利要求2所述的一种基于AI识别算法的自适应晶圆读码方法，其特征在于，所述S1中补光器的具体调节方法包括，根据环境的亮度提供不同程度的亮度补充，根据不同类型环境提供不同光照种类，光照种类包括白光和蓝光两种，两种不同颜色的灯间错安装在补光器上。
4.所述根据权利要求1所述的一种基于AI识别算法的自适应晶圆读码方法，其特征在于，所述采集图像构建样本库，将采集到的图像分割成亚区域具体包括以下步骤：
S201、开启相机，获取晶圆ID编码区域图像；
S202、将所获取的图像分割成亚区域，并针对亚区域进行分析和处理；
S203、使用Otsu阈值分割策略确定图像分割阈值；
S204、采用滤波策略对分割好的亚区域进行处理。
5.根据权利要求4所述的一种基于AI识别算法的自适应晶圆读码方法，其特征在于，所述使用Otsu阈值分割算法确定图像分割最优阈值包括以下步骤：
S301、将采集的图像定义为，将/>转化为灰度图像/>；
S302、设灰度图像的像素大小为/>，灰度级大小为/>,灰度级区间为；
S303、设灰度图像中灰度级为的所有像素个数为/>，灰度级为/>的像素点出现的概率为/>其中/>,且/>；
S304、将灰度图像中的像素按灰度级用图像分割阈值/>划分为背景/>灰度级和目标/>灰度级；其中，背景/>灰度级所属区间为/>，目标/>灰度级所属区间为/>，背景/>和目标/>对应的像素分别为/>和；
S305、分别计算背景出现的概率/>以及目标/>出现的概率/>，计算公式分别如下：
；
；
分别计算背景平均灰度值/>以及目标/>平均灰度值/>，计算公式分别如下：
；
；
计算背景以及目标/>类间方差/>,计算公式如下：
；
其中为灰度图像/>的总灰度值；
S306、令的取值从/>变化，计算不同的/>值下的类间方差/>，最优阈值/>为当/>最大时/>的取值。
6.根据权利要求5所述的一种基于AI识别算法的自适应晶圆读码方法，其特征在于，所述对每个亚区域进行进一步的分析和处理包括以下步骤：
S401、选取的当前像素点为中心点，选取邻域大小/>，对邻域中各像素灰度值大小进行排序，得到灰度值中心值/>和灰度值最大值/>以及灰度值最小值/>；
S402、计算邻域中像素灰度值的均值和方差/>；
S403、判断或/>是否成立，若都不成立，则中心点不变，若其中任意一个不等式成立，则令/>，并选取的当前像素点（i，j）重新设为中心点；
S404、重复上述计算和分析比较步骤，最后将中心点的像素灰度值取为中心值/>，直到完成所有像素点分析。
7.根据权利要求6所述的一种基于AI识别算法的自适应晶圆读码方法，其特征在于，所述S3将处理后的亚区域进行选择包括以下具体内容：将分割好的亚区域进行像素点分析，选取带有晶圆ID编码的区域。
8.根据权利要求7所述的一种基于AI识别算法的自适应晶圆读码方法，其特征在于，所述将滤波处理后的图像进行像素点分析包括以下具体内容：使用Sobel算子边缘检测策略去对图像中的有效区域进行检测，Sobel算子水平方向的算子为、垂直方向的算子为/>，水平方向的算子和垂直方向的算子分别对水平及垂直方向上的边缘敏感，将灰度图像/>两个方向上的灰度值分别用这两个算子对输入图像进行卷积操作，得到
方向上各点的卷积结果垂直梯度/>和水平梯度/>，并计算梯度。
9.根据权利要求1所述的一一种基于AI识别算法的自适应晶圆读码方法，其特征在于，所述S4构建基于LeNet－5网络的晶圆ID编码提取和识别模型步骤为：
搭建LeNet－5网络，包含卷积层、池化层，全连接层，输出层；
池化层用于降采样，并使用sigmoid作非线性输出到下一卷积层。
10.根据权利要求9所述的一种基于AI识别算法的自适应晶圆读码方法，其特征在于，所述S5用样本库样本对模型进行训练的具体内容为：设置dropout参数，输入样本对设置网络进行训练，在训练完成后关闭dropout参数，验证网络的训练效果。
11.根据权利要求10所述的一种基于AI识别算法的自适应晶圆读码方法，其特征在于，所述S6的具体步骤为：将处理好的带有晶圆ID的图像放入训练完毕的网络中进行ID提取识别。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现权利要求1-11中任一项所述的一种基于AI识别算法的自适应晶圆读码方法。
13.一种基于AI识别算法的自适应晶圆读码系统，其特征在于，包括以下模块：
多模式亮度调节模块：设置灯光调节策略，收集并分析当前工作环境下参数，利用补光器调节读码区域亮度；
图像处理模块：将采集到的图像分割成亚区域，采用滤波策略对图像亚区域进行处理；
图像提取模块：将处理后的亚区域进行选择，选择出带有晶圆ID编码信息的亚区域；
网络搭建模块：构建基于LeNet－5网络的晶圆ID编码提取和识别模型；
网络训练模块：用样本库样本对模型进行训练；ID提取和识别模块：处理好的亚区域图像放入训练好的网络中进行ID编码提取识别。
CN202311081912.1A 2023-08-26 2023-08-26 一种基于ai识别算法的自适应晶圆读码方法 Active CN117057371B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311081912.1A CN117057371B (zh) 2023-08-26 2023-08-26 一种基于ai识别算法的自适应晶圆读码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311081912.1A CN117057371B (zh) 2023-08-26 2023-08-26 一种基于ai识别算法的自适应晶圆读码方法

Publications (2)

Publication Number Publication Date
CN117057371A true CN117057371A (zh) 2023-11-14
CN117057371B CN117057371B (zh) 2024-02-20

Family

ID=88655149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311081912.1A Active CN117057371B (zh) 2023-08-26 2023-08-26 一种基于ai识别算法的自适应晶圆读码方法

Country Status (1)

Country Link
CN (1) CN117057371B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886260A (zh) * 2019-02-27 2019-06-14 上海千映智能科技有限公司 一种智能读码器
CN111931671A (zh) * 2020-08-17 2020-11-13 青岛北斗天地科技有限公司 一种用于煤矿井下逆光环境中光照补偿的人脸识别方法
CN112200182A (zh) * 2020-09-25 2021-01-08 杭州加速科技有限公司 基于深度学习的晶圆id识别方法和装置
CN113160222A (zh) * 2021-05-14 2021-07-23 电子科技大学 一种针对工业信息图像的生产数据识别方法
CN113936280A (zh) * 2021-11-23 2022-01-14 河海大学 一种嵌入式仪表码盘字符自动识别系统及方法
WO2022088660A1 (zh) * 2020-10-29 2022-05-05 长鑫存储技术有限公司 提高晶圆检测灵敏度的方法、装置以及存储介质
CN217426129U (zh) * 2022-06-06 2022-09-13 浙江载力科技有限公司 一种晶圆id全自动识别设备
US20220343623A1 (en) * 2019-11-28 2022-10-27 Beijing Xiaoying Technology Co., Ltd. Blood smear full-view intelligent analysis method, and blood cell segmentation model and recognition model construction method
CN115375635A (zh) * 2022-08-05 2022-11-22 中国地质大学（武汉） 一种晶圆缺陷的识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886260A (zh) * 2019-02-27 2019-06-14 上海千映智能科技有限公司 一种智能读码器
US20220343623A1 (en) * 2019-11-28 2022-10-27 Beijing Xiaoying Technology Co., Ltd. Blood smear full-view intelligent analysis method, and blood cell segmentation model and recognition model construction method
CN111931671A (zh) * 2020-08-17 2020-11-13 青岛北斗天地科技有限公司 一种用于煤矿井下逆光环境中光照补偿的人脸识别方法
CN112200182A (zh) * 2020-09-25 2021-01-08 杭州加速科技有限公司 基于深度学习的晶圆id识别方法和装置
WO2022088660A1 (zh) * 2020-10-29 2022-05-05 长鑫存储技术有限公司 提高晶圆检测灵敏度的方法、装置以及存储介质
CN113160222A (zh) * 2021-05-14 2021-07-23 电子科技大学 一种针对工业信息图像的生产数据识别方法
CN113936280A (zh) * 2021-11-23 2022-01-14 河海大学 一种嵌入式仪表码盘字符自动识别系统及方法
CN217426129U (zh) * 2022-06-06 2022-09-13 浙江载力科技有限公司 一种晶圆id全自动识别设备
CN115375635A (zh) * 2022-08-05 2022-11-22 中国地质大学（武汉） 一种晶圆缺陷的识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
王勇: "基于光度立体视觉的一体化智能读码器", 集成电路应用, vol. 37, no. 10, pages 192 - 194 *
王烨青: "基于机器视觉的编码自动识别系统", 中国硕士学位论文全文数据库 信息科技辑 *
邵俊豪: "复杂背景下晶圆标识符识别系统研究", 中国硕士学位论文全文数据库 信息科技辑, no. 03 *

Also Published As

Publication number Publication date
CN117057371B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
EP3740897B1 (en) License plate reader using optical character recognition on plural detected regions
CN110060237B (zh) 一种故障检测方法、装置、设备及系统
CN107545239B (zh) 一种基于车牌识别与车辆特征匹配的套牌检测方法
JP5546317B2 (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
EP3176751B1 (en) Information processing device, information processing method, computer-readable recording medium, and inspection system
US20200133182A1 (en) Defect classification in an image or printed output
CN111325713A (zh) 基于神经网络的木材缺陷检测方法、系统及存储介质
CN113498528A (zh) 图像缺陷确定方法与装置、电子设备及存储介质
EP3848472A2 (en) Methods and systems for automated counting and classifying microorganisms
CN109523527A (zh) 图像中脏污区域的检测方法、装置和电子设备
CN113724231A (zh) 一种基于语义分割和目标检测融合模型的工业缺陷检测方法
CN110910445B (zh) 一种物件尺寸检测方法、装置、检测设备及存储介质
CN110929795A (zh) 高速焊线机焊点快速识别与定位方法
CN116740728B (zh) 一种用于晶圆读码器动态获取方法和系统
CN108889635B (zh) 一种易拉罐制造缺陷在线视觉检测方法
CN111524113A (zh) 提升链异常识别方法、系统、设备及介质
AU2024202801A1 (en) Acquiring and inspecting images of ophthalmic lenses
CN117557784B (zh) 目标检测方法、装置、电子设备及存储介质
CN114170168A (zh) 显示模组缺陷检测方法、系统及计算机可读存储介质
CN112784675B (zh) 目标检测方法及装置、存储介质、终端
JP7379478B2 (ja) ミルクを分類するためのミルク分析器
CN115797314B (zh) 零件表面缺陷检测方法、系统、设备及存储介质
CN116245882A (zh) 电路板电子元件检测方法、装置及计算机设备
CN117057371B (zh) 一种基于ai识别算法的自适应晶圆读码方法
CN111402185A (zh) 一种图像检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant