CN116758544A - 一种基于图像处理的晶圆编码识别系统 - Google Patents

一种基于图像处理的晶圆编码识别系统 Download PDF

Info

Publication number
CN116758544A
CN116758544A CN202311034908.XA CN202311034908A CN116758544A CN 116758544 A CN116758544 A CN 116758544A CN 202311034908 A CN202311034908 A CN 202311034908A CN 116758544 A CN116758544 A CN 116758544A
Authority
CN
China
Prior art keywords
wafer
image
code
wafer code
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311034908.XA
Other languages
English (en)
Other versions
CN116758544B (zh
Inventor
林坚
王彭
吴国明
王栋梁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honghu Suzhou Semiconductor Technology Co ltd
Original Assignee
Honghu Suzhou Semiconductor Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honghu Suzhou Semiconductor Technology Co ltd filed Critical Honghu Suzhou Semiconductor Technology Co ltd
Priority to CN202311034908.XA priority Critical patent/CN116758544B/zh
Publication of CN116758544A publication Critical patent/CN116758544A/zh
Application granted granted Critical
Publication of CN116758544B publication Critical patent/CN116758544B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像处理的晶圆编码识别系统，其框架包括设备层、数据库层和控制层，所述设备层包括输入设备和输出设备，所述输入设备包括摄像机，所述输出设备包括显示装置、报警装置，所述数据库层用于存储系统工作过程中采集的数据，所述控制层包括CPU、多模式亮度调节模块、自动图像增强过滤模块、通讯模块、光学字符识别模块和预警模块，所述光学字符识别模块用于识别晶圆编码，所述预警模块用于当检测出不规范的晶圆编码时，通过所述输出设备中的报警装置进行预警。本发明能够以较高的准确率与速度识别晶圆编码，同时具有较高的鲁棒性。

Description

一种基于图像处理的晶圆编码识别系统
技术领域
本发明涉及晶圆编码识别技术领域，特别涉及一种基于图像处理的晶圆编码识别系统。
背景技术
半导体的具体生产流程由晶圆制造、晶圆测试、芯片封装和封装后测试组成，随着竞争激烈的全球半导体行业对日益复杂的工艺流程提出更为严格的控制要求，为了保证封装与生产的工艺管控、追溯以及防伪需求，生产的晶圆上都会打上编码进行追溯。随着生产制造的需求，如何快速准确地识别晶圆编码的重要性日益凸显。
如申请公开号为CN111785659A的中国专利公开了一种晶圆预对位和晶圆ID读取方法、装置和计算机设备，旨在解决晶圆预定位过程和晶圆ID识别过程无法同时进行的问题。该发明包括获取晶圆的边缘图像；根据边缘图像计算晶圆轮廓信息以及晶圆缺口位置信息；根据边缘图像、晶圆轮廓信息和晶圆缺口位置信息进行晶圆预对位以及读取晶圆ID。该发明通过将ID读取和预对位功能整合到一个模块中，晶圆预对位和晶圆ID读取两个流程可以同时进行，且可以避免机械手在预对位位置与ID读取位置之间搬运晶圆，简化了晶圆测试流程，提高晶圆测试的效率。但是该发明并没有考虑到晶圆ID不清晰时的情况，也无法对不规范的晶圆ID进行预警。
如申请公开号为CN111723591A的中国专利公开了一种晶圆ID读取装置，旨在解决晶圆ID读取装置在整个晶圆ID读取过程需要对晶圆进行翻转的问题。该发明包括第一光源、第二光源、对应于第一光源的第一反光组件、对应于第二光源的第二反光组件、选择组件以及成像组件，其中：第一光源与第二光源的发光方向相反，以分别向晶圆两侧照射光线；第一反光组件能够将晶圆一侧表面反射的光线反射至成像组件；第二反光组件能够将晶圆另一侧表面反射的光线反射至成像组件；选择组件包括活动部件，活动部件活动设置于晶圆ID读取装置，并能够选择将第一反光组件和第二反光组件中一者反射的光线反射至成像组件。但是该发明没有考虑到成像时晶圆ID的清晰度，也没有设置组件用于对不规范的晶圆ID进行预警。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域普通技术人员所公知的现有技术。
发明内容
针对现有技术的不足，本发明的主要目的是提供一种基于图像处理的晶圆编码识别系统，能够有效解决背景技术中的问题：现有晶圆编码识别系统中，无法做到识别前对字体不规范、位置有偏差的编码进行预警，因而导致识别准确率和效率低的问题。本发明的具体技术方案如下：
一种基于图像处理的晶圆编码识别系统，所述系统包括设备层、数据库层和控制层；所述设备层包括输入设备和输出设备，所述输入设备包括摄像机，所述摄像机用于拍摄晶圆编码图像，所述输出设备包括显示装置、报警装置，所述显示装置用于显示晶圆编码结果，所述报警装置用于对不规范的晶圆编码进行预警；
所述数据库层用于存储所述晶圆编码识别系统工作过程中采集的数据；
所述控制层包括CPU、多模式亮度调节模块、自动图像增强过滤模块、通讯模块、光学字符识别模块和预警模块，所述CPU用于对所述晶圆编码识别系统的运行进行管理控制；所述多模式亮度调节模块用于在拍摄晶圆编码图像时，根据环境中的光线强度，自适应地调节拍摄时的光照强度，以获取清晰的晶圆编码图像；所述自动图像增强过滤模块用于对晶圆编码图像进行图像增强和去噪处理；所述通讯模块用于在所述晶圆编码识别系统内部构建通讯网络，实现系统内部的数据互传；所述光学字符识别模块用于识别晶圆编码；所述预警模块用于当检测出不规范的晶圆编码时，通过所述输出设备中的报警装置进行预警。
本发明进一步的改进在于，所述输入设备包括摄像机，所述摄像机用于拍摄晶圆编码图像，所述摄像机的镜头系统的放大倍率为100-200倍。
本发明进一步的改进在于，所述标准规格的晶圆编码图像为符合SEMI M12字符标准，符合清晰度规格要求且由英文字母和阿拉伯数字组成的晶圆编码图像。
本发明进一步的改进在于，所述自动图像增强过滤模块包括图像转化单元、图像增强单元和图像去噪单元，所述图像转化单元将所述晶圆编码图像转化为灰度晶圆编码图像，所述的图像增强单元将所述灰度晶圆编码图像增强对比度，所述的图像去噪单元将所述灰度晶圆编码图像去除噪声点。
本发明进一步的改进在于，所述预警模块包括编码位置预警单元和编码规格预警单元，所述编码位置预警单元用于将所述灰度晶圆编码图像转化为二值晶圆编码图像，根据设置的阈值，检测所述晶圆编码图像中编码位置是否在图像中居中，所述编码规格预警单元用于检测所述晶圆编码图像中编码规格与所述标准规格的晶圆编码图像是否一致。
本发明进一步的改进在于，所述编码位置预警单元包括以下具体步骤：
a1、将灰度晶圆编码图像转化为二值晶圆编码图像，设转化好的二值晶圆编码图像为，设/>为图像/>中的第/>行第/>列的像素点，设该图像大小为/>个像素点，其中，/>；
a2、将划分为对称且大小相等的四块图像，分别为/>、/>、/>和/>，设/>、/>、和/>分别为图像/>、/>、/>和/>中的第/>行第/>列的像素点，其中/>，/>；
a3、设为晶圆编码位置偏离量，/>对晶圆编码偏离图像中心点的程度进行量化，则/>，其中，/>；
a4、根据设置的位置偏离阈值判断晶圆编码是否存在位置异常，若/>，则不存在位置异常，不需要预警，若/>，则存在位置异常，需要预警。
本发明进一步的改进在于，所述编码规格预警单元包括以下具体步骤：
b1、构建编码规格预警模型，所述编码规格预警模型为一个自动编码器神经网络，所述编码规格预警模型在结构上由编码器和解码器组成，所述编码器和解码器分别由五层卷积神经网络组成；
b2、使用训练数据训练编码规格预警模型，训练数据为经过灰度化处理的所述标准规格的灰度晶圆编码图像，设经过灰度化处理的所述标准规格的灰度晶圆编码图像为，将/>输入编码规格预警模型，该模型的输出为/>，计算编码规格预警模型的重构误差：
；
设所述编码器的第层卷积神经网络层有/>个滤波器用于输出/>个特征图，将每个特征图向量化为长度为/>的向量，最终所述第/>层卷积神经网络层输出的所有特征图能够用矩阵/>来表示，其中/>表示维度为/>的实数集，设/>为/>中的第/>行第/>列的值，其中/>，/>，设所述解码器的第/>层卷积神经网络层有/>个滤波器用于输出/>个特征图，将每个特征图向量化为长度为/>的向量，所述解码器的第/>层卷积神经网络层输出的特征图为/>，其中/>表示维度为/>的实数集，设/>为/>中的第/>行第/>列的值，其中/>，/>，通过计算/>、/>的格拉姆矩阵/>、/>对特征图的规格特点进行量化，其中/>表示维度为/>的实数集，设/>为/>中的第/>行第/>列值，其中/>，，/>的计算公式如下：
；
；
计算所述编码器与解码器第层卷积神经网络层输出的特征图之间的规格误差：；
所述编码规格预警模型的规格误差：，其中，/>为/>的加权权重，/>；
b3、根据如下损失函数训练所述编码规格预警模型：
；
b4、根据设置的规格偏差阈值，使用所述编码规格预警模型检测所述灰度晶圆编码图像是否存在规格异常，若/>，则不存在规格异常，不需要预警，若/>，则存在规格异常，需要预警。
本发明进一步的改进在于，所述光学字符识别模块包括训练单元和识别单元，所述训练单元使用至少一种光照条件下的至少一个位置的晶圆编码图像训练用于晶圆编码识别的神经网络，所述识别单元使用经过训练单元预训练的神经网络识别晶圆编码。
本发明进一步的改进在于，所述训练单元采集至少一种光照条件下的晶圆编码图像构成训练数据，对于同一个晶圆编码，在光照强度为之间，每隔/>采集一张晶圆编码图像，将采集的晶圆编码图像汇总作为用于晶圆编码识别的神经网络的训练数据。
本发明进一步的改进在于，所述训练单元使用至少一个位置的晶圆编码图像训练用于晶圆编码识别的神经网络，对于同一个晶圆编码，以晶圆编码中心为基准，将晶圆编码分别沿着45°的间隔方向，向外移动0.5毫米，并采集晶圆编码图像，将所述采集的晶圆编码图像汇总作为所述用于晶圆编码识别的神经网络的训练数据。
本发明进一步的改进在于，所述识别单元使用具有CRNN+CTC框架的神经网络识别晶圆编码，该框架包括使用卷积神经网络提取输入晶圆编码图像的高阶特征、递归神经网络处理高阶特征和CTC层进行训练并识别晶圆编码。
本发明进一步的改进在于，所述卷积神经网络采用RepVGG网络结构，所述RepVGG网络结构的基本单元为一个网络块，所述网络块具有三分支结构，第一个分支包括一个Conv2D卷积神经网络层和一个归一化层，所述Conv2D卷积神经网络层的卷积核大小为；第二个分支包括一个Conv2D卷积神经网络层和一个归一化层，所述Conv2D卷积神经网络层的卷积核大小为/>；第三个分支包括一个归一化层，将三个分支的输出结果相加，并通过RELU函数激活，输出所述网络块的结果，通过堆叠四个所述网络块构成RepVGG神经网络，输出所述输入数据的高阶特征，所述输入数据的高阶特征记为/>，/>，其中/>表示维度为/>的实数集，其中/>为/>的第/>列高阶特征向量，/>，其中/>为/>的第/>个元素，/>。
本发明进一步的改进在于，所述递归神经网络使用四层双向LSTM网络堆叠而成，将所述按列输入所述递归神经网络，所述递归神经网络的输出使用softmax函数处理后得到输出结果为一个序列矩阵，所述序列矩阵记为/>，/>，其中/>表示维度为/>的实数集，其中/>为/>的第/>列序列向量，/>，其中/>为的第/>个元素，/>。
本发明进一步的改进在于，所述CTC层使用CTC损失函数训练网络，CTC层将所述晶圆编码图像中的晶圆编码转换为晶圆编码标签序列，其中/>为/>的第/>个元素，/>，CTC层将所述序列矩阵的第/>列序列向量/>映射到/>上，CTC损失函数的目标是最大化正确输出序列的概率，并最小化来自错误序列的概率，CTC损失函数的公式如下：
；
其中，表示所述序列矩阵/>的CTC损失函数，/>表示在所述序列矩阵/>上生成标签序列/>的所有路径，/>是给定路径/>在所述序列矩阵/>上的条件概率。
本发明进一步的改进在于，使用所述CTC损失函数训练所述用于晶圆编码识别的神经网络后，所述CTC层使用束搜索算法进行解码识别文字。
一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现所述的一种基于图像处理的晶圆编码识别系统。
一种设备，包括：
c1、存储器，用于存储指令；
c2、处理器，用于执行所述指令，使得所述设备执行实现所述的一种基于图像处理的晶圆编码识别系统的操作。
与现有技术相比，本发明具有如下有益效果：
s1、本发明在识别晶圆编码之前，通过对晶圆编码是否存在位置偏差以及规格是否符合规范进行预警，从而显著提高了识别效率和准确率,本发明通过预警功能能够错误识别或漏识别的发生,这种预警机制大大提升了晶圆编码识别系统的可靠性和稳定性；
s2、本发明提供了一种量化晶圆编码位置偏差程度和规格不规范程度的方法，为预警提供了数值标准,这种量化方法使得预警系统能够基于具体的数值指标进行判定，提高了预警的准确性和可靠性；
s3、本发明采用了RCNN+CTC的神经网络框架作为晶圆编码识别的构建模型，具有较高的识别精度和鲁棒性，相比传统方法，本发明所提供的模型在晶圆编码识别方面具有更高的速度和准确度，能够适应大规模生产环境的需求。
附图说明
图1为本发明一种基于图像处理的晶圆编码识别系统的框架示意图。
图2为本发明一种基于图像处理的晶圆编码识别系统的所述编码规格预警模型示意图。
图3为本发明一种基于图像处理的晶圆编码识别系统的所述RepVGG网络结构中的网络块示意图。
图4为本发明一种基于图像处理的晶圆编码识别系统的所述识别单元使用的具有CRNN+CTC框架的神经网络示意图
具体实施方式
下面通过附图以及具体实施例对本发明技术方案做详细地说明，应当理解本发明实施例以及实施例中的具体特征是对本发明技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。
术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，字符"/"，一般表示前后关联对象是一种“或”的关系。
实施例1
本实施例提供了一种基于图像处理的晶圆编码识别系统，用于解决现有技术中无法对字体不规范、位置有偏差的编码进行预警的问题。具体方案为，如图1-图3所示，一种基于图像处理的晶圆编码识别系统，该系统包括设备层、数据库层和控制层。在设备层方面，该系统包括输入设备和输出设备。输入设备采用800万像素的光学摄像机，用于拍摄晶圆编码图像。输出设备包括显示装置和报警装置。显示装置用于显示晶圆编码结果，而报警装置则用于对不规范的晶圆编码进行预警。在数据库层方面，该系统存储晶圆编码识别过程中的数据。在控制层方面，该系统包括CPU、多模式亮度调节模块、自动图像增强过滤模块、通讯模块、光学字符识别模块和预警模块。CPU使用适合计算密集型任务和支持深度学习加速器的型号，用于管理和控制晶圆编码识别系统的运行。多模式亮度调节模块能够根据环境中的光线强度，自适应地调节拍摄时的光照强度。自动图像增强过滤模块用于对晶圆编码图像进行图像增强和去噪处理。通讯模块用于在系统内部构建通讯网络，实现系统内部数据的传输和共享。光学字符识别模块用于对晶圆编码进行识别。预警模块用于当检测出不规范的晶圆编码时，通过所述输出设备中的报警装置进行预警。
在本实施例中，所述输入设备包括摄像机，所述摄像机用于拍摄晶圆编码图像，所述摄像机的镜头系统的放大倍率为100-200倍。
在本实施例中，所述标准规格的晶圆编码图像符合SEMI M12字符标准，SEMI M12字符标准规定以指定12号字体打印，字体的字符高度为1.624毫米，字符宽度为0.812毫米，笔画宽度为0.2毫米，字符间距为1.42毫米，字符串总长度为10字符，所述标准规格的晶圆编码图像清晰度达到500万像素且由英文字母和阿拉伯数字组成。
在本实施例中，所述自动图像增强过滤模块包括图像转化单元、图像增强单元和图像去噪单元，所述图像转化单元将所述晶圆编码图像转化为灰度晶圆编码图像，所述的图像增强单元使用直方图均衡化算法，将所述灰度晶圆编码图像增强对比度，所述的图像去噪单元使用小波去噪算法，将所述灰度晶圆编码图像进行去噪处理。
在本实施例中，所述预警模块包括编码位置预警单元和编码规格预警单元，所述编码位置预警单元用于将所述灰度晶圆编码图像转化为二值晶圆编码图像，根据设置的阈值，检测所述晶圆编码图像中编码位置是否在图像中居中，所述编码规格预警单元用于检测所述晶圆编码图像中编码规格与所述标准规格的晶圆编码图像是否一致。
在本实施例中，所述编码位置预警单元包括以下具体步骤：
a1、将灰度晶圆编码图像转化为二值晶圆编码图像，设置一个转化阈值，将灰度值低于该阈值的像素点设置为黑色，大于该阈值的像素点设置为白色，设转化好的二值晶圆编码图像为，设/>为图像/>中的第/>行第/>列的像素点，设该图像大小为/>个像素点，其中/>，/>；
a2、将划分为对称且大小相等的四块图像，分别为/>、/>、/>和/>，设/>、/>、和/>分别为图像/>、/>、/>和/>中的第/>行第/>列的像素点，其中/>，/>；
a3、设为晶圆编码位置偏离量，/>对晶圆编码偏离图像中心点的程度进行量化，则/>，其中/>，；
a4、根据设置的位置偏离阈值判断晶圆编码是否存在位置异常，若/>，则不存在位置异常，不需要预警，若/>，则存在位置异常，需要预警。
在本实施例中，所述编码规格预警单元包括以下具体步骤：
b1、构建编码规格预警模型，所述编码规格预警模型为一个自动编码器神经网络，所述编码规格预警模型在结构上由编码器和解码器组成，所述编码器和解码器分别由五层卷积神经网络组成，其中编码器通过卷积操作将输入的晶圆编码图像不断压缩，最终比编码器输出编码结果，解码器通过反卷积操作将编码结果进行上采样，最终输出重构图像，重构图像的维度与输入的晶圆编码图像的维度完全一致，编码器与解码器中的每一层卷积神经网络都是用RELU函数激活，RELU函数计算方式为：，其中/>为输入RELU函数的数据，/>为求最大值函数；
b2、使用训练数据训练编码规格预警模型，训练数据为经过灰度化处理的所述标准规格的灰度晶圆编码图像，设经过灰度化处理的所述标准规格的灰度晶圆编码图像为，将/>输入编码规格预警模型，该模型的输出为/>，计算编码规格预警模型的重构误差：
；
设所述编码器的第层卷积神经网络层有/>个滤波器用于输出/>个特征图，将每个特征图向量化为长度为/>的向量，最终所述第/>层卷积神经网络层输出的所有特征图能够用矩阵/>来表示，其中/>表示维度为/>的实数集，设/>为/>中的第/>行第/>列的值，其中/>，/>，设所述解码器的第/>层卷积神经网络层有/>个滤波器用于输出/>个特征图，将每个特征图向量化为长度为/>的向量，所述解码器的第/>层卷积神经网络层输出的特征图为/>，其中/>表示维度为/>的实数集，设/>为/>中的第/>行第/>列的值，其中/>，/>，通过计算/>、/>的格拉姆矩阵/>、/>对特征图的规格特点进行量化，其中/>表示维度为/>的实数集，设/>为/>中的第/>行第/>列值，其中/>，，/>的计算公式如下：
；
；
计算所述编码器与解码器第层卷积神经网络层输出的特征图之间的规格误差：；
所述编码规格预警模型的规格误差：，其中，/>为/>的加权权重，；
b3、根据如下损失函数训练所述编码规格预警模型：
；
b4、根据设置的规格偏差阈值，使用所述编码规格预警模型检测所述灰度晶圆编码图像是否存在规格异常，若/>，则不存在规格异常，不需要预警，若/>，则存在规格异常，需要预警；
在本实施例中，所述光学字符识别模块包括训练单元和识别单元，所述训练单元使用至少一种光照条件下的至少一个位置的晶圆编码图像训练用于晶圆编码识别的神经网络，所述识别单元使用经过训练单元预训练的神经网络识别晶圆编码。
在本实施例中，所述训练单元采集至少一种光照条件下的晶圆编码图像构成训练数据，对于同一个晶圆编码，在光照强度为之间，每隔/>采集一张晶圆编码图像，将采集的晶圆编码图像汇总作为用于晶圆编码识别的神经网络的训练数据。
在本实施例中，所述训练单元使用至少一个位置的晶圆编码图像训练用于晶圆编码识别的神经网络，对于同一个晶圆编码，以晶圆编码中心为基准，将晶圆编码分别沿着45°的间隔方向，向外移动0.5毫米，并采集晶圆编码图像，将所述采集的晶圆编码图像汇总作为所述用于晶圆编码识别的神经网络的训练数据。
在本实施例中，所述识别单元使用具有CRNN+CTC框架的神经网络识别晶圆编码，该框架包括使用卷积神经网络提取输入晶圆编码图像的高阶特征、递归神经网络处理高阶特征和CTC层进行训练并识别晶圆编码。
在本实施例中，所述卷积神经网络采用RepVGG网络结构，所述RepVGG网络结构的基本单元为一个网络块，所述网络块具有三分支结构，第一个分支包括一个Conv2D卷积神经网络层和一个归一化层，所述Conv2D卷积神经网络层的卷积核大小为；第二个分支包括一个Conv2D卷积神经网络层和一个归一化层，所述Conv2D卷积神经网络层的卷积核大小为/>；第三个分支包括一个归一化层，将三个分支的输出结果相加，并通过RELU函数激活，输出所述网络块的结果，通过堆叠四个所述网络块构成RepVGG神经网络，输出所述输入数据的高阶特征，所述输入数据的高阶特征记为/>，/>，其中/>表示维度为/>的实数集，其中/>为/>的第/>列高阶特征向量，/>，其中/>为/>的第/>个元素，/>。
在本实施例中，所述递归神经网络使用四层双向LSTM网络堆叠而成，将所述按列输入所述递归神经网络，所述递归神经网络的输出使用softmax函数处理后得到输出结果为一个序列矩阵，所述序列矩阵记为/>，/>，其中/>表示维度为的实数集，其中/>为/>的第/>列序列向量，/>，其中/>为/>的第/>个元素，/>，softmax函数公式为：/>，其中/>是一个长度为/>的向量。
在本实施例中，所述CTC层使用CTC损失函数训练网络，采用Adam优化算法，设置学习率为0.0002，所述CTC层使用CTC损失函数训练网络，CTC层将所述晶圆编码图像中的晶圆编码转换为晶圆编码标签序列，其中/>为/>的第/>个元素，/>，CTC层将所述序列矩阵的第/>列序列向量/>映射到/>上，CTC损失函数的目标是最大化正确输出序列的概率，并最小化来自错误序列的概率，CTC损失函数的公式如下：
；
其中，表示所述序列矩阵/>的CTC损失函数，/>表示在所述序列矩阵/>上生成标签序列/>的所有路径，/>是给定路径/>在所述序列矩阵/>上的条件概率。
在本实施例中，使用所述CTC损失函数训练所述用于晶圆编码识别的神经网络后，所述CTC层使用束搜索算法进行解码识别文字，束搜索算法是一种常用的启发式搜索算法，用于在大规模搜索空间中找到最优解或近似最优解，其流程主要包括：（1）初始化，初始化束宽度，代表每个时间步保留的最优候选序列的数量；初始化候选序列，将空序列作为初始候选序列，并根据预测概率选择概率最高的前/>个候选字符作为初始候选序列；（2）扩展和剪枝，对于每个时间步/>，根据预测概率对当前的候选序列进行扩展，生成新的候选序列，然后根据序列的得分进行排序，并保留得分最高的/>个候选序列；（3）终止条件检查，检查候选序列是否满足终止条件，例如达到最大长度或出现特定的结束符号，如果有满足终止条件的序列，则将其作为最终的识别结果；（4）迭代，如果终止条件未满足，重复步骤2和3，不断扩展和剪枝候选序列，以逐步解码生成最优的识别文字序列。
通过本实施例能够实现：对晶圆编码是否存在位置偏差以及规格是否符合规范进行预警，量化晶圆编码位置偏差程度和规格不规范程度，能够以较高的准确率与速度识别晶圆编码，同时具有较高的鲁棒性。
实施例2
本实施例提供了一种计算机可读存储介质，使用专用的存储服务器、硬盘阵列或云服务来存储晶圆编码识别系统所需的计算机程序和数据，该计算机程序被处理器执行时，实现所述的一种基于图像处理的晶圆编码识别系统。
实施例3
本实施例提供了一种设备，包括：
c1、硬盘存储器，用于存储指令集、所述基于图像处理的晶圆编码识别系统的模块、模型与算法；
c2、高性能图像处理器，用于执行所述指令，使得所述设备执行实现所述的一种基于图像处理的晶圆编码识别系统的操作，具备并行计算能力，适用于快速处理图像数据。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、系统、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (17)

1.一种基于图像处理的晶圆编码识别系统，其特征在于，所述系统包括设备层、数据库层和控制层；
所述设备层包括输入设备和输出设备，所述输入设备包括摄像机，所述摄像机用于拍摄晶圆编码图像，所述输出设备包括显示装置、报警装置，所述显示装置用于显示晶圆编码结果，所述报警装置用于对不规范的晶圆编码进行预警；
所述数据库层用于存储所述晶圆编码识别系统工作过程中采集的数据；
所述控制层包括CPU、多模式亮度调节模块、自动图像增强过滤模块、通讯模块、光学字符识别模块和预警模块，所述CPU用于对所述晶圆编码识别系统的运行进行管理控制；所述多模式亮度调节模块用于在拍摄晶圆编码图像时，根据环境中的光线强度，自适应地调节拍摄时的光照强度，以获取清晰的晶圆编码图像；所述自动图像增强过滤模块用于对晶圆编码图像进行图像增强和去噪处理；所述通讯模块用于在所述晶圆编码识别系统内部构建通讯网络，实现系统内部的数据互传；所述光学字符识别模块用于识别晶圆编码；所述预警模块用于当检测出不规范的晶圆编码时，通过所述输出设备中的报警装置进行预警。
2.根据权利要求1所述的一种基于图像处理的晶圆编码识别系统，其特征在于，所述输入设备包括摄像机，所述摄像机用于拍摄晶圆编码图像，所述摄像机的镜头系统的放大倍率为100-200倍。
3.根据权利要求2所述的一种基于图像处理的晶圆编码识别系统，其特征在于，所述标准规格的晶圆编码图像为符合SEMI M12字符标准，符合清晰度规格要求且由英文字母和阿拉伯数字组成的晶圆编码图像。
4.根据权利要求3所述的一种基于图像处理的晶圆编码识别系统，其特征在于，所述自动图像增强过滤模块包括图像转化单元、图像增强单元和图像去噪单元，所述图像转化单元将所述晶圆编码图像转化为灰度晶圆编码图像，所述的图像增强单元将所述灰度晶圆编码图像增强对比度，所述的图像去噪单元将所述灰度晶圆编码图像去除噪声点。
5.根据权利要求4所述的一种基于图像处理的晶圆编码识别系统，其特征在于，所述预警模块包括编码位置预警单元和编码规格预警单元，所述编码位置预警单元用于将所述灰度晶圆编码图像转化为二值晶圆编码图像，根据设置的阈值，检测所述晶圆编码图像中编码位置是否在图像中居中，所述编码规格预警单元用于检测所述晶圆编码图像中编码规格与所述标准规格的晶圆编码图像是否一致。
6.根据权利要求5所述的一种基于图像处理的晶圆编码识别系统，其特征在于，所述编码位置预警单元包括以下具体步骤：
101、将灰度晶圆编码图像转化为二值晶圆编码图像，设转化好的二值晶圆编码图像为，设/>为图像/>中的第/>行第/>列的像素点，设该图像大小为/>个像素点，其中/>，；
102、将划分为对称且大小相等的四块图像，分别为/>、/>、/>和/>，设/>、/>、/>和分别为图像/>、/>、/>和/>中的第/>行第/>列的像素点，其中/>，/>；
103、设为晶圆编码位置偏离量，/>对晶圆编码偏离图像中心点的程度进行量化，则，其中/>，/>；
104、根据设置的位置偏离阈值判断晶圆编码是否存在位置异常，若/>，则不存在位置异常，不需要预警，若/>，则存在位置异常，需要预警。
7.根据权利要求6所述的一种基于图像处理的晶圆编码识别系统，其特征在于，所述编码规格预警单元包括以下具体步骤：
201、构建编码规格预警模型，所述编码规格预警模型为一个自动编码器神经网络，所述编码规格预警模型在结构上由编码器和解码器组成，所述编码器和解码器分别由五层卷积神经网络组成；
202、使用训练数据训练编码规格预警模型，训练数据为经过灰度化处理的所述标准规格的灰度晶圆编码图像，设经过灰度化处理的所述标准规格的灰度晶圆编码图像为，将输入编码规格预警模型，该模型的输出为/>，计算编码规格预警模型的重构误差：
；
设所述编码器的第层卷积神经网络层有/>个滤波器用于输出/>个特征图，将每个特征图向量化为长度为/>的向量，最终所述第/>层卷积神经网络层输出的所有特征图能够用矩阵/>来表示，其中/>表示维度为/>的实数集，设/>为/>中的第/>行第/>列的值，其中，/>，设所述解码器的第/>层卷积神经网络层有/>个滤波器用于输出/>个特征图，将每个特征图向量化为长度为/>的向量，所述解码器的第/>层卷积神经网络层输出的特征图为/>，其中/>表示维度为/>的实数集，设/>为/>中的第/>行第/>列的值，其中，/>，通过计算/>、/>的格拉姆矩阵/>、/>对特征图的规格特点进行量化，其中/>表示维度为/>的实数集，设/>为/>中的第/>行第/>列值，其中/>，，/>的计算公式如下：
；
；
计算所述编码器与解码器第层卷积神经网络层输出的特征图之间的规格误差：；
所述编码规格预警模型的规格误差：，其中，/>为/>的加权权重，/>；
203、根据如下损失函数训练所述编码规格预警模型：
；
204、根据设置的规格偏差阈值，使用所述编码规格预警模型检测所述灰度晶圆编码图像是否存在规格异常，若/>，则不存在规格异常，不需要预警，若/>，则存在规格异常，需要预警。
8.根据权利要求7所述的一种基于图像处理的晶圆编码识别系统，其特征在于，所述光学字符识别模块包括训练单元和识别单元，所述训练单元使用至少一种光照条件下的至少一个位置的晶圆编码图像训练用于晶圆编码识别的神经网络，所述识别单元使用经过训练单元预训练的神经网络识别晶圆编码。
9.根据权利要求8所述的一种基于图像处理的晶圆编码识别系统，其特征在于，所述训练单元采集至少一种光照条件下的晶圆编码图像构成训练数据，对于同一个晶圆编码，在光照强度为之间，每隔/>采集一张晶圆编码图像，将采集的晶圆编码图像汇总作为用于晶圆编码识别的神经网络的训练数据。
10.根据权利要求9所述的一种基于图像处理的晶圆编码识别系统，其特征在于，所述训练单元使用至少一个位置的晶圆编码图像训练用于晶圆编码识别的神经网络，对于同一个晶圆编码，以晶圆编码中心为基准，将晶圆编码分别沿着45°的间隔方向，向外移动0.5毫米，并采集晶圆编码图像，将所述采集的晶圆编码图像汇总作为所述用于晶圆编码识别的神经网络的训练数据。
11.根据权利要求10所述的一种基于图像处理的晶圆编码识别系统，其特征在于，所述识别单元使用具有CRNN+CTC框架的神经网络识别晶圆编码，该框架包括使用卷积神经网络提取输入晶圆编码图像的高阶特征、递归神经网络处理高阶特征和CTC层进行训练并识别晶圆编码。
12.根据权利要求11所述的一种基于图像处理的晶圆编码识别系统，其特征在于，所述卷积神经网络采用RepVGG网络结构，所述RepVGG网络结构的基本单元为一个网络块，所述网络块具有三分支结构，第一个分支包括一个Conv2D卷积神经网络层和一个归一化层，所述Conv2D卷积神经网络层的卷积核大小为；第二个分支包括一个Conv2D卷积神经网络层和一个归一化层，所述Conv2D卷积神经网络层的卷积核大小为/>；第三个分支包括一个归一化层，将三个分支的输出结果相加，并通过RELU函数激活，输出所述网络块的结果，通过堆叠四个所述网络块构成RepVGG神经网络，输出所述输入数据的高阶特征，所述输入数据的高阶特征记为/>，/>，其中/>表示维度为/>的实数集，其中/>为/>的第/>列高阶特征向量，/>，其中/>为/>的第/>个元素，。
13.根据权利要求12所述的一种基于图像处理的晶圆编码识别系统，其特征在于，所述递归神经网络使用四层双向LSTM网络堆叠而成，将所述按列输入所述递归神经网络，所述递归神经网络的输出使用softmax函数处理后得到输出结果为一个序列矩阵，所述序列矩阵记为/>，/>，其中/>表示维度为/>的实数集，其中/>为/>的第/>列序列向量，/>，其中/>为/>的第/>个元素，/>。
14.根据权利要求13所述的一种基于图像处理的晶圆编码识别系统，其特征在于，所述CTC层使用CTC损失函数训练网络，CTC层将所述晶圆编码图像中的晶圆编码转换为晶圆编码标签序列，其中/>为/>的第/>个元素，/>，CTC层将所述序列矩阵的第/>列序列向量/>映射到/>上，CTC损失函数的目标是最大化正确输出序列的概率，并最小化来自错误序列的概率，CTC损失函数的公式如下：
；
其中，表示所述序列矩阵/>的CTC损失函数，/>表示在所述序列矩阵/>上生成标签序列/>的所有路径，/>是给定路径/>在所述序列矩阵/>上的条件概率。
15.根据权利要求14所述的一种基于图像处理的晶圆编码识别系统，其特征在于，所述CTC层完成所述神经网络的训练后，通过束搜索算法进行解码识别晶圆编码。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1-15中任一项所述的一种基于图像处理的晶圆编码识别系统。
17.一种设备，其特征在于，包括：存储器，用于存储指令；处理器，用于执行所述指令，使得所述设备执行实现如权利要求1-15中任一项所述的一种基于图像处理的晶圆编码识别系统的操作。
CN202311034908.XA 2023-08-17 2023-08-17 一种基于图像处理的晶圆编码识别系统 Active CN116758544B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311034908.XA CN116758544B (zh) 2023-08-17 2023-08-17 一种基于图像处理的晶圆编码识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311034908.XA CN116758544B (zh) 2023-08-17 2023-08-17 一种基于图像处理的晶圆编码识别系统

Publications (2)

Publication Number Publication Date
CN116758544A true CN116758544A (zh) 2023-09-15
CN116758544B CN116758544B (zh) 2023-10-20

Family

ID=87950042

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311034908.XA Active CN116758544B (zh) 2023-08-17 2023-08-17 一种基于图像处理的晶圆编码识别系统

Country Status (1)

Country Link
CN (1) CN116758544B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117058004A (zh) * 2023-10-13 2023-11-14 珠海埃克斯智能科技有限公司 晶圆的晶粒图像重构方法、电子设备及存储介质
CN117058005A (zh) * 2023-10-13 2023-11-14 珠海埃克斯智能科技有限公司 晶圆的晶粒图像重构方法、装置、电子设备及存储介质
CN117315683A (zh) * 2023-09-25 2023-12-29 泓浒(苏州)半导体科技有限公司 超洁净环境的晶圆传送方法、系统、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03241815A (ja) * 1990-02-20 1991-10-29 Hitachi Ltd ウエハの識別装置およびウエハの並べ換え装置並びにウエハのデータ管理方法
US20090315193A1 (en) * 2008-06-24 2009-12-24 Infineon Technologies Ag Semiconductor chip including identifying marks
CN111027562A (zh) * 2019-12-06 2020-04-17 中电健康云科技有限公司 基于多尺度cnn和结合注意力机制的rnn的光学字符识别方法
CN114973136A (zh) * 2022-05-31 2022-08-30 河南工业大学 一种极端条件下场景图像识别方法
CN115115921A (zh) * 2022-07-05 2022-09-27 广东利扬芯片测试股份有限公司 基于残差网路的晶圆缺陷模式识别方法
CN115439427A (zh) * 2022-08-26 2022-12-06 常州大学 基于级联yolo-gan的晶圆缺陷检测及定位算法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03241815A (ja) * 1990-02-20 1991-10-29 Hitachi Ltd ウエハの識別装置およびウエハの並べ換え装置並びにウエハのデータ管理方法
US20090315193A1 (en) * 2008-06-24 2009-12-24 Infineon Technologies Ag Semiconductor chip including identifying marks
CN111027562A (zh) * 2019-12-06 2020-04-17 中电健康云科技有限公司 基于多尺度cnn和结合注意力机制的rnn的光学字符识别方法
CN114973136A (zh) * 2022-05-31 2022-08-30 河南工业大学 一种极端条件下场景图像识别方法
CN115115921A (zh) * 2022-07-05 2022-09-27 广东利扬芯片测试股份有限公司 基于残差网路的晶圆缺陷模式识别方法
CN115439427A (zh) * 2022-08-26 2022-12-06 常州大学 基于级联yolo-gan的晶圆缺陷检测及定位算法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315683A (zh) * 2023-09-25 2023-12-29 泓浒(苏州)半导体科技有限公司 超洁净环境的晶圆传送方法、系统、设备及存储介质
CN117315683B (zh) * 2023-09-25 2024-06-07 泓浒(苏州)半导体科技有限公司 超洁净环境的晶圆传送方法、系统、设备及存储介质
CN117058004A (zh) * 2023-10-13 2023-11-14 珠海埃克斯智能科技有限公司 晶圆的晶粒图像重构方法、电子设备及存储介质
CN117058005A (zh) * 2023-10-13 2023-11-14 珠海埃克斯智能科技有限公司 晶圆的晶粒图像重构方法、装置、电子设备及存储介质
CN117058005B (zh) * 2023-10-13 2024-01-16 珠海埃克斯智能科技有限公司 晶圆的晶粒图像重构方法、装置、电子设备及存储介质
CN117058004B (zh) * 2023-10-13 2024-03-08 埃克斯工业有限公司 晶圆的晶粒图像重构方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN116758544B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN116758544B (zh) 一种基于图像处理的晶圆编码识别系统
US10817741B2 (en) Word segmentation system, method and device
CN111428718B (zh) 一种基于图像增强的自然场景文本识别方法
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
He et al. Single shot text detector with regional attention
CN111079683B (zh) 基于卷积神经网络的遥感图像云雪检测方法
CN108664953B (zh) 一种基于卷积自编码器模型的图像特征提取方法
CN110188827B (zh) 一种基于卷积神经网络和递归自动编码器模型的场景识别方法
CN111340785B (zh) 模型训练方法、产品表面缺陷检测方法和存储介质
CN112949338A (zh) 深度学习与Hough变换结合的二维条码精确定位方法
CN116311310A (zh) 一种结合语义分割和序列预测的通用表格识别方法和装置
CN113312973A (zh) 一种手势识别关键点特征提取方法及系统
CN113870286A (zh) 一种基于多级特征和掩码融合的前景分割方法
CN116958827A (zh) 一种基于深度学习的撂荒区域提取方法
CN110991374B (zh) 一种基于rcnn的指纹奇异点检测方法
CN113012068A (zh) 图像去噪方法、装置、电子设备及计算机可读存储介质
CN116977844A (zh) 一种轻量级水下目标实时检测方法
CN110659572B (zh) 基于双向特征金字塔的视频动作检测方法
CN115588237A (zh) 一种基于单目rgb图像的三维手部姿态估计方法
CN114445665A (zh) 基于Transformer增强的非局部U形网络的高光谱影像分类方法
CN107886093B (zh) 一种字符检测方法、系统、设备及计算机存储介质
CN116954113B (zh) 智能机器人驱动传感智能控制系统及其方法
CN110378167B (zh) 一种基于深度学习的条码图像补正方法
CN117197727A (zh) 一种基于全局时空特征学习的行为检测方法与系统
CN114723775A (zh) 一种基于小样本学习的机器人抓取系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant