CN114241190A - 一种芯片生产智能化管控系统及方法 - Google Patents

一种芯片生产智能化管控系统及方法 Download PDF

Info

Publication number
CN114241190A
CN114241190A CN202111550642.5A CN202111550642A CN114241190A CN 114241190 A CN114241190 A CN 114241190A CN 202111550642 A CN202111550642 A CN 202111550642A CN 114241190 A CN114241190 A CN 114241190A
Authority
CN
China
Prior art keywords
equipment
information
production
control
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111550642.5A
Other languages
English (en)
Inventor
张松林
张嘉诚
袁嘉慧
许剑锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Hongpu Information Technology Co ltd
Original Assignee
Shanghai Hongpu Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Hongpu Information Technology Co ltd filed Critical Shanghai Hongpu Information Technology Co ltd
Priority to CN202111550642.5A priority Critical patent/CN114241190A/zh
Publication of CN114241190A publication Critical patent/CN114241190A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H01L21/67276—Production flow monitoring, e.g. for increasing throughput

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Automation & Control Theory (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • General Factory Administration (AREA)

Abstract

本发明揭示了一种芯片生产智能化管控系统及方法，芯片生产智能化管控系统，包括：图像采集模块，用于实时抓取设备的软件控制界面；文字检测模块，进行文字区域的检测，获取文字区域及相对位置；文字识别模块，用于对所述文字区域进行文字识别，获取实时信息；规则匹配模块，用于对获取的信息进行提取和规则匹配，根据所匹配的规则对当前生产设备进行自动化控制管理。相应的方法也进行了披露。本发明可实现系统智能化统一控制管理多台生产设备，避免人工操作的低效与延迟。

Description

一种芯片生产智能化管控系统及方法
技术领域
本发明涉及生产管理领域，特别是涉及一种芯片生产智能化管控系统及方法。
背景技术
芯片的生产过程涉及多个环节的多台设备，传统的生产过程中，一个技术人员会负责远程控制单个生产环节的一台或几台设备，不同环节控制人员之间信息同步的障碍或低效，会较大程度影响生产效率及产品质量；另外，芯片的传统流水线生产设备自动化程度不高，异常情况主要依赖人工判别，当出现异常情况时也主要依赖人为的调整控制，人工操作的滞后性及误差会降低产品良率。
发明内容
本发明的目的在于，提供一种芯片生产智能化管控系统及方法，以实现系统智能化统一控制管理多台生产设备，避免人工操作的低效与延迟。
为解决上述技术问题，根据本发明的第一方面，本发明提供一种芯片生产智能化管控系统，包括：
图像采集模块，用于实时抓取设备的软件控制界面；
文字检测模块，进行文字区域的检测，获取文字区域及相对位置；
文字识别模块，用于对所述文字区域进行文字识别，获取实时信息；
规则匹配模块，用于对获取的信息进行提取和规则匹配，根据所匹配的规则对当前生产设备进行自动化控制管理。
可选的，还包括：协同控制模块，用于根据当前设备所获取的异常信息，对相关生产环节的生产设备进行自动化控制管理及结果检验。
根据本发明的第二方面，提供一种芯片生产智能化管控方法，包括：
步骤S1，实时抓取设备的软件控制界面；
步骤S2，针对抓取的软件控制界面进行文字区域的检测，获取文字区域及相对位置；
步骤S3，对所述文字区域进行文字识别，获取实时信息；
步骤S4，对获取的信息进行提取和规则匹配，根据所匹配的规则对当前生产设备进行自动化控制管理。
可选的，所述软件控制界面的内容包括:设备的控制组件，以及当前产品元器件的检测指标。
可选的，步骤S2中，采用基于分割的算法或者基于回归的算法进行处理。
可选的，步骤S3中，采用CRNN对文字区域进行文字识别，CRNN先基于ResNet提取特征图，然后由BiLSTM进一步提取图像卷积特征中的序列特征，最后引入CTC Loss实现字符对齐。
可选的，特征图提取前先对原始图像进行灰度图转化，降低通道数；在特征提取时，在模型训练及推理过程中采用分流机制，根据设置的长宽比例区间，对不同原始文字区域长宽比的图像数据按所属区间做切分，不同区间内的图像数据分别采用不同的模型进行训练或推理。
可选的，步骤S4中，当设备的软件控制界面信息显示当前产品元器件检测指标或设备状态参数异常时，对当前监控界面的设定区域信息进行提取，并与设定操作中的文字信息进行匹配，当发生异常情况时，自动完成相对应操作。
可选的，还包括：步骤S5，根据当前设备所获取的异常信息，对相关生产环节的生产设备进行自动化控制管理及结果检验。
可选的，步骤S5中，当产品元器件检测指标发生异常时，通过集中式控制管理各环节生产设备，实时对异常关联环节的生产设备进行控制管理及配方参数调整。
相比于现有技术，本发明至少具有以下有益效果：
当生产设备的监控信息发生异常时，本发明能够避免了人工调整的滞后性及操作误差，实时地自动化控制管理当前设备，提升作业效率及产品良率；
另外，当某环节的设备监控信息发生异常时，本发明能够规避人工进行各生产环节信息同步的障碍及低效，实时地对相关生产环节的设备进行控制管理及结果检验，改善了各生产流程的协同作业能力，进一步提升了产品质量及作业效率。
附图说明
图1为本发明一实施例中芯片生产智能化管控系统的结构图；
图2为本发明一实施例中芯片生产智能化管控方法的流程图。
具体实施方式
下面将结合示意图对本发明的芯片生产智能化管控系统及方法进行更详细的描述，其中表示了本发明的优选实施例，应该理解本领域技术人员可以修改在此描述的本发明，而仍然实现本发明的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本发明的限制。
在下列段落中参照附图以举例方式更具体地描述本发明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
如图1所示，本发明实施例提出了一种芯片生产智能化管控系统，包括：
图像采集模块，用于实时抓取设备的软件控制界面；
文字检测模块，进行文字区域的检测，获取文字区域及相对位置；
文字识别模块，用于对所述文字区域进行文字识别，获取实时信息；
规则匹配模块，用于对获取的信息进行提取和规则匹配，根据所匹配的规则对当前生产设备进行自动化控制管理。
相应的，如图2所示，本发明还提供一种芯片生产智能化管控方法，包括：
步骤S1，实时抓取设备的软件控制界面；
步骤S2，针对抓取的软件控制界面进行文字区域的检测，获取文字区域及相对位置；
步骤S3，对所述文字区域进行文字识别，获取实时信息；
步骤S4，对获取的信息进行提取和规则匹配，根据所匹配的规则对当前生产设备进行自动化控制管理。
当生产设备的监控信息发生异常时，本发明能够避免了人工调整的滞后性及操作误差，实时地自动化控制管理当前设备，提升作业效率及产品良率。
以下列举所述芯片生产智能化管控系统及方法的较优实施例，以清楚的说明本发明的内容，应当明确的是，本发明的内容并不限制于以下实施例，其他通过本领域普通技术人员的常规技术手段的改进亦在本发明的思想范围之内。
在本发明的一个实施例中，对于步骤S1，通过所述图像采集模块实现。
例如，所述图像采集模块能够通过软件系统实时抓取设备的软件控制界面，生成截图。
例如，生产设备的软件控制界面上包含设备的控制组件，以及当前产品元器件的检测指标等信息，图像采集模块会按设置频率对生产设备的软件控制界面进行实时截图，并将图片及设备标识信息传输至服务器。
对于步骤S2，通过所述文字检测模块实现，所述文字检测模块能够进行文字区域的检测，获取文字区域及相对位置。
在一个实施例中，所述文字检测模块采用DB-Net进行文字区域的检测，获取文字区域及相对位置，或者，也可以基于回归的算法进行处理，或者其他可行的方式等。
在本发明实施例中，对于文本的检测任务，基于分割的算法比基于回归的算法表现更好，基于分割的算法，需要进行手动设计二值化的后处理算法，将分割生成的概率图转换为文本的包围框，而DB-Net提出了可微分二值化的方法，在分割网络执行二值化过程中自适应地设置二值化阈值，不仅简化了后处理，而且提高了文本检测的性能。
对于步骤S3，通过所述文字识别模块实现，所述文字识别模块对所述文字区域进行文字识别，获取实时信息。
在一个实施例中，采用CRNN对文字检测区域进行文字识别，获取检测区域内的实时信息。
在本发明中，CRNN先基于ResNet提取特征图，然后由BiLSTM进一步提取图像卷积特征中的序列特征；相较于传统的单向LSTM，本发明实施例中采用BiLSTM，在隐层包含正向LSTM和反向LSTM，正向LSTM捕获了上文的特征信息，而反向LSTM捕获了下文的特征信息，这样相对单向LSTM来说能够捕获更多的特征信息；之后，本发明引入CTC Loss实现字符对齐，例如，解决训练时字符可能包含空格无法对齐的问题等；通过CRNN对文字检测区域内的字符进行文字识别，获取监控界面的文字信息。
在一个实施例中，在采用CRNN提取特征阶段，由于软件操作界面上文字区域原始背景的多样性，若直接对原始多通道图像进行特征提取会对训练或推理过程中提取的特征带入更多的冗余信息，从而造成模型鲁棒性较差，识别精度的降低；因此本发明在特征图提取前先对原始图像进行灰度图转化，图像通道数由3维降为1维，进而降低冗余信息的干扰，提升不同背景下模型识别的精度。
在特征提取阶段，可以先根据模型设置的长宽限值，对原始图像的长宽进行等比例放缩，放缩后图像的长或宽会达到最大相应限值，其余空缺区域进行固定像素值填充，然后再根据处理后的图片进行特征提取。
对于这种做法，由于连续文字区域的长宽比例范围变动较大，当模型设置长宽比例较大时，原始长宽比例小的图像在进行处理后会有较大比例的固定像素值填充区域，从而文字区域本身包含的特征信息有待进一步加强；反之，亦存在同样问题。
于是，本发明还提供另一种改进方式：在模型训练及推理过程中采用分流机制，根据人为设置的长宽比例区间，对不同原始文字区域长宽比的图像数据按所属区间做切分，不同区间内的图像数据分别采用不同的模型进行训练或推理，从而较大程度地提升了模型的文字识别精度。
对于步骤S4，通过所述规则匹配模块实现，所述规则匹配模块实现对获取的信息进行提取和规则匹配，根据所匹配的规则对当前生产设备进行自动化控制管理。
在一个实施例中，对软件控制界面的监控信息进行信息提取及规则匹配，根据相应规则对当前生产设备进行自动化控制管理。
例如，当设备的软件控制界面信息显示当前产品元器件检测指标或设备状态参数异常时，传统调整方法是通过人工肉眼识别界面信息的方法去发现设备异常状态信息或配方参数异常信息，并进行相应设备控制管理操作及相应配方参数调整。这存在状态误判、操作滞后及操作误差等不良情况，会较大程度的降低生产效率及产品良率。而本发明中则是通过系统对当前监控界面的重点区域信息进行提取，并与设定操作规则中的文字信息进行匹配，如是否出现警告信息或参数是否属于正常波动范围内等，当发生异常情况时，无需人工进行发现识别，而是通过软件控制系统自动化完成相应规则下的对应操作，达到智能化实时精准控制生产设备，有效提升生产效率及产品良率。
进一步的，本发明的一个实施例中，所述芯片生产智能化管控系统还包括：协同控制模块，用于根据当前设备所获取的异常信息，对相关生产环节的生产设备进行自动化控制管理及结果检验。
相应的，本发明的管控方法包括：步骤S5，根据当前设备所获取的异常信息，对相关生产环节的生产设备进行自动化控制管理及结果检验。
在一个实施例中，对于步骤S5，当产品元器件检测指标发生异常时，通过集中式控制管理各环节生产设备，实时对异常关联环节的生产设备进行控制管理及配方参数调整。
当产品元器件检测指标发生异常时，传统方法是当前设备控制管理人员与异常关联生产环节的设备管理人员进行人工信息同步，异常关联环节的设备管理人员再对相应设备进行控制管理及配方参数调整。由于人为操作的滞后及人工信息交互的低效，从异常状态发生到关联环节设备调整，存在较长时间的延误，会较大程度影响生产效率及产品质量。而在本发明中，通过集中式控制管理各环节生产设备，可以根据发生异常的状态信息，实时的去对异常关联环节的生产设备进行控制管理及配方参数调整，极大提升了不同生产环节的信息交互及协同作业能力，进一步提升了产品质量及作业效率。
综上所述，本发明至少具有以下有益效果：
当生产设备的监控信息发生异常时，本发明能够避免了人工调整的滞后性及操作误差，实时地自动化控制管理当前设备，提升作业效率及产品良率；
另外，当某环节的设备监控信息发生异常时，本发明能够规避人工进行各生产环节信息同步的障碍及低效，实时地对相关生产环节的设备进行控制管理及结果检验，改善了各生产流程的协同作业能力，进一步提升了产品质量及作业效率。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种芯片生产智能化管控系统，其特征在于，包括：
图像采集模块，用于实时抓取设备的软件控制界面；
文字检测模块，进行文字区域的检测，获取文字区域及相对位置；
文字识别模块，用于对所述文字区域进行文字识别，获取实时信息；
规则匹配模块，用于对获取的信息进行提取和规则匹配，根据所匹配的规则对当前生产设备进行自动化控制管理。
2.如权利要求1所述的芯片生产智能化管控系统，其特征在于，还包括：协同控制模块，用于根据当前设备所获取的异常信息，对相关生产环节的生产设备进行自动化控制管理及结果检验。
3.一种芯片生产智能化管控方法，其特征在于，包括：
步骤S1，实时抓取设备的软件控制界面；
步骤S2，针对抓取的软件控制界面进行文字区域的检测，获取文字区域及相对位置；
步骤S3，对所述文字区域进行文字识别，获取实时信息；
步骤S4，对获取的信息进行提取和规则匹配，根据所匹配的规则对当前生产设备进行自动化控制管理。
4.如权利要求3所述的芯片生产智能化管控方法，其特征在于，所述软件控制界面的内容包括:设备的控制组件，以及当前产品元器件的检测指标。
5.如权利要求3所述的芯片生产智能化管控方法，其特征在于，步骤S2中，采用基于分割的算法或者基于回归的算法进行处理。
6.如权利要求3所述的芯片生产智能化管控方法，其特征在于，步骤S3中，采用CRNN对文字区域进行文字识别，CRNN先基于ResNet提取特征图，然后由BiLSTM进一步提取图像卷积特征中的序列特征，最后引入CTC Loss实现字符对齐。
7.如权利要求3所述的芯片生产智能化管控方法，其特征在于，特征图提取前先对原始图像进行灰度图转化，降低通道数；在特征提取时，在模型训练及推理过程中采用分流机制，根据设置的长宽比例区间，对不同原始文字区域长宽比的图像数据按所属区间做切分，不同区间内的图像数据分别采用不同的模型进行训练或推理。
8.如权利要求3所述的芯片生产智能化管控方法，其特征在于，步骤S4中，当设备的软件控制界面信息显示当前产品元器件检测指标或设备状态参数异常时，对当前监控界面的设定区域信息进行提取，并与设定操作中的文字信息进行匹配，当发生异常情况时，自动完成相对应操作。
9.如权利要求3所述的芯片生产智能化管控方法，其特征在于，还包括：步骤S4，根据当前设备所获取的异常信息，对相关生产环节的生产设备进行自动化控制管理及结果检验。
10.如权利要求9所述的芯片生产智能化管控方法，其特征在于，步骤S4中，当产品元器件检测指标发生异常时，通过集中式控制管理各环节生产设备，实时对异常关联环节的生产设备进行控制管理及配方参数调整。
CN202111550642.5A 2021-12-17 2021-12-17 一种芯片生产智能化管控系统及方法 Pending CN114241190A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111550642.5A CN114241190A (zh) 2021-12-17 2021-12-17 一种芯片生产智能化管控系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111550642.5A CN114241190A (zh) 2021-12-17 2021-12-17 一种芯片生产智能化管控系统及方法

Publications (1)

Publication Number Publication Date
CN114241190A true CN114241190A (zh) 2022-03-25

Family

ID=80757723

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111550642.5A Pending CN114241190A (zh) 2021-12-17 2021-12-17 一种芯片生产智能化管控系统及方法

Country Status (1)

Country Link
CN (1) CN114241190A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115309611A (zh) * 2022-08-30 2022-11-08 深圳市湘凡科技有限公司 一种基于图像的通讯方法和相关设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115309611A (zh) * 2022-08-30 2022-11-08 深圳市湘凡科技有限公司 一种基于图像的通讯方法和相关设备

Similar Documents

Publication Publication Date Title
CN106971152B (zh) 一种基于航拍图像的检测输电线路中鸟巢的方法
CN110992317A (zh) 一种基于语义分割的pcb板缺陷检测方法
CN104992449A (zh) 基于机器视觉的信息识别及表面缺陷在线检测方法
CN110321933B (zh) 一种基于深度学习的故障识别方法和装置
CN113205063A (zh) 一种输电导线缺陷的视觉识别及定位方法
CN107257161A (zh) 一种基于状态识别算法的变电站刀闸遥控辅助校核方法及系统
CN112528979B (zh) 变电站巡检机器人障碍物判别方法及系统
CN110705630A (zh) 半监督学习式目标检测神经网络训练方法、装置及应用
CN115861987B (zh) 一种用于输电线路在线监测的智能电力金具缺陷识别方法
CN110096945B (zh) 基于机器学习的室内监控视频关键帧实时提取方法
CN116052222A (zh) 自然采集牛脸图像的牛脸识别方法
CN115272204A (zh) 一种基于机器视觉的轴承表面划痕检测方法
CN112070712B (zh) 基于自编码器网络的印刷缺陷检测方法
CN114241190A (zh) 一种芯片生产智能化管控系统及方法
CN117456358A (zh) 一种基于YOLOv5神经网络的植物病虫害检测方法
CN114863311A (zh) 一种变电站机器人巡检目标自动跟踪方法及系统
CN111855653A (zh) 一种植物干旱监测方法、监测模块和监测装置
CN113487559A (zh) 一种变电站隔离开关开合状态实时检测方法
CN112668516A (zh) 一种电力调度系统告警窗自动对点验收方法
CN113177566B (zh) 一种特征提取模型训练方法、装置及计算机设备
CN112861663B (zh) 一种基于语义分割的家禽姿态监测方法和系统
CN114202720A (zh) 一种基于目标识别的实时检测鸡蛋数量的系统及方法
CN112396033A (zh) 一种鸟类寤寐节律检测方法、装置、终端设备及存储介质
CN117282687B (zh) 印刷品视觉检测自动剔补标控制系统
CN116993734B (zh) 基于视觉成像进行分析的电池隔热棉裁切质量预测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination