CN117468083B - 降籽晶过程的控制方法、装置、长晶炉系统和计算机设备 - Google Patents

降籽晶过程的控制方法、装置、长晶炉系统和计算机设备 Download PDF

Info

Publication number
CN117468083B
CN117468083B CN202311815537.9A CN202311815537A CN117468083B CN 117468083 B CN117468083 B CN 117468083B CN 202311815537 A CN202311815537 A CN 202311815537A CN 117468083 B CN117468083 B CN 117468083B
Authority
CN
China
Prior art keywords
seed crystal
image
real
fusion
target area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311815537.9A
Other languages
English (en)
Other versions
CN117468083A (zh
Inventor
傅林坚
刘华
李亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Jingsheng Mechanical and Electrical Co Ltd
Zhejiang Qiushi Semiconductor Equipment Co Ltd
Original Assignee
Zhejiang Jingsheng Mechanical and Electrical Co Ltd
Zhejiang Qiushi Semiconductor Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Jingsheng Mechanical and Electrical Co Ltd, Zhejiang Qiushi Semiconductor Equipment Co Ltd filed Critical Zhejiang Jingsheng Mechanical and Electrical Co Ltd
Priority to CN202311815537.9A priority Critical patent/CN117468083B/zh
Publication of CN117468083A publication Critical patent/CN117468083A/zh
Application granted granted Critical
Publication of CN117468083B publication Critical patent/CN117468083B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • C—CHEMISTRY; METALLURGY
    • C30—CRYSTAL GROWTH
    • C30B—SINGLE-CRYSTAL GROWTH; UNIDIRECTIONAL SOLIDIFICATION OF EUTECTIC MATERIAL OR UNIDIRECTIONAL DEMIXING OF EUTECTOID MATERIAL; REFINING BY ZONE-MELTING OF MATERIAL; PRODUCTION OF A HOMOGENEOUS POLYCRYSTALLINE MATERIAL WITH DEFINED STRUCTURE; SINGLE CRYSTALS OR HOMOGENEOUS POLYCRYSTALLINE MATERIAL WITH DEFINED STRUCTURE; AFTER-TREATMENT OF SINGLE CRYSTALS OR A HOMOGENEOUS POLYCRYSTALLINE MATERIAL WITH DEFINED STRUCTURE; APPARATUS THEREFOR
    • C30B15/00—Single-crystal growth by pulling from a melt, e.g. Czochralski method
    • C30B15/20—Controlling or regulating
    • C—CHEMISTRY; METALLURGY
    • C30—CRYSTAL GROWTH
    • C30B—SINGLE-CRYSTAL GROWTH; UNIDIRECTIONAL SOLIDIFICATION OF EUTECTIC MATERIAL OR UNIDIRECTIONAL DEMIXING OF EUTECTOID MATERIAL; REFINING BY ZONE-MELTING OF MATERIAL; PRODUCTION OF A HOMOGENEOUS POLYCRYSTALLINE MATERIAL WITH DEFINED STRUCTURE; SINGLE CRYSTALS OR HOMOGENEOUS POLYCRYSTALLINE MATERIAL WITH DEFINED STRUCTURE; AFTER-TREATMENT OF SINGLE CRYSTALS OR A HOMOGENEOUS POLYCRYSTALLINE MATERIAL WITH DEFINED STRUCTURE; APPARATUS THEREFOR
    • C30B29/00—Single crystals or homogeneous polycrystalline material with defined structure characterised by the material or by their shape
    • C30B29/10—Inorganic compounds or compositions
    • C30B29/16—Oxides
    • C30B29/20—Aluminium oxides
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Metallurgy (AREA)
  • Organic Chemistry (AREA)
  • Materials Engineering (AREA)
  • Biomedical Technology (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Inorganic Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Crystals, And After-Treatments Of Crystals (AREA)

Abstract

本申请涉及一种降籽晶过程的控制方法、装置、长晶炉系统和计算机设备。所述方法包括：获取长晶炉内的实时图像；基于所述实时图像与预先训练的缺陷检测模型，确定所述实时图像中目标区域图像，以及所述目标区域图像的缺陷类型和位置信息；基于所述目标区域图像和所述缺陷类型，判断是否存在融化缺陷；若融化缺陷存在，则控制所述长晶炉提升籽晶和/或降低加热功率，重新降籽晶。采用本方法可以提高降籽晶过程的控制调整及时性。

Description

降籽晶过程的控制方法、装置、长晶炉系统和计算机设备
技术领域
本申请涉及晶体生长技术领域，特别是涉及一种降籽晶过程的控制方法、装置、长晶炉系统和计算机设备。
背景技术
蓝宝石是一种由铝和氧在特定温度条件下形成氧化铝化合物后，熔融再凝固所形成的晶体材料。蓝宝石在引晶阶段可以包括三个工步，分别是降籽晶、触液和试温拉结。
在蓝宝石的降籽晶过程中，需要人工从电焊玻璃加镀金玻璃构成的视窗观察炉内的降籽晶工步是否正常进行，由于工步持续时间长，人工观察降籽晶过程，一方面不易观察籽晶融化现象，导致蓝宝石的良品率较低，另一方面，在高温、强亮的环境下，长期观察容易对人眼造成损害，对操作人员的人身安全存在影响，只能通过人工巡检的方式间隔观察籽晶状态，且生产车间内长晶炉数量较多，人工检视籽晶情况存在滞后性。
由此可见，现有技术中仍然存在降籽晶过程的控制调整存在滞后性的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高控制调整及时性的降籽晶过程的控制方法、装置、长晶炉系统和计算机设备。
第一个方面，本实施例提供了一种降籽晶过程的控制方法，所述降籽晶过程的控制方法包括：
获取长晶炉内的实时图像；
基于所述实时图像与预先训练的缺陷检测模型，确定所述实时图像中目标区域图像，以及所述目标区域图像的缺陷类型和位置信息；
基于所述目标区域图像和所述缺陷类型，判断是否存在融化缺陷；
若融化缺陷存在，则控制所述长晶炉提升籽晶和/或降低加热功率，重新降籽晶。
在其中一些实施例中，所述基于所述实时图像与预先训练的缺陷检测模型，确定所述实时图像中目标区域图像包括：
对所述实时图像进行自适应对比度增强，得到增强图像；
将所述增强图像输入至预先训练的缺陷检测模型，得到所述实时图像中目标区域图像。
在其中一些实施例中，所述缺陷检测模型包括依次连接的主干网络、双向融合网络和检测头网络，
所述主干网络用于对所述实时图像进行籽晶特征的提取；
所述双向融合网络用于对所述籽晶特征进行融合，得到融合籽晶特征；
所述检测头网络用于基于融合籽晶特征，确定所述目标籽晶图像，以及所述目标籽晶图像的缺陷类型和位置信息。
在其中一些实施例中，所述双向融合网络包括依次连接的上采样网络和下采样网络，用于分别对所述籽晶特征进行上采样拼接融合和下采样拼接融合，得到融合籽晶特征；
所述上采样网络和下采样网络还包括注意力机制模块，所述注意力机制模块用于对所述上采样拼接融合和所述下采样拼接融合进行注意力增强。
在其中一些实施例中，所述双向融合网络还包括金字塔特征融合模块，所述金字塔特征融合模块与所述下采样网络连接，所述下采样网络还用于输出预设数量不同尺度的第一融合特征，
所述金字塔特征融合模块用于对所述预设数量不同尺度的第一融合特征进行特征融合，得到预设数量个第二融合特征，作为所述融合籽晶特征。
在其中一些实施例中，所述注意力机制模块采用跳跃连接结构，所述跳跃连接结构包括PW卷积核和DW卷积核。
在其中一些实施例中，所述基于所述目标籽晶图像和所述缺陷类型，判断是否存在融化缺陷包括：
基于所述目标籽晶图像中，籽晶的面积、颜色、轮廓清晰程度和形状的至少一种，判断目标籽晶图像是否符合所述缺陷类型；
若符合，则存在融化缺陷。
在其中一些实施例中，所述基于所述缺陷类型和位置信息重新进行降籽晶包括：
基于所述缺陷类型和位置信息，控制所述长晶炉提升籽晶和/或降低加热功率，重新进行降籽晶。
第二个方面，本实施例提供了一种降籽晶缺陷控制装置，所述降籽晶缺陷控制装置包括：
获取模块，用于获取长晶炉内的实时图像；
确定模块，用于基于所述实时图像与预先训练的缺陷检测模型，确定所述实时图像中目标区域图像，以及所述目标区域图像的缺陷类型和位置信息；
判断模块，用于基于所述目标区域图像和所述缺陷类型，判断是否存在融化缺陷；
处理模块，用于若融化缺陷存在，则控制所述长晶炉提升籽晶和/或降低加热功率，重新降籽晶。
第三个方面，本实施例提供了一种长晶炉系统，包括长晶炉、面阵相机和工控机，所述长晶炉的炉盖设置有观测窗，所述面阵相机通过相机固定杆设置于所述观测窗周围，用于采集所述长晶炉炉内的实时图像，并将所述实时图像发送至工控机；所述工控机用于实现如上所述的方法的步骤。
第四个方面，本实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法的步骤。
上述降籽晶过程的控制方法、装置、长晶炉系统和计算机设备，通过获取长晶炉内的实时图像；基于所述实时图像与预先训练的缺陷检测模型，确定所述实时图像中目标区域图像，以及所述目标区域图像的缺陷类型和位置信息；基于所述目标区域图像和所述缺陷类型，判断是否存在融化缺陷；若融化缺陷存在，则控制所述长晶炉提升籽晶和/或降低加热功率，重新降籽晶，可以通过预先训练的缺陷检测模型，检测实时图像中涉及籽晶的目标区域图像和对应的缺陷类型，提高了缺陷检出的及时性，从而无需操作人员通过人眼观察进行缺陷判断；而基于目标区域图像和缺陷类型进行二次确认，判断是否存在融化缺陷，可以减少因检测准确率低导致的误判情况，还可以达到提高籽晶缺陷判断准确率的效果。
附图说明
图1为一个实施例中降籽晶过程的控制方法的应用环境图；
图2为一个实施例中降籽晶过程的控制方法的流程示意图；
图3为另一个实施例中降籽晶过程的控制方法的流程示意图；
图4为一个实施例中籽晶在融化前后的变化示意图；
图5为一个实施例中自适应对比度增强的示意图；
图6为一个实施例中UA-Yolov5模型的结构框图；
图7为一个实施例中注意力机制模块ULSAM的结构框图；
图8为一个实施例中金字塔特征融合模块ASFF的结构框图；
图9为一个实施例中双向融合网络的结构框图；
图10为一个实施例中降籽晶缺陷控制装置的结构框图；
图11为一个实施例中长晶炉系统的结构框图；
图12为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的降籽晶过程的控制方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。所采集的长晶炉内的实时图像可以是在采集之后存储于服务器104上，而后转发至终端102进行处理。终端102获取长晶炉内的实时图像；基于所述实时图像与预先训练的缺陷检测模型，确定所述实时图像中目标区域图像，以及所述目标区域图像的缺陷类型和位置信息；基于所述目标区域图像和所述缺陷类型，判断是否存在融化缺陷；若融化缺陷存在，则控制所述长晶炉提升籽晶和/或降低加热功率，重新降籽晶。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种降籽晶过程的控制方法，以该方法应用于图1中的终端102为例进行说明，包括以下步骤：
步骤S100，获取长晶炉内的实时图像。
其中，在本实施例中，长晶炉可以是用于生产蓝宝石单晶材料的设备。长晶炉内的实时图像可以是通过长晶炉顶部或侧方设置的图像采集设备进行图像采集得到。
示例性的，可以是在降籽晶过程中，实时获取籽晶位置，基于籽晶位置采集实时图像。例如，获取籽晶的初始位置并记录籽晶开始下降的时间，控制籽晶在每经过预设时间间隔时下降预设距离，从而确定籽晶位置，根据籽晶位置采集长晶炉内的实时图像。例如，籽晶在初始位置时，时间记为0，每经过一分钟则将籽晶下降一公分，当经过预设时间后，获取籽晶的实际位置，并采集籽晶的实时图像，然后每经过一分钟采集一次图像，从而得到长晶炉内的实时图像。
步骤S200，基于所述实时图像与预先训练的缺陷检测模型，确定所述实时图像中目标区域图像，以及所述目标区域图像的缺陷类型和位置信息。
其中，预先训练的缺陷检测模型可以是基于现有的神经网络进行训练得到，训练神经网络所采用的数据集可以是经过标注的训练图像集，训练图像集中的多个图像标注有目标区域图像，目标区域图像可以是图像中存在融化缺陷的区域。缺陷类型可以是包括存在缺陷和不存在缺陷两类，也可以是对存在缺陷情况下，不同程度的缺陷进行分类，还可以是其他区分不同缺陷的类型划分，本实施例对此不作限定。位置信息可以是目标区域图像在实时图像中的坐标位置或坐标范围。
步骤S300，基于所述目标区域图像和所述缺陷类型，判断是否存在融化缺陷。
其中，基于所述目标区域图像和所述缺陷类型，判断是否存在融化缺陷，可以是基于缺陷类型，对目标区域图像是否存在该缺陷类型进行判断。示例性的，可以是基于缺陷类型，查找标准数据库中对应于该缺陷类型的判断标准，并基于该判断标准，对目标区域图像进行分析，确认是否存在该缺陷类型所对应的融化缺陷。对目标区域图像进行分析，可以是对目标区域图像中籽晶的视觉特征进行分析，确定其是否符合对应缺陷类型的判断标准，从而确定是否存在融化缺陷。进一步的，判断标准可以是参考图像，判断缺陷类型所对应的融化缺陷，可以是基于参考图像与目标区域图像的比对确定；判断标准还可以是可量化指标，判断缺陷类型所对应的融化缺陷，可以是基于目标区域图像计算相关参数大小，并基于其是否达到指标，确认是否存在缺陷类别所对应的融化缺陷，还可以是其他可用判断标准，本实施例对此不作限定。
步骤S400，若融化缺陷存在，则控制所述长晶炉提升籽晶和/或降低加热功率，重新降籽晶。
其中，若存在融化缺陷，则代表籽晶可能存在融化现象，以及当前长晶炉内的液面温度过高，无法进行拉结引晶，则需要对长晶炉的参数进行重新调整后再次进行降籽晶的工步。进一步的，可以是对长晶炉的功率进行降低，进而使得长晶炉内的温度降低，并控制长晶炉提升籽晶，从而在温度稳定之后重新进行降籽晶工步。
本实施例提供的一种降籽晶过程的控制方法，通过获取长晶炉内的实时图像；基于所述实时图像与预先训练的缺陷检测模型，确定所述实时图像中目标区域图像，以及所述目标区域图像的缺陷类型和位置信息；基于所述目标区域图像和所述缺陷类型，判断是否存在融化缺陷；若融化缺陷存在，则控制所述长晶炉提升籽晶和/或降低加热功率，重新降籽晶，可以通过预先训练的缺陷检测模型，检测实时图像中涉及籽晶的目标区域图像和对应的缺陷类型，从而无需操作人员通过人眼观察进行缺陷判断，提高了缺陷检出的及时性；而基于目标区域图像和缺陷类型进行二次确认，判断是否存在融化缺陷，可以减少因检测准确率低导致的误判情况，还可以达到提高籽晶缺陷判断准确率的效果。
在其中一些实施例中，所述基于所述实时图像与预先训练的缺陷检测模型，确定所述实时图像中目标区域图像包括：
对所述实时图像进行自适应对比度增强，得到增强图像；
将所述增强图像输入至预先训练的缺陷检测模型，得到所述实时图像中目标区域图像。
其中，对比度可以是图像中暗区和亮区的落差值，即图像最大灰度级和最小灰度级之间的差值，自适应对比度增强可以是对实时图像采用直方图均衡化的方式进行图像增强，使得变换后的图像灰度的概率密度成均匀分布，使得图像灰度的动态范围得到增加，从而实现对比度的提高。
本实施例提供的一种降籽晶过程的控制方法，通过在输入至缺陷检测模型之前，预先对实时图像进行自适应对比度增强，可以得到更为直观、可视性更强的增强图像，从而进一步提高缺陷检测模型提取到目标区域图像的准确率。
在其中一些实施例中，所述缺陷检测模型包括依次连接的主干网络、双向融合网络和检测头网络，
所述主干网络用于对所述实时图像进行籽晶特征的提取；
所述双向融合网络用于对所述籽晶特征进行融合，得到融合籽晶特征；
所述检测头网络用于基于融合籽晶特征，确定所述实时图像中目标区域图像，以及所述目标区域图像的缺陷类型和位置信息。
在本实施例中，目标区域图像可以是包括籽晶特征的图像。缺陷检测可以是针对籽晶的融化情况进行检测。主干网络用于对实时图像进行籽晶特征提取。双向融合网络用于对籽晶特征进行融合，得到融合籽晶特征。示例性的，双向融合网络可以是包括自上向下的上采样网络，和自下而上的下采样网络，上采样网络可以是将高层的特征信息和底层的特征进行融合，得到预测的第一特征图，下采样网络可以是将底层的特征信息与高层信息进行融合，得到预测的第二特征图，从而得到融合籽晶特征。检测头网络用于基于融合籽晶特征，确定目标籽晶图像。进一步的，可以是基于融合籽晶特征进行多尺度的检测，确定多个可能为目标区域图像的目标框，并基于分析筛选，确定最终的目标区域图像，以及目标区域图像所对应的缺陷类型和位置信息。
在一个具体实施例中，缺陷检测模型可以是基于Yolov5模型训练得到。其中，缺陷检测模型还包括输入端，输入端用于接收输入的实时图像，并对实时图像进行Mosaic增强、自适应锚框计算以及自适应图片缩放，得到预处理后的实时图像。
本实施例提供的一种降籽晶过程的控制方法，通过采用主干网络、双向融合网络和检测头网络，对实时图像进行特征提取、特征融合和目标区域图像检测，可以实现更为准确的目标区域图像检测，提高籽晶图像识别的准确性。
在其中一些实施例中，所述双向融合网络包括依次连接的上采样网络和下采样网络，用于分别对所述籽晶特征进行上采样拼接融合和下采样拼接融合，得到融合籽晶特征；
所述上采样网络和下采样网络还包括注意力机制模块，所述注意力机制模块用于对所述上采样拼接融合和所述下采样拼接融合进行注意力增强。
其中，上采样网络可以是包括多级的上采样模块，通过对提取的籽晶特征分别进行不同次数的上采样，以及拼接、卷积等操作，可以自上向下得到不同尺度的籽晶特征图，注意力机制模块可以是设置于不同层级的上采样模块末端，对上采样网络经过上采样拼接融合得到的不同尺度的籽晶特征图，进行注意力增强。下采样网络也可以是包括多级的下采样模块，通过对上采样网络输出的不同尺度的籽晶特征图进行下采样拼接融合，得到不同尺度的籽晶特征图。注意力机制模块可以是设置于下采样网络中，对下采样网络的下采样拼接融合提供注意力增强，从而实现对籽晶特征的增强。
在一个具体实施例中，注意力机制模块可以采用ULSAM（Ultra-LightweightSubspace Attention Module）结构进行。
本实施例提供的一种降籽晶过程的控制方法，通过在双向融合网络的上采样网络和下采样网络中提供注意力机制模块，可以增强实时图像中融化特征区域的关注度，而降低非融化特征区域的关注度，从而实现对融合籽晶特征的增强。
在其中一些实施例中，所述双向融合网络还包括金字塔特征融合模块，所述金字塔特征融合模块与所述下采样网络连接，所述下采样网络还用于输出预设数量不同尺度的第一融合特征，
所述金字塔特征融合模块用于对所述预设数量不同尺度的第一融合特征进行特征融合，得到预设数量个第二融合特征，作为所述融合籽晶特征。
其中，金字塔特征融合模块与下采样网络连接，可以理解的是，下采样网络通过下采样拼接融合，可以得到多张不同尺度的籽晶特征图，金字塔特征融合模块通过获取不同尺度的籽晶特征，对不同尺度的籽晶特征进行融合处理，作为检测头网络的输入特征。第一融合特征，即为上采样网络和下采样网络分别通过上采样拼接融合和下采样拼接融合后得到的不同尺度的融合特征；第二融合特征，即为第一融合特征在经过金字塔特征融合模块进行融合处理后的融合特征。
在一个具体实施例中，金字塔特征融合模块可以是采用ASFF（AdaptivelySpatial Feature Fusion）模块进行，本实施例中的金字塔特征融合模块包括三个并行结构，每个结构即为一个分支，每个分支含有多个卷积和池化模块，分别对下采样网络输出的三个不同尺度的籽晶特征图进行不同权值比例的融合，得到融合特征图，作为检测头网络的输入。
本实施例提供的一种降籽晶过程的控制方法，通过设置与下采样网络连接的金字塔特征融合模块，可以提升网络对不同尺度的籽晶特征的特征融合能力，实现在空域过滤冲突信息，进而抑制相似的其他干扰特征，提高缺陷检测模型对不同尺度籽晶特征的特征融合能力，达到提高籽晶缺陷判断准确率的效果。
在其中一些实施例中，所述注意力机制模块采用跳跃连接结构，所述跳跃连接结构包括PW卷积核和DW卷积核。
其中，跳跃连接结构即将不同层次的特征信息进行交互和融合，实现底层特征和高层特征之间的信息传递。PW卷积核（Pointwise-Convolutional Kernel）可以是一个具有1×1大小的卷积核，可以用于执行点乘操作。进一步的，是在通道维度上执行卷积操作，对特征图的通道进行组合和变换，而不改变特征图的尺度，实现通道的降维或增维。DW卷积核（Depthwise Separable Convolutional Kernel）可以是由深度卷积核和逐点卷积核组成。深度卷积核用于对每个输入通道进行单独的卷积操作，逐点卷积核用于对每个位置上的特征进行线性组合，从而可以在减少计算量和参数数量的同时保持模型的表达能力。
本实施例提供的一种降籽晶过程的控制方法，通过采用PW卷积核和DW卷积核，以跳跃连接结构构成注意力机制模块，可以实现底层特征与高层特征的交互融合，从而实现对籽晶特征的注意力增强，达到提高籽晶缺陷判断准确率的效果。
在其中一些实施例中，所述基于所述目标区域图像和所述缺陷类型，判断是否存在融化缺陷包括：
基于所述目标区域图像中，籽晶的面积、颜色、轮廓清晰程度和形状的至少一种，判断目标区域图像是否符合所述缺陷类型；
若符合，则存在融化缺陷。
在本实施中，缺陷类型可以是包括存在融化缺陷和不存在融化缺陷两种类型。
当籽晶处于融化状态时，籽晶在目标区域图像中的面积也将变大，在本实施例中，可以通过对籽晶的面积大小设定一个面积阈值，若籽晶在目标区域图像中的面积超过了面积阈值，则代表籽晶出现融化情形，则可以判断目标籽晶图像中存在融化缺陷。
当籽晶处于融化状态时，籽晶在目标区域图像中的颜色也将由白灰色转变为暗灰色，因此，可以是通过对籽晶在目标区域图像中的颜色信息进行判断，从而确定是否符合缺陷类型，继而确定是否存在融化缺陷。
当籽晶处于融化状态时，籽晶在目标区域图像中的轮廓也将由轮廓清晰转变至轮廓模糊，因此，还可以通过对籽晶在目标区域图像中的轮廓清晰程度判断是否符合缺陷类型，继而确定是否存在融化缺陷。
当籽晶处于融化状态时，籽晶在目标区域图像中的形状也将从半圆状转变至圆锥状或水滴状，因此，还可以是对籽晶在目标区域图像中的轮廓曲线进行拟合，从而判断是否符合缺陷类型，继而确定是否存在融化缺陷。
本实施例提供的一种降籽晶过程的控制方法，通过基于所述目标籽晶图像中，籽晶的面积、颜色、轮廓清晰程度和形状的至少一种，判断目标籽晶图像是否符合所述缺陷类型，可以实现基于籽晶本身的特质进行融化缺陷的再次判断，从而排除缺陷检测模型在个别情况下可能存在的误报情况，以及实时图像中其他干扰特征的影响，达到提高籽晶缺陷判断准确率的效果。
为了更清楚地阐述本申请的技术方案，本申请还提供了一个详细实施例。如图3所示，提供了一个降籽晶过程的控制方法，包括：
图像收集并预处理：使用面阵相机采集降籽晶阶段的蓝宝石引晶正常状态和含有融化缺陷的异常状态的图像。在降籽晶工步中，籽晶杆一般处于旋转状态，通过对相机拍摄间隔和籽晶杆旋转速率的调整，对属于同一引晶部位的图像拼接成一张完整状态图，状态图的数量可以是1000、2000张，本实施例对状态图数量不作限定。将数据集划分为训练集、验证集和测试集，划分比例可以是8：1：1，其中，训练集和验证集都为晶体生长异常图像，即包含融化缺陷的图像，训练集、验证集图像不重复，测试集为晶体生长正常图像和晶体生长异常图像，即不包含融化缺陷和包含融化缺陷的两种图像，上述图像可以是通过人为进行缺陷位置标记。
如图4所示，一般籽晶在未融化前在图像上呈现白灰色，轮廓较为光滑清晰，呈现半圆状；融化后的颜色会呈现灰暗色，轮廓较为模糊，呈现圆锥或水滴状，操作人员可以以该标准，结合先验知识进行缺陷位置标记。
在一个具体实施例中，如图5所示，在对图像进行收集后，还包括采用自适应对比度增强对图片进行增强，得到融化特征更为明显的籽晶图像，可以在增强图像对比度的同时抑制噪声，使得融化特征不明显的区域得到一定的提升。
搭建UA-Yolov5模型，训练并保存模型：如图6所示，UA-Yolov5采用三层网络结构，第一层网络即主干网络，用于对输入图像进行籽晶特征提取；第二层网络为颈部网络，颈部网络采用了双向融合网络，用于对籽晶特征进行特征融合，双向融合网络嵌入有注意力机制模块和金字塔特征融合模块，用于提升特征的融合能力，从而提高检测精度；第三层网络为检测头网络，用于基于融合后的籽晶特征进行类别和位置的预测。第二层网络为多层结构，且多层之间互相连接，并各层保留每一层的特征。网络采用混合精度计算，以提高推理时的速度。UA-Yolov5模型的训练可以是采用多尺度训练策略，以适应不同大小的融化缺陷，训练过程中，损失函数可以是采用Focal EIoU双损失进行，以提高融化缺陷的检测精度。经过测试集的验证，若检测准确率达到0.98，则可以对该缺陷检测模型进行保存。
其中，UA-Yolov5模型还包括输入网络，输入网络对实时图像进行Mosaic数据增强、自适应锚框计算和自适应图片缩放等操作，而后输入至主干网络。在主干网络对籽晶特征进行提取后，双向融合网络对提取的籽晶特征进行上下文信息的融合，以得到更为明显的籽晶特征。
可以理解的是，部分融化特征存在面积小和特征不明显的情况，因此，可以通过在双向融合网络末端加入注意力机制模块ULSAM，注意力机制模块ULSAM的结构如图7所示。一方面，注意力机制ULSAM可以在多尺度、多频率特征学习的同时实现跨信道信息的高效学习，即为一种并行的机构，通过对融化缺陷特征和非融化缺陷特征进行加权处理，可以增强对融化特征区域的关注度，另一方面，注意力机制模块ULSAM采用的由PW卷积核和DW卷积核组成的跳跃连接结构，从而提高上下文融化特征信息的融合能力，使得模型能够提取到一些不明显的融化缺陷特征，和较小的融化缺陷特征。进一步的，由于晶棒的长短大小不一，使得采集的籽晶图像可能大小不一致，导致融化特征的大小也不一致，同时也存在很多与融化特征较为相似的其他干扰特征，通过在注意力机制模块ULSAM后加入金字塔特征融合模块，如图8所示，金字塔特征融合模块为一个并行结构，该模块由三个分支组成，包括金字塔特征融合模块第一分支、金字塔特征融合模块第二分支和金字塔特征融合模块第三分支。每个分支含有多个卷积和池化模块，对颈部网络输出的三个不同尺度的特征图进行融合处理，并将融合后的特征图作为检测头网络的输入，从而可以在空域过滤冲突信息以抑制相似的其他干扰特征，并且提升网络对不同尺度融化特征目标的特征融合能力。
在一个具体实施例中，双向融合网络的网络结构有两个阶段组成，第一阶段是自上而下的上采样网络，通过多次上采样拼接融合输出特征图；第二阶段是自下而上的下采样结构，通过多次下采样拼接融合输出特征图。如图9所示为双向融合网络的结构框图，注意力机制模块ULSAM是在上采样拼接融合和下采样拼接融合的过程中引入以加强融合。
检测头网络可以是得到多个籽晶图像目标框以及和目标框对应的缺陷类别和位置信息，每个目标框分别对应一个目标区域图像，并基于每个目标框对应的缺陷类别，分析目标区域图像是否存在缺陷类别所指出的融化缺陷。具体的，缺陷类别包括存在融化缺陷和不存在融化缺陷。当缺陷类别为存在融化缺陷时，则根据目标区域图像中的籽晶图像的面积、颜色、轮廓清晰程度和形状判断是否存在融化缺陷，若判断结果的权重值超过0.5，则认为该目标区域图像存在融化缺陷。
将模型集成到工控机，连接相机、PLC。其中，相机即可以是设置于长晶炉炉盖附近的面阵相机，PLC即可编程逻辑控制器，用于对籽晶杆的电机进行驱动控制。
采集图像，将图像输入，模型分析结果：实时获取蓝宝石降籽晶过程的籽晶图像、工步名称和采图时间，对籽晶图像进行自适应对比度增强，获取融化特征更加明显的籽晶图像。可以理解的是，每个工步名称对应于相应的模型，降籽晶工步可以是对应于本实施例中缺陷检测模型，采图时间对应于图像采集的初始时间。利用UA-Yolov5模型对籽晶图像进行检测，得到籽晶图像的目标框。模型根据任意一籽晶图像获取的目标框确定该目标框中的缺陷类别。进一步的，模型对输入图片进行检测，采用注意力机制、特征融合策略和多尺度策略对部分小目标进行检测，并通过非极大值抑制算法进行缺陷阈值筛选，实时判断目标区域图像，即籽晶图像中的特征是否存在融化缺陷。可以理解的是，缺陷检测模型可以是检测后得到实时图像划分为多个候选框进行检测，生成达到置信度阈值和IoU阈值的检测结果，置信度阈值和IoU阈值可以基于实际需求进行设置，对于超过阈值部分的部分可以是通过非极大值抑制算法来判断筛选。
判断是否存在融化缺陷：即基于所述缺陷类别判断所述籽晶图像是否存在融化缺陷。
若存在，则信息反馈工控机，提升籽晶或降低功率，重新降籽晶：若存在，即所述籽晶图像存在融化缺陷，则将类别信息和位置结果信息反馈给工控机，进行提升籽晶或降低功率操作，并重新进行降籽晶。当籽晶出现融化缺陷时，说明蓝宝石炉内温度过高，需要降低籽晶的温度，提升籽晶可以增大籽晶到液面的距离从而达到降低温度的效果，降低功率则可直接降低温度。
若不存在，则晶体降籽晶状态正常，存储结果，并继续进行试温引晶：若不存在，即籽晶图像不存在融化缺陷，则保存原图，并继续进行试温引晶，以及重复采集图像、将图像输入，模型分析结果的步骤。是否继续试温引晶可以是通过工控机控制PLC驱动电机进行调节。
本实施例中的降籽晶工步可以是时长两个小时，面阵相机可以是通过相机固定杆设置于长晶炉炉盖的观测窗周围，用于采集所述长晶炉炉内的实时图像。在降籽晶过程中，可以是晶棒每下降一公分进行一次拍摄，总共下降100公分，在晶棒开始下降前的12公分进行图像拍摄，通过窗口观测晶体籽晶部分旋转并拍摄图像。
进一步的，训练集图像为同一时间段同一籽晶部分的成像，为保证训练图像中引晶部分的完整性，引晶部分成像采集次数一般按照相机工作距离、籽晶棒转速和成像清晰的视野面积决定。若清晰视野面积大，则采集次数少；清晰视野面积小，则需要多采集几次。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的降籽晶过程的控制方法的降籽晶缺陷控制装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个降籽晶缺陷控制装置实施例中的具体限定可以参见上文中对于降籽晶过程的控制方法的限定，在此不再赘述。
在一个实施例中，如图10所示，提供了一种降籽晶缺陷控制装置，包括：获取模块、确定模块、判断模块和处理模块，其中：
获取模块100，用于获取长晶炉内的实时图像；
确定模块200，用于基于所述实时图像与预先训练的缺陷检测模型，确定所述实时图像中目标区域图像，以及所述目标区域图像的缺陷类型和位置信息；
判断模块300，用于基于所述目标区域图像和所述缺陷类型，判断是否存在融化缺陷；
处理模块400，用于若融化缺陷存在，则控制所述长晶炉提升籽晶和/或降低加热功率，重新降籽晶。
在其中一些实施例中，所述确定模块200还用于：
对所述实时图像进行自适应对比度增强，得到增强图像；
将所述增强图像输入至预先训练的缺陷检测模型，得到所述实时图像中目标区域图像。
在其中一些实施例中，所述缺陷检测模型包括依次连接的主干网络、双向融合网络和检测头网络，
所述主干网络用于对所述实时图像进行籽晶特征的提取；
所述双向融合网络用于对所述籽晶特征进行融合，得到融合籽晶特征；
所述检测头网络用于基于融合籽晶特征，确定所述目标籽晶图像，以及所述目标籽晶图像的缺陷类型和位置信息。
在其中一些实施例中，所述双向融合网络包括依次连接的上采样网络和下采样网络，用于分别对所述籽晶特征进行上采样拼接融合和下采样拼接融合，得到融合籽晶特征；
所述上采样网络和下采样网络还包括注意力机制模块，所述注意力机制模块用于对所述上采样拼接融合和所述下采样拼接融合进行注意力增强。
在其中一些实施例中，所述双向融合网络还包括金字塔特征融合模块，所述金字塔特征融合模块与所述下采样网络连接，所述下采样网络还用于输出预设数量不同尺度的第一融合特征，
所述金字塔特征融合模块用于对所述预设数量不同尺度的第一融合特征进行特征融合，得到预设数量个第二融合特征，作为所述融合籽晶特征。
在其中一些实施例中，所述注意力机制模块采用跳跃连接结构，所述跳跃连接结构包括PW卷积核和DW卷积核。
在其中一些实施例中，所述判断模块300还用于：
基于所述目标籽晶图像中，籽晶的面积、颜色、轮廓清晰程度和形状的至少一种，判断目标籽晶图像是否符合所述缺陷类型；
若符合，则存在融化缺陷。
上述降籽晶缺陷控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种如图11所示，提供了一种长晶炉系统，包括长晶炉、面阵相机和工控机，所述长晶炉的炉盖1设置有观测窗3，所述面阵相机通过相机固定杆4设置于所述观测窗周围，用于采集所述长晶炉炉内的实时图像，并将所述实时图像发送至工控机；所述工控机用于实现上述任一实施例的降籽晶过程的控制方法：
获取长晶炉内的实时图像；
基于所述实时图像与预先训练的缺陷检测模型，确定所述实时图像中目标区域图像，以及所述目标区域图像的缺陷类型和位置信息；
基于所述目标区域图像和所述缺陷类型，判断是否存在融化缺陷；
若融化缺陷存在，则控制所述长晶炉提升籽晶和/或降低加热功率，重新降籽晶。
进一步的，观测窗3是设置于籽晶杆口2的周围，籽晶杆口2位于炉盖1的中央。相机固定杆4还包括相连接的可拆卸杆5和相机夹具6，面阵相机在被相机夹具6夹取后固定而朝向观测窗3进行图像采集。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种降籽晶过程的控制方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图12中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述任一实施例的降籽晶过程的控制方法：
获取长晶炉内的实时图像；
基于所述实时图像与预先训练的缺陷检测模型，确定所述实时图像中目标区域图像，以及所述目标区域图像的缺陷类型和位置信息；
基于所述目标区域图像和所述缺陷类型，判断是否存在融化缺陷；
若融化缺陷存在，则控制所述长晶炉提升籽晶和/或降低加热功率，重新降籽晶。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例的降籽晶过程的控制方法：
获取长晶炉内的实时图像；
基于所述实时图像与预先训练的缺陷检测模型，确定所述实时图像中目标区域图像，以及所述目标区域图像的缺陷类型和位置信息；
基于所述目标区域图像和所述缺陷类型，判断是否存在融化缺陷；
若融化缺陷存在，则控制所述长晶炉提升籽晶和/或降低加热功率，重新降籽晶。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random AccessMemory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (7)

1.一种降籽晶过程的控制方法，其特征在于，所述降籽晶过程的控制方法包括：
获取长晶炉内的实时图像；
基于所述实时图像与预先训练的缺陷检测模型，确定所述实时图像中目标区域图像，以及所述目标区域图像的缺陷类型和位置信息；所述基于所述实时图像与预先训练的缺陷检测模型，确定所述实时图像中目标区域图像包括：对所述实时图像进行自适应对比度增强，得到增强图像；将所述增强图像输入至预先训练的缺陷检测模型，得到所述实时图像中目标区域图像；所述缺陷检测模型包括依次连接的主干网络、双向融合网络和检测头网络，所述主干网络用于对所述实时图像进行籽晶特征的提取；所述双向融合网络用于对所述籽晶特征进行融合，得到融合籽晶特征；所述检测头网络用于基于融合籽晶特征，确定所述实时图像中目标区域图像，以及所述目标区域图像的缺陷类型和位置信息；
基于所述目标区域图像和所述缺陷类型，判断是否存在融化缺陷；所述基于所述目标区域图像和所述缺陷类型，判断是否存在融化缺陷包括：基于所述目标区域图像中，籽晶的面积、颜色、轮廓清晰程度和形状的至少一种，判断目标区域图像是否符合所述缺陷类型；若符合，则存在融化缺陷；
若融化缺陷存在，则控制所述长晶炉提升籽晶和/或降低加热功率，重新降籽晶。
2.根据权利要求1所述的降籽晶过程的控制方法，其特征在于，所述双向融合网络包括依次连接的上采样网络和下采样网络，用于分别对所述籽晶特征进行上采样拼接融合和下采样拼接融合，得到融合籽晶特征；
所述上采样网络和下采样网络还包括注意力机制模块，所述注意力机制模块用于对所述上采样拼接融合和所述下采样拼接融合进行注意力增强。
3.根据权利要求2所述的降籽晶过程的控制方法，其特征在于，所述双向融合网络还包括金字塔特征融合模块，所述金字塔特征融合模块与所述下采样网络连接，所述下采样网络还用于输出预设数量不同尺度的第一融合特征，
所述金字塔特征融合模块用于对所述预设数量不同尺度的第一融合特征进行特征融合，得到预设数量个第二融合特征，作为所述融合籽晶特征。
4.根据权利要求2所述的降籽晶过程的控制方法，其特征在于，所述注意力机制模块采用跳跃连接结构，所述跳跃连接结构包括PW卷积核和DW卷积核。
5.一种降籽晶缺陷控制装置，其特征在于，所述降籽晶缺陷控制装置包括：
获取模块，用于获取长晶炉内的实时图像；
确定模块，用于基于所述实时图像与预先训练的缺陷检测模型，确定所述实时图像中目标区域图像，以及所述目标区域图像的缺陷类型和位置信息；所述基于所述实时图像与预先训练的缺陷检测模型，确定所述实时图像中目标区域图像包括：对所述实时图像进行自适应对比度增强，得到增强图像；将所述增强图像输入至预先训练的缺陷检测模型，得到所述实时图像中目标区域图像；所述缺陷检测模型包括依次连接的主干网络、双向融合网络和检测头网络，所述主干网络用于对所述实时图像进行籽晶特征的提取；所述双向融合网络用于对所述籽晶特征进行融合，得到融合籽晶特征；所述检测头网络用于基于融合籽晶特征，确定所述实时图像中目标区域图像，以及所述目标区域图像的缺陷类型和位置信息；
判断模块，用于基于所述目标区域图像和所述缺陷类型，判断是否存在融化缺陷；所述基于所述目标区域图像和所述缺陷类型，判断是否存在融化缺陷包括：基于所述目标区域图像中，籽晶的面积、颜色、轮廓清晰程度和形状的至少一种，判断目标区域图像是否符合所述缺陷类型；若符合，则存在融化缺陷；
处理模块，用于若融化缺陷存在，则控制所述长晶炉提升籽晶和/或降低加热功率，重新降籽晶。
6.一种长晶炉系统，其特征在于，包括长晶炉、面阵相机和工控机，所述长晶炉的炉盖设置有观测窗，所述面阵相机通过相机固定杆设置于所述观测窗周围，用于采集所述长晶炉炉内的实时图像，并将所述实时图像发送至工控机；所述工控机用于实现如权利要求1至权利要求4中任一项所述的方法的步骤。
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至权利要求4中任一项所述的方法的步骤。
CN202311815537.9A 2023-12-27 2023-12-27 降籽晶过程的控制方法、装置、长晶炉系统和计算机设备 Active CN117468083B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311815537.9A CN117468083B (zh) 2023-12-27 2023-12-27 降籽晶过程的控制方法、装置、长晶炉系统和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311815537.9A CN117468083B (zh) 2023-12-27 2023-12-27 降籽晶过程的控制方法、装置、长晶炉系统和计算机设备

Publications (2)

Publication Number Publication Date
CN117468083A CN117468083A (zh) 2024-01-30
CN117468083B true CN117468083B (zh) 2024-05-28

Family

ID=89640028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311815537.9A Active CN117468083B (zh) 2023-12-27 2023-12-27 降籽晶过程的控制方法、装置、长晶炉系统和计算机设备

Country Status (1)

Country Link
CN (1) CN117468083B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816100A (zh) * 2019-01-30 2019-05-28 中科人工智能创新技术研究院(青岛)有限公司 一种基于双向融合网络的显著性物体检测方法及装置
CN110220912A (zh) * 2019-05-28 2019-09-10 太原理工大学 一种基于深度学习的蓝宝石生长缺陷视觉检测方法
CN111626969A (zh) * 2020-05-22 2020-09-04 东北易华录信息技术有限公司 一种基于注意力机制的玉米病害图像处理方法
CN112834700A (zh) * 2020-12-31 2021-05-25 杭州富加镓业科技有限公司 一种基于深度学习和导模法的高阻型氧化镓的质量预测方法、制备方法及系统
CN114511515A (zh) * 2022-01-17 2022-05-17 山东高速路桥国际工程有限公司 一种基于BoltCorrDetNet网络的螺栓腐蚀检测系统和检测方法
CN114898357A (zh) * 2022-07-12 2022-08-12 深圳思谋信息科技有限公司 缺陷识别方法、装置、电子设备及计算机可读存储介质
CN115359064A (zh) * 2022-10-24 2022-11-18 江苏智云天工科技有限公司 工业缺陷检测方法和装置
CN115491756A (zh) * 2022-11-18 2022-12-20 浙江晶盛机电股份有限公司 晶炉晶体生长调控方法、装置、计算机设备和存储介质
CN116468979A (zh) * 2023-03-08 2023-07-21 北京龙智数科科技服务有限公司 一种双向特征融合网络、回归预测网络、训练方法及装置
CN116503318A (zh) * 2023-02-15 2023-07-28 陕西科技大学 一种融合CAT-BiFPN与注意力机制的航拍绝缘子多缺陷检测方法、系统及设备
CN116735597A (zh) * 2023-05-16 2023-09-12 哈尔滨工程大学 一种蓝宝石光纤生长缺陷在线检测与反馈的方法
CN117132531A (zh) * 2023-05-24 2023-11-28 哈尔滨理工大学 一种基于轻量化的YOLOv5的绝缘子缺陷检测方法
CN117187943A (zh) * 2023-09-11 2023-12-08 保定景欣电气有限公司 一种拉晶过程中熔料检测方法、装置及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200422749A (en) * 2003-04-22 2004-11-01 Adv Lcd Tech Dev Ct Co Ltd Crystallization apparatus, crystallization method, phase modulation element, device and display apparatus

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816100A (zh) * 2019-01-30 2019-05-28 中科人工智能创新技术研究院(青岛)有限公司 一种基于双向融合网络的显著性物体检测方法及装置
CN110220912A (zh) * 2019-05-28 2019-09-10 太原理工大学 一种基于深度学习的蓝宝石生长缺陷视觉检测方法
CN111626969A (zh) * 2020-05-22 2020-09-04 东北易华录信息技术有限公司 一种基于注意力机制的玉米病害图像处理方法
CN112834700A (zh) * 2020-12-31 2021-05-25 杭州富加镓业科技有限公司 一种基于深度学习和导模法的高阻型氧化镓的质量预测方法、制备方法及系统
CN114511515A (zh) * 2022-01-17 2022-05-17 山东高速路桥国际工程有限公司 一种基于BoltCorrDetNet网络的螺栓腐蚀检测系统和检测方法
CN114898357A (zh) * 2022-07-12 2022-08-12 深圳思谋信息科技有限公司 缺陷识别方法、装置、电子设备及计算机可读存储介质
CN115359064A (zh) * 2022-10-24 2022-11-18 江苏智云天工科技有限公司 工业缺陷检测方法和装置
CN115491756A (zh) * 2022-11-18 2022-12-20 浙江晶盛机电股份有限公司 晶炉晶体生长调控方法、装置、计算机设备和存储介质
CN116503318A (zh) * 2023-02-15 2023-07-28 陕西科技大学 一种融合CAT-BiFPN与注意力机制的航拍绝缘子多缺陷检测方法、系统及设备
CN116468979A (zh) * 2023-03-08 2023-07-21 北京龙智数科科技服务有限公司 一种双向特征融合网络、回归预测网络、训练方法及装置
CN116735597A (zh) * 2023-05-16 2023-09-12 哈尔滨工程大学 一种蓝宝石光纤生长缺陷在线检测与反馈的方法
CN117132531A (zh) * 2023-05-24 2023-11-28 哈尔滨理工大学 一种基于轻量化的YOLOv5的绝缘子缺陷检测方法
CN117187943A (zh) * 2023-09-11 2023-12-08 保定景欣电气有限公司 一种拉晶过程中熔料检测方法、装置及电子设备

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Aamir, E (Aamir, E.) [1] ; Nagy, ZK (Nagy, Z. K.) [1] *
Optimal seed recipe design for crystal size distribution control for batch cooling crystallisation processes;Aamir, E (Aamir, E.) [1] ; Nagy, ZK (Nagy, Z. K.) [1] ; Rielly, CD (Rielly, C. D.) [1];CHEMICAL ENGINEERING SCIENCE;20100601;第65卷(第11期);3602-3614 *
医药质量检测关键技术及其应用综述;张辉;易俊飞;王耀南;吴刘宸;陈瑞博;;仪器仪表学报;20200315(03);1-17 *
基于BP神经网络和改进遗传算法的单晶硅生产调度算法;傅骏伟;张琪君;;工业控制计算机;20160125(01);119-123 *
基于深度学习的混凝土表面缺陷检测方法;翟磊;王会峰;丁光洲;杨文光;武泽键;;激光杂志;20201231(06);49-53 *

Also Published As

Publication number Publication date
CN117468083A (zh) 2024-01-30

Similar Documents

Publication Publication Date Title
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN108764247B (zh) 基于稠密连接的深度学习物体检测方法及装置
CN117468085B (zh) 晶棒生长控制方法、装置、长晶炉系统和计算机设备
CN111179273A (zh) 一种基于深度学习的白细胞核质自动分割方法及系统
CN111639526A (zh) 一种基于深度学习的输电线路目标检测与监控方法
CN115099297B (zh) 一种基于改进型YOLO v5模型的大豆植株表型数据统计方法
CN103778621A (zh) 对外来物体碎片的识别方法
Pramudhita et al. Strawberry Plant Diseases Classification Using CNN Based on MobileNetV3-Large and EfficientNet-B0 Architecture
CN116740728B (zh) 一种用于晶圆读码器动态获取方法和系统
CN111104976B (zh) 一种基于时间序列图像的蓝藻覆盖率计算方法
CN114299375B (zh) 融合YOLOv4与可变形卷积的水下群体目标检测方法
CN117468083B (zh) 降籽晶过程的控制方法、装置、长晶炉系统和计算机设备
CN113627558A (zh) 鱼类图像识别方法、系统及设备
CN117253192A (zh) 用于桑蚕养殖的智能系统及方法
CN117636314A (zh) 一种缺苗识别方法、装置、设备及介质
CN112581472B (zh) 一种面向人机交互的目标表面缺陷检测方法
CN115908843A (zh) 过热度识别模型训练方法、识别方法、设备及存储介质
CN117468084B (zh) 晶棒生长控制方法、装置、长晶炉系统和计算机设备
CN101276462B (zh) 一种医用图像处理方法
CN112730437A (zh) 基于深度可分离卷积神经网络的喷丝板表面缺陷检测方法、装置、存储介质及设备
Mir et al. Forecasting Anthracnose Severity Levels in Mango Leaf using Hybrid Models
WO2020205567A1 (en) Systems and methods for biomedical object segmentation
CN118397478B (zh) 一种基于VGGNet模型的台风眼识别与台风眼半径估算方法
CN109544505A (zh) 咖啡开花期的检测方法、装置及电子设备
CN117952981B (zh) 一种基于cnn卷积神经网络的智能室内灯检测装置及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant