CN117468084B - 晶棒生长控制方法、装置、长晶炉系统和计算机设备 - Google Patents
晶棒生长控制方法、装置、长晶炉系统和计算机设备 Download PDFInfo
- Publication number
- CN117468084B CN117468084B CN202311815300.0A CN202311815300A CN117468084B CN 117468084 B CN117468084 B CN 117468084B CN 202311815300 A CN202311815300 A CN 202311815300A CN 117468084 B CN117468084 B CN 117468084B
- Authority
- CN
- China
- Prior art keywords
- crystal
- growth
- recombination
- network
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000013078 crystal Substances 0.000 title claims abstract description 506
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000001514 detection method Methods 0.000 claims abstract description 144
- 230000006798 recombination Effects 0.000 claims abstract description 117
- 238000005215 recombination Methods 0.000 claims abstract description 117
- 238000005070 sampling Methods 0.000 claims abstract description 89
- 230000002159 abnormal effect Effects 0.000 claims abstract description 35
- 230000004927 fusion Effects 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims description 44
- 238000012360 testing method Methods 0.000 claims description 35
- 230000008521 reorganization Effects 0.000 claims description 26
- 238000012795 verification Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 10
- 230000001537 neural effect Effects 0.000 claims description 9
- 238000000746 purification Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 230000001276 controlling effect Effects 0.000 description 11
- 238000010899 nucleation Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 229910052594 sapphire Inorganic materials 0.000 description 9
- 239000010980 sapphire Substances 0.000 description 9
- 230000000694 effects Effects 0.000 description 6
- 230000004913 activation Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 239000007788 liquid Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000006641 stabilisation Effects 0.000 description 3
- 238000011105 stabilization Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000009529 body temperature measurement Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000007711 solidification Methods 0.000 description 2
- 230000008023 solidification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- PNEYBMLMFCGWSK-UHFFFAOYSA-N aluminium oxide Inorganic materials [O-2].[O-2].[O-2].[Al+3].[Al+3] PNEYBMLMFCGWSK-UHFFFAOYSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 239000002178 crystalline material Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- C—CHEMISTRY; METALLURGY
- C30—CRYSTAL GROWTH
- C30B—SINGLE-CRYSTAL GROWTH; UNIDIRECTIONAL SOLIDIFICATION OF EUTECTIC MATERIAL OR UNIDIRECTIONAL DEMIXING OF EUTECTOID MATERIAL; REFINING BY ZONE-MELTING OF MATERIAL; PRODUCTION OF A HOMOGENEOUS POLYCRYSTALLINE MATERIAL WITH DEFINED STRUCTURE; SINGLE CRYSTALS OR HOMOGENEOUS POLYCRYSTALLINE MATERIAL WITH DEFINED STRUCTURE; AFTER-TREATMENT OF SINGLE CRYSTALS OR A HOMOGENEOUS POLYCRYSTALLINE MATERIAL WITH DEFINED STRUCTURE; APPARATUS THEREFOR
- C30B15/00—Single-crystal growth by pulling from a melt, e.g. Czochralski method
- C30B15/20—Controlling or regulating
- C30B15/22—Stabilisation or shape controlling of the molten zone near the pulled crystal; Controlling the section of the crystal
- C30B15/26—Stabilisation or shape controlling of the molten zone near the pulled crystal; Controlling the section of the crystal using television detectors; using photo or X-ray detectors
-
- C—CHEMISTRY; METALLURGY
- C30—CRYSTAL GROWTH
- C30B—SINGLE-CRYSTAL GROWTH; UNIDIRECTIONAL SOLIDIFICATION OF EUTECTIC MATERIAL OR UNIDIRECTIONAL DEMIXING OF EUTECTOID MATERIAL; REFINING BY ZONE-MELTING OF MATERIAL; PRODUCTION OF A HOMOGENEOUS POLYCRYSTALLINE MATERIAL WITH DEFINED STRUCTURE; SINGLE CRYSTALS OR HOMOGENEOUS POLYCRYSTALLINE MATERIAL WITH DEFINED STRUCTURE; AFTER-TREATMENT OF SINGLE CRYSTALS OR A HOMOGENEOUS POLYCRYSTALLINE MATERIAL WITH DEFINED STRUCTURE; APPARATUS THEREFOR
- C30B29/00—Single crystals or homogeneous polycrystalline material with defined structure characterised by the material or by their shape
- C30B29/10—Inorganic compounds or compositions
- C30B29/16—Oxides
- C30B29/20—Aluminium oxides
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Organic Chemistry (AREA)
- Crystallography & Structural Chemistry (AREA)
- Materials Engineering (AREA)
- Metallurgy (AREA)
- Quality & Reliability (AREA)
- Inorganic Chemistry (AREA)
- Crystals, And After-Treatments Of Crystals (AREA)
Abstract
本申请涉及一种晶棒生长控制方法、装置、长晶炉系统和计算机设备，该方法包括获取长晶炉内实时图像；将实时图像输入至预先训练的生长检测模型得到实时图像中目标区域图像，以及晶棒生长检测结果；若检测结果为异常则基于目标区域图像重新进行试温拉结；生长检测模型包括依次连接的主干网络、颈部网络和检测网络；主干网络对实时图像进行晶结特征提取；颈部网络对晶结特征进行融合；颈部网络包括特征重组上采样模块和通道重组下采样模块，特征重组上采样模块对晶结特征上采样融合，通道重组下采样模块对晶结特征下采样融合；检测网络基于融合晶结特征确定目标区域图像晶棒生长检测结果。采用本方法能够提高晶棒生长判断准确率和安全性。
Description
技术领域
本申请涉及晶棒生长技术领域，特别是涉及一种晶棒生长控制方法、装置、长晶炉系统和计算机设备。
背景技术
蓝宝石是一种由铝和氧在特定温度条件下形成氧化铝化合物后，熔融再凝固所形成的晶体材料。蓝宝石在引晶阶段可以包括三个工步，分别是降籽晶、触液和试温拉结。
在蓝宝石的试温拉结的过程中，需要人工通过电焊玻璃加镀金玻璃形成的视窗，观察炉内的试温拉结工步是否正常进行，由于工步持续时间长，人工观察晶棒生长过程，一方面不易观察晶棒生长现象，导致蓝宝石的良品率较低，另一方面，在高温、强亮的环境下，长期观察容易对人眼造成损害，对操作人员的人身安全存在影响。
由此可见，现有技术中仍然存在试温拉结过程的晶棒生长判断准确率低、操作人员安全性低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高晶棒生长判断准确率和操作人员安全性的晶棒生长控制方法、装置、长晶炉系统和计算机设备。
第一个方面，本实施例提供了一种晶棒生长控制方法，所述晶棒生长控制方法包括：
获取长晶炉内的实时图像；
将所述实时图像输入至预先训练的生长检测模型，得到所述实时图像中目标区域图像，以及晶棒生长检测结果；
若所述检测结果为晶棒生长异常，则基于所述目标区域图像重新进行试温拉结；
所述生长检测模型包括依次连接的主干网络、颈部网络和检测网络；
所述主干网络，用于对所述实时图像进行晶结特征的提取，得到第一晶结特征和第二晶结特征，所述第一晶结特征与所述第二晶结特征的尺度不同；
所述颈部网络，用于对所述第一晶结特征和所述第二晶结特征进行融合，得到融合晶结特征；所述颈部网络还包括特征重组上采样模块和通道重组下采样模块，所述特征重组上采样模块用于对所述第一晶结特征进行上采样融合，所述通道重组下采样模块用于对所述第二晶结特征进行下采样融合；
所述检测网络，用于基于所述融合晶结特征，确定目标区域图像晶棒生长检测结果。
在其中一些实施例中，所述检测网络还用于：
基于所述融合晶结特征，确定所述目标区域图像；
基于所述目标区域图像，确定目标区域图像中的晶结厚度；
若所述目标区域图像中的晶结厚度在预设厚度区间内，则晶棒生长检测结果为晶棒生长正常；
若所述目标区域图像中的晶结厚度在所述预设厚度区间外，则晶棒生长检测结果为晶棒生长异常。
在其中一些实施例中，所述基于所述目标区域图像重新进行试温拉结包括：
基于所述目标区域图像中的晶结厚度，对所述长晶炉的功率进行调节；
在长晶炉内温度稳定后，重新获取长晶炉内的实时图像，并输入至所述生长检测模型。
在其中一些实施例中，所述将所述实时图像输入至预先训练的生长检测模型，得到所述实时图像中目标区域图像，以及晶棒生长检测结果之后还包括：
若所述检测结果为晶棒生长正常，则对所述实时图像进行存储，并进行净化籽晶和拉结操作。
在其中一些实施例中，所述特征重组上采样模块包括第一重组单元、第二重组单元以及整理单元，所述主干网络分别通过所述第一重组单元和所述第二重组单元连接至所述整理单元，
所述第一重组单元，用于对所述主干网络输入的第一晶结特征进行像素重组和维度扩张，得到第一重组特征；
所述第二重组单元，用于对所述主干网络输入的第一晶结特征进行填充、切分和维度扩张，得到第二重组特征；
所述整理单元，用于基于所述第一重组特征和所述第二重组特征，进行特征融合、维度扩张和像素重组，得到融合后的所述第一晶结特征。
在其中一些实施例中，所述通道重组下采样模块，还用于：
对所述第二晶结特征进行均分，得到多个第二晶结子特征；
将多个所述第二晶结子特征，在通道维度上进行重组排列，得到融合后的所述第二晶结特征。
在其中一些实施例中，所述将所述实时图像输入至预先训练的生长检测模型之前包括：
获取采集的训练图像集，所述训练图像集包括多张经过Labelme工具标注目标区域图像的晶棒生长异常图像，和多张晶棒生长正常图像；
基于预设比例对所述训练图像集进行划分，得到训练集、验证集和测试集；所述训练集和验证集包括多张所述晶棒生长异常图像，所述测试集包括多张所述晶棒生长正常图像和所述晶棒生长异常图像；
搭建神经学习网络，并基于所述训练集、验证集和测试集对所述神经学习网络进行训练，得到所述生长检测模型。
第二个方面，本实施例提供了一种晶棒生长控制装置，所述装置包括：
获取模块，用于获取长晶炉内的实时图像；
检测模块，用于将所述实时图像输入至预先训练的生长检测模型，得到所述实时图像中目标区域图像，以及晶棒生长检测结果；
处理模块，用于若所述检测结果为晶棒生长异常，则基于所述目标区域图像重新进行试温拉结；
所述生长检测模型包括依次连接的主干网络、颈部网络和检测网络；
所述主干网络，用于对所述实时图像进行晶结特征的提取，得到第一晶结特征和第二晶结特征，所述第一晶结特征与所述第二晶结特征的尺度不同；
所述颈部网络，用于对所述第一晶结特征和所述第二晶结特征进行融合，得到融合晶结特征；所述颈部网络还包括特征重组上采样模块和通道重组下采样模块，所述特征重组上采样模块用于对所述第一晶结特征进行上采样融合，所述通道重组下采样模块用于对所述第二晶结特征进行下采样融合；
所述检测网络，用于基于所述融合晶结特征，确定目标区域图像晶棒生长检测结果。
第三个方面，本实施例提供了一种长晶炉系统，包括长晶炉、面阵相机和工控机，所述长晶炉的炉盖设置有观测窗，所述面阵相机通过相机固定杆设置于所述观测窗周围，用于采集所述长晶炉炉内的实时图像，并将所述实时图像发送至工控机；所述工控机用于实现如上所述的方法的步骤。
第四个方面，本实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法的步骤。
第五个方面，本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。
上述晶棒生长控制方法、装置、长晶炉系统和计算机设备，通过获取长晶炉内的实时图像；将实时图像输入至预先训练的生长检测模型，得到实时图像中目标区域图像，以及晶棒生长检测结果；若检测结果为晶棒生长异常，则基于目标区域图像重新进行试温拉结，可以实现晶棒生长的自动检测，而避免了需要操作人员通过肉眼观察的情况，提高操作人员安全性。所述生长检测模型包括依次连接的主干网络、颈部网络和检测网络；所述主干网络提取得到尺度不同的第一晶结特征和第二晶结特征，颈部网络对第一晶结特征和第二晶结特征进行融合，得到融合晶结特征；颈部网络还包括特征重组上采样模块和通道重组下采样模块，特征重组上采样模块用于对第一晶结特征进行上采样融合，通道重组下采样模块用于对第二晶结特征进行下采样融合，可以实现对主干网络输出的不同尺度的晶结特征进行融合处理，得到更为丰富的晶结空间位置信息和通道信息，使得发送至检测网络的特征信息更为准确，达到提高晶棒生长判断准确率的效果。
附图说明
图1为一个实施例中晶棒生长控制方法的应用环境图；
图2为一个实施例中晶棒生长控制方法的流程示意图；
图3为一个实施例中特征重组上采样模块的结构示意图；
图4为一个实施例中通道重组下采样模块处理前后的对比图；
图5为另一个实施例中晶棒生长控制方法的流程示意图；
图6为一个实施例中采集得到的完整状态图；
图7为一个实施例中实时图像中晶结特征的示意图；
图8为一个实施例中CS-Yolov5模型的结构框图；
图9为一个实施例中晶棒生长控制装置的结构框图；
图10为一个实施例中长晶炉系统的结构框图；
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的晶棒生长控制方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。实时图像经过采集，可以是先存储至服务器104，而后转发至终端102中，终端102获取长晶炉内的实时图像；将所述实时图像输入至预先训练的生长检测模型，得到所述实时图像中目标区域图像，以及晶棒生长检测结果；若所述检测结果为晶棒生长异常，则基于所述目标区域图像重新进行试温拉结。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种晶棒生长控制方法，以该方法应用于图1中的终端102为例进行说明，包括以下步骤：
步骤S100，获取长晶炉内的实时图像。
其中，在本实施例中，长晶炉可以是用于生产蓝宝石单晶材料的设备。长晶炉内的实时图像可以是在长晶炉顶部通过图像采集得到。
步骤S200，将所述实时图像输入至预先训练的生长检测模型，得到所述实时图像中目标区域图像，以及晶棒生长检测结果。
所述生长检测模型包括依次连接的主干网络、颈部网络和检测网络；所述主干网络，用于对所述实时图像进行晶结特征的提取，得到第一晶结特征和第二晶结特征，所述第一晶结特征与所述第二晶结特征的尺度不同；所述颈部网络，用于对所述第一晶结特征和所述第二晶结特征进行融合，得到融合晶结特征；所述颈部网络还包括特征重组上采样模块和通道重组下采样模块，所述特征重组上采样模块用于对所述第一晶结特征进行上采样融合，所述通道重组下采样模块用于对所述第二晶结特征进行下采样融合；所述检测网络，用于基于所述融合晶结特征，确定目标区域图像晶棒生长检测结果。
训练神经网络所采用的数据集可以是基于经过标注的训练图像集，训练图像集中的多个图像标注有目标区域图像，目标区域图像可以是晶棒生长异常的目标图像。
主干网络用于对增强图像进行晶结特征提取。晶结可以是在晶棒生长过程中，在晶棒周围形成的结晶，晶结特征即可以是增强图像中包含晶结的特征。主干网络所提取的晶结特征包括第一晶结特征和第二晶结特征，第一晶结特征与第二晶结特征的尺度不同。
在本实施例中，第一晶结特征的尺度可以是小于第二晶结尺度。传统的颈部网络在对所提取的晶结特征进行上采样的过程中，会造成晶结特征的信息损失，进而导致检测网络对晶结区域的识别精度不高。为解决此问题，本实施例通过在颈部网络中采用特征重组上采样模块和通道重组下采样模块，对不同尺度的第一晶结特征和第二晶结特征进行分别处理，特征重组上采样模块用于对所述第一晶结特征进行上采样融合，所述通道重组下采样模块用于对所述第二晶结特征进行下采样融合，使得上下两个不同维度的特征图统一到相同尺度后进行融合，达到对小目标图晶结特征在融合晶结特征中的增强，从而实现晶棒生长判断准确率的提高。第一晶结特征和第二晶结特征的尺度可以是基于操作人员搭建模型的实际需求设置，可以是选定两种尺度，也可以是两种尺度范围，作为第一晶结特征和第二晶结特征的判定标准。
步骤S300，若所述检测结果为晶棒生长异常，则基于所述目标区域图像重新进行试温拉结。
其中，若检测结果为晶棒生长异常，则代表试温拉结工步出现错误，可能导致良品率降低，则需要对长晶炉的参数进行调整后重新试温拉结。
本实施例提供的一种晶棒生长控制方法，通过获取长晶炉内的实时图像；将实时图像输入至预先训练的生长检测模型，得到实时图像中目标区域图像，以及晶棒生长检测结果；若检测结果为晶棒生长异常，则基于目标区域图像重新进行试温拉结，可以实现晶棒生长的自动检测，而避免了需要操作人员通过肉眼观察的情况，提高操作人员安全性。所述生长检测模型包括依次连接的主干网络、颈部网络和检测网络；所述主干网络提取得到尺度不同的第一晶结特征和第二晶结特征，颈部网络对第一晶结特征和第二晶结特征进行融合，得到融合晶结特征；颈部网络还包括特征重组上采样模块和通道重组下采样模块，特征重组上采样模块用于对第一晶结特征进行上采样融合，通道重组下采样模块用于对第二晶结特征进行下采样融合，可以实现对主干网络输出的不同尺度的晶结特征进行融合处理，得到更为丰富的晶结空间位置信息和通道信息，使得发送至检测网络的特征信息更为准确，达到提高晶棒生长判断准确率的效果。
在其中一些实施例中，所述检测网络还用于：
基于所述融合晶结特征，确定所述目标区域图像；
基于所述目标区域图像，确定目标区域图像中的晶结厚度；
若所述目标区域图像中的晶结厚度在预设厚度区间内，则晶棒生长检测结果为晶棒生长正常；
若所述目标区域图像中的晶结厚度在所述预设厚度区间外，则晶棒生长检测结果为晶棒生长异常。
其中，基于融合晶结特征确定目标区域图像，可以是对融合晶结特征预测晶结的实际所在位置，得到其在实时图像中的目标区域图像。进一步的，基于融合晶结特征得到多个预测目标框，每个预测目标框分别对应实时图像中的一个区域图像，通过对预测目标框进行筛选，确定最终的目标区域图像。
基于目标区域图像确定晶棒的晶结厚度，根据目标区域图像，可以确定晶棒的晶结位置，确定晶棒的晶结厚度，可以是根据晶棒的像素直径按比例计算得到晶棒晶结的实际厚度。
若所述目标区域图像中的晶结厚度在预设厚度区间内，则晶棒生长检测结果为晶棒生长正常。可以理解的是，预设厚度可以不是固定值，也可以是设置预设厚度的误差允许范围，目标区域图像中晶结厚度在预设厚度的误差允许范围内时，可以将其视为在预设厚度区间内。当晶结厚度在预设厚度区间内，则代表长晶炉内的当前温度等处于理想状态，晶棒生长正常。
若目标区域图像中的晶结厚度在所述预设厚度区间外，则代表晶棒生长放缓或是加快，晶棒生长检测结果为晶棒生长异常。
本实施例提供的一种晶棒生长控制方法，通过晶结厚度确定晶棒生长是否正常，可以实现对晶棒生长情况的判断。
在其中一些实施例中，所述基于所述目标区域图像重新进行试温拉结包括：
基于所述目标区域图像中的晶结厚度，对所述长晶炉的功率进行调节；
在长晶炉内温度稳定后，重新获取长晶炉内的实时图像，并输入至所述生长检测模型。
其中，基于目标区域图像中的晶结厚度，对所述长晶炉的功率进行调节，可以是根据晶结厚度与预设厚度的关系，确定对长晶炉的功率进行增大或是减小。可以理解的是，当晶结厚度大于预设厚度时，代表凝固速度大于理想速度，则需要将功率进行增大，从而提高炉内温度；当晶结厚度小于预设厚度时，代表凝固速度低于理想速度，则需要将功率进行减小，从而降低炉内温度；
在长晶炉内温度稳定后，重新获取长晶炉内的实时图像，并输入至所述生长检测模型，可以是对炉内温度进行实时测温，并基于测温结果判断温度是否趋于稳定，也可以是基于所调整的功率，计算温度稳定的时间，并在温度稳定时间过后重新获取长晶炉内的实时图像，并输入至所述生长检测模型。
本实施例提供的一种晶棒生长控制方法，通过基于晶结厚度对长晶炉的功率进行调节，从而可以在长晶炉内温度不合适的情况下进行调整，而找到最合适的引晶温度，达到提高蓝宝石单晶良品率的效果。
在其中一些实施例中，所述将所述实时图像输入至预先训练的生长检测模型，得到所述实时图像中目标区域图像，以及晶棒生长检测结果之后还包括：
若所述检测结果为晶棒生长正常，则对所述实时图像进行存储，并进行净化籽晶和拉结操作。
本实施例提供的一种晶棒生长控制方法，通过在晶棒生长正常的情况下进行实时图像进行存储，可以实现对晶棒生长过程的实时记录，以及为后期判断晶棒是否生长提供历史图像支持，提高晶棒生长的判断准确率。
在其中一些实施例中，所述特征重组上采样模块包括第一重组单元、第二重组单元以及整理单元，所述主干网络分别通过所述第一重组单元和所述第二重组单元连接至所述整理单元，
所述第一重组单元，用于对所述主干网络输入的第一晶结特征进行像素重组和维度扩张，得到第一重组特征；
所述第二重组单元，用于对所述主干网络输入的第一晶结特征进行填充、切分和维度扩张，得到第二重组特征；
所述整理单元，用于基于所述第一重组特征和所述第二重组特征，进行特征融合、维度扩张和像素重组，得到融合后的所述第一晶结特征。
进一步的，如图3所示，第一重组单元由卷积层、像素重组层、激活层、展开层和重组层构成。其中，卷积层采用Conv函数，用于对输入的第一晶结特征进行卷积后，输出至下一层；像素重组层采用PixelShuffle函数，用于对输入的特征进行像素重组后，输出至下一层；激活层采用Softmax函数，用于对输入的特征进行归一化后，输出至下一层；展开层采用Unfold函数，用于对输入的特征进行展开后，输出至下一层；重组层采用Reshape函数，用于对输入的特征进行维度扩张，得到第一重组特征。
进一步的，第二重组单元由填充层、展开层和重组层构成。其中，填充层采用Pad函数，用于对输入的第一晶结特征进行宽和高的填充，并输出至下一层；展开层采用Unfold函数，用于对输入的特征进行展开后，输出至下一层；重组层采用Reshape函数，用于对输入的特征进行维度整理，得到第二重组特征。
在一个具体实施例中，输入的第一晶结特征可以是以数组的形式，Reshape函数可以是基于预设的维度数量、高和宽，将输入特征转换为目标的维度。
整理单元用于对第一重组特征和第二重组特征进行特征融合，并在经过维度扩张和像素重组的处理后，得到融合后的第一晶结特征。整理单元包括重组层、像素重组层和卷积层。其中，重组层采用Reshape函数，用于对输入的特征进行维度扩张后，输出至下一层；像素重组层采用PixelShuffle函数，用于对输入的特征进行像素重组后，输出至下一层；卷积层采用Conv函数，用于对输入的第一晶结特征进行卷积，得到融合后的第一晶结特征，并将其输出至检测网络。
本实施例提供的一种晶棒生长控制方法，通过第一重组单元、第二重组单元和整理单元，可以实现对小目标图进行维度扩张，相比于其他上采样方式，可以得到更为丰富的晶结特征，可以达到提高晶棒生长判断准确率的效果。
在其中一些实施例中，所述通道重组下采样模块，还用于：
对所述第二晶结特征进行均分，得到多个第二晶结子特征；
将多个所述第二晶结子特征，在通道维度上进行重组排列，得到融合后的所述第二晶结特征。
其中，如图4所示，对第二晶结特征进行均分，可以是按照固定的宽和高对第二晶结特征进行切分，得到多个第二晶结子特征，每个第二晶结子特征均对应于第二晶结特征的一个局部区域，且每个第二晶结子特征的宽和高均相等。
将多个所述第二晶结子特征，在通道维度上进行重组排列，所得到的融合后的第二晶结特征，即可以实现分辨率纬度的降低，以及通道维度的增加，使得传递给检测网络的第二晶结特征的细节信息更为准确。
本实施例提供的一种晶棒生长控制方法，通过通道重组下采样模块，将第二晶结特征进行均分，并对得到的多个第二晶结特征进行通道维度上的堆叠，可以使颈部网络输入至检测网络的晶结特征的细节信息更为准确，可以达到提高晶棒生长判断准确率的效果。
在其中一些实施例中，所述将所述实时图像输入至预先训练的生长检测模型之前包括：
获取采集的训练图像集，所述训练图像集包括多张经过Labelme工具标注目标区域图像的晶棒生长异常图像，和多张晶棒生长正常图像；
基于预设比例对所述训练图像集进行划分，得到训练集、验证集和测试集；所述训练集和验证集包括多张所述晶棒生长异常图像，所述测试集包括多张所述晶棒生长正常图像和所述晶棒生长异常图像；
搭建神经学习网络，并基于所述训练集、验证集和测试集对所述神经学习网络进行训练，得到所述生长检测模型。
在一个具体实施例中，训练图像集可以是使用面阵相机采集试温拉结阶段的蓝宝石引晶无晶棒生长状态和含有晶棒生长状态的图像。在试温拉结的过程中，晶棒处于旋转状态，通过对相机拍摄间隔和籽晶杆旋转速率进行调整，将属于同一引晶部位的图像拼接成一张完整状态图，采集得到1000至2000 张乃至更多晶体状态图，作为训练图像集的图像。训练图像集的划分比例可以是8:1:1。
本实施例提供的一种晶棒生长控制方法，通过采用晶棒生长异常图像对搭建的神经学习网络进行训练，并采用包括晶棒生长正常图像和晶棒生长异常图像的测试集进行测试，可以训练得到更为准确的生长检测模型，从而达到提高晶棒生长判断准确率的效果。
为了更清楚地阐述本申请的技术方案，如图5所示，本实施例还提供了一个详细实施例。在本实施例中，提供了一种晶棒生长控制方法，包括：
图像收集并预处理：使用面阵相机采集试温拉结阶段的蓝宝石引晶正常状态和晶结厚度不满足预设厚度的图像。在试温拉结的过程中，籽晶杆处于旋转状态，通过对相机拍摄间隔和籽晶杆旋转速率的调整，对属于同一引晶部位的图像拼接成一张完整状态图，完整状态图如图6所示，状态图的数量可以是1000至2000张，本实施例对状态图数量不作限定。将数据集划分为训练集、验证集和测试集，划分比例可以是8：1：1，其中，训练集和验证集都为晶棒生长异常图像，即晶结厚度不满足预设厚度的图像，训练集、验证集图像不重复，测试集为晶棒生长正常图像和晶棒生长异常图像，上述图像可以是通过labelme标注软件标记得到，可以是通过人为进行缺陷位置标记。其中，训练集用于训练模型，验证集用于调整模型参数，调整方法可以是迁移学习。
如图7所示，在本实施例中，在晶棒的生长过程中，籽晶周围存在的晶结，可以是从触液工步形成的小黑点到籽晶的距离，若晶结的厚度满足需求的3mm厚度，则代表出现晶结，晶棒生长，若晶结太厚或太薄，则代表温度太高或太低，晶棒生长异常。晶结的厚度薄厚可以是通过后处理测量计算得到，也可以是基于人为判断输入确定。
搭建CS-Yolov5模型，训练并保存模型。如图8所示，CS-Yolov5模型采用串联式的三层架构形式，包括依次连接的主干网络、颈部网络和检测网络，在主干网络之前，模型还包括输入层，输入层对实时图像进行Mosaic数据增强、自适应锚框计算和自适应图片缩放等操作，而后输入至主干网络。主干网络用于对实时图像进行晶结特征的提取，得到第一晶结特征和第二晶结特征，第一晶结特征为小目标特征图，第二晶结特征为大中目标特征图；颈部网络Neck，用于对第一晶结特征和第二晶结特征进行融合，得到融合晶结特征；颈部网络Neck还包括特征重组上采样模块和通道重组下采样模块，特征重组上采样模块用于对第一晶结特征进行上采样融合，通道重组下采样模块用于对第二晶结特征进行下采样融合，从而可以获取更加丰富的晶结空间位置信息和通道信息，从而发送给检测网络更为准确的晶结信息，达到提高识别精度的目的；检测网络，用于基于融合晶结特征，确定目标区域图像晶棒生长检测结果。网络可以是采用混合精度计算，提高推理时的速度并加入FocalEIoU损失函数以提高晶棒生长的检测精度。
如图3所示，特征重组上采样模块包括第一重组单元、第二重组单元以及整理单元，主干网络分别通过第一重组单元和第二重组单元连接至整理单元，第一重组单元由卷积层、像素重组层、激活层、展开层和重组层构成，用于对主干网络输入的第一晶结特征进行像素重组和维度扩张，得到第一重组特征；第二重组单元由填充层、展开层和重组层构成，用于对主干网络输入的第一晶结特征进行填充、切分和维度扩张，得到第二重组特征；整理单元由重组层、像素重组层和卷积层构成，用于基于第一重组特征和第二重组特征，进行特征融合、维度扩张和像素重组，得到融合后的第一晶结特征。
上述网络层中，卷积层采用Conv函数，用于对输入的特征进行卷积；像素重组层采用PixelShuffle函数，用于对输入的特征进行像素重组；激活层采用Softmax函数，用于对输入的特征进行归一化；展开层采用Unfold函数，用于对输入的特征进行展开；重组层采用Reshape函数，用于对输入的特征进行维度扩张；填充层采用Pad函数，用于对输入的特征进行宽和高的填充。输入的第一晶结特征可以是以数组的形式，Reshape函数可以是基于预设的维度数量、高和宽，将输入特征转换为目标的维度。
通道重组下采样模块，还用于对第二晶结特征进行均分，得到多个第二晶结子特征；将多个第二晶结子特征，在通道维度上进行重组排列，得到融合后的第二晶结特征。可以是按照固定的宽和高对第二晶结特征进行切分，得到多个第二晶结子特征，每个第二晶结子特征均对应于第二晶结特征的一个局部区域，且每个第二晶结子特征的宽和高均相等。如图4所示，可以是对每一通道的特征图进行均分，对于均分后的特征图相同位置信息进行重组排列，实现通道维度的扩增，分辨率维度的降低，从而实现下采样操作。
将模型集成到工控机，连接相机、PLC。其中，相机即可以是设置于长晶炉炉盖附近的面阵相机，PLC即可编程逻辑控制器，用于对籽晶杆的电机进行驱动控制。
采集图像，将图像输入，模型分析结果：实时获取蓝宝石试温拉结过程的炉内图像、工步名称和采图时间，对实时图像进行自适应对比度增强，获取晶结特征更加明显的增强图像。可以理解的是，每个工步名称对应于相应的模型，试温拉结工步可以是对应于本实施例中生长检测模型，采图时间对应于图像采集的初始时间。利用CS-Yolov5模型对图像组中每一图像进行检测，得到可能含有晶结的目标框。进一步的，模型对实时图像进行检测，可以是检测后得到实时图像划分为多个候选框进行检测，生成达到置信度阈值和IoU阈值的检测结果，置信度阈值和IoU阈值可以基于实际需求进行设置，对于超过阈值部分的部分可以是通过非极大值抑制算法来判断筛选。
判断晶棒是否生长：模型对可能含有晶结的目标框进行晶结检测，并基于晶结检测结果判断图像中是否存在晶棒生长情况。具体的，可以是基于所述目标框，与晶结特征进行对比，判断每一目标框内是否出现晶结，若相似度超过0.5，则直接确定试温拉结阶段存在晶结，晶结厚度达到预设厚度表明存在晶棒生长情况，若晶结厚度未满足预设厚度，则通过晶结厚薄调节温度。
若不存在，则信息反馈工控机，自动调节功率，判定温度变化稳定时间，重新试温拉结。
若存在，则净化籽晶，插入液面15mm，进行拉结，而后结束检测。插入液面可以是通过工控机控制PLC驱动电机进行调节。
本实施例中的试温拉结工步可以是时长两个小时，面阵相机可以是通过相机固定杆设置于长晶炉炉盖的观测窗周围，用于采集所述长晶炉炉内的实时图像。图像采集可以是每20分钟进行一次多张图像的拍摄，并进行检测，通过窗口观测晶体引晶部分并旋转图像。
进一步的，训练集图像为同一时间段同一籽晶部分的成像，为保证训练图像中引晶部分的完整性，引晶部分成像采集次数一般按照相机工作距离、籽晶棒转速和成像清晰的视野面积决定。若清晰视野面积大，则采集次数少；清晰视野面积小，则需要多采集几次。
应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的晶棒生长控制方法的晶棒生长控制装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个晶棒生长控制装置实施例中的具体限定可以参见上文中对于晶棒生长控制方法的限定，在此不再赘述。
在一个实施例中，如图9所示，提供了一种晶棒生长控制装置，包括：获取模块100、检测模块200和处理模块300，其中：
获取模块100，用于获取长晶炉内的实时图像；
检测模块200，用于将所述实时图像输入至预先训练的生长检测模型，得到所述实时图像中目标区域图像，以及晶棒生长检测结果；
处理模块300，用于若所述检测结果为晶棒生长异常，则基于所述目标区域图像重新进行试温拉结；
所述生长检测模型包括依次连接的主干网络、颈部网络和检测网络；
所述主干网络，用于对所述实时图像进行晶结特征的提取，得到第一晶结特征和第二晶结特征，所述第一晶结特征与所述第二晶结特征的尺度不同；
所述颈部网络，用于对所述第一晶结特征和所述第二晶结特征进行融合，得到融合晶结特征；所述颈部网络还包括特征重组上采样模块和通道重组下采样模块，所述特征重组上采样模块用于对所述第一晶结特征进行上采样融合，所述通道重组下采样模块用于对所述第二晶结特征进行下采样融合；
所述检测网络，用于基于所述融合晶结特征，确定目标区域图像晶棒生长检测结果。
在其中一些实施例中，所述检测网络还用于：
基于所述融合晶结特征，确定所述目标区域图像；
基于所述目标区域图像，确定目标区域图像中的晶结厚度；
若所述目标区域图像中的晶结厚度在预设厚度区间内，则晶棒生长检测结果为晶棒生长正常；
若所述目标区域图像中的晶结厚度在所述预设厚度区间外，则晶棒生长检测结果为晶棒生长异常。
在其中一些实施例中，所述处理模块300还用于：
基于所述目标区域图像中的晶结厚度，对所述长晶炉的功率进行调节；
在长晶炉内温度稳定后，重新获取长晶炉内的实时图像，并输入至所述生长检测模型。
在其中一些实施例中，所述处理模块300还用于：
若所述检测结果为晶棒生长正常，则对所述实时图像进行存储，并进行净化籽晶和拉结操作。
在其中一些实施例中，所述特征重组上采样模块包括第一重组单元、第二重组单元以及整理单元，所述主干网络分别通过所述第一重组单元和所述第二重组单元连接至所述整理单元，
所述第一重组单元，用于对所述主干网络输入的第一晶结特征进行像素重组和维度扩张，得到第一重组特征；
所述第二重组单元，用于对所述主干网络输入的第一晶结特征进行填充、切分和维度扩张，得到第二重组特征；
所述整理单元，用于基于所述第一重组特征和所述第二重组特征，进行特征融合、维度扩张和像素重组，得到融合后的所述第一晶结特征。
在其中一些实施例中，所述通道重组下采样模块，还用于：
对所述第二晶结特征进行均分，得到多个第二晶结子特征；
将多个所述第二晶结子特征，在通道维度上进行重组排列，得到融合后的所述第二晶结特征。
在其中一些实施例中，所述晶棒生长控制装置还包括训练模块，用于：
获取采集的训练图像集，所述训练图像集包括多张经过Labelme工具标注目标区域图像的晶棒生长异常图像，和多张晶棒生长正常图像；
基于预设比例对所述训练图像集进行划分，得到训练集、验证集和测试集；所述训练集和验证集包括多张所述晶棒生长异常图像，所述测试集包括多张所述晶棒生长正常图像和所述晶棒生长异常图像；
搭建神经学习网络，并基于所述训练集、验证集和测试集对所述神经学习网络进行训练，得到所述生长检测模型。
上述晶棒生长控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种如图10所示，提供了一种长晶炉系统，包括长晶炉、面阵相机和工控机，所述长晶炉的炉盖1设置有观测窗3，所述面阵相机通过相机固定杆4设置于所述观测窗周围，用于采集所述长晶炉炉内的实时图像，并将所述实时图像发送至工控机；所述工控机用于实现上述任一实施例的晶棒生长控制方法：
获取长晶炉内的实时图像；
将所述实时图像输入至预先训练的生长检测模型，得到所述实时图像中目标区域图像，以及晶棒生长检测结果；
若所述检测结果为晶棒生长异常，则基于所述目标区域图像重新进行试温拉结；
所述生长检测模型包括依次连接的主干网络、颈部网络和检测网络；
所述主干网络，用于对所述实时图像进行晶结特征的提取，得到第一晶结特征和第二晶结特征，所述第一晶结特征与所述第二晶结特征的尺度不同；
所述颈部网络，用于对所述第一晶结特征和所述第二晶结特征进行融合，得到融合晶结特征；所述颈部网络还包括特征重组上采样模块和通道重组下采样模块，所述特征重组上采样模块用于对所述第一晶结特征进行上采样融合，所述通道重组下采样模块用于对所述第二晶结特征进行下采样融合；
所述检测网络，用于基于所述融合晶结特征，确定目标区域图像晶棒生长检测结果。
进一步的，观测窗3是设置于籽晶杆口2的周围，籽晶杆口2位于炉盖1的中央。相机固定杆4还包括相连接的可拆卸杆5和相机夹具6，面阵相机在被相机夹具6夹取后固定而朝向观测窗3进行图像采集。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种晶棒生长控制方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述任一实施例的晶棒生长控制方法：
获取长晶炉内的实时图像；
将所述实时图像输入至预先训练的生长检测模型，得到所述实时图像中目标区域图像，以及晶棒生长检测结果；
若所述检测结果为晶棒生长异常，则基于所述目标区域图像重新进行试温拉结；
所述生长检测模型包括依次连接的主干网络、颈部网络和检测网络；
所述主干网络，用于对所述实时图像进行晶结特征的提取，得到第一晶结特征和第二晶结特征，所述第一晶结特征与所述第二晶结特征的尺度不同；
所述颈部网络，用于对所述第一晶结特征和所述第二晶结特征进行融合，得到融合晶结特征；所述颈部网络还包括特征重组上采样模块和通道重组下采样模块，所述特征重组上采样模块用于对所述第一晶结特征进行上采样融合，所述通道重组下采样模块用于对所述第二晶结特征进行下采样融合；
所述检测网络，用于基于所述融合晶结特征，确定目标区域图像晶棒生长检测结果。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例的晶棒生长控制方法：
获取长晶炉内的实时图像；
将所述实时图像输入至预先训练的生长检测模型，得到所述实时图像中目标区域图像，以及晶棒生长检测结果；
若所述检测结果为晶棒生长异常，则基于所述目标区域图像重新进行试温拉结；
所述生长检测模型包括依次连接的主干网络、颈部网络和检测网络；
所述主干网络，用于对所述实时图像进行晶结特征的提取，得到第一晶结特征和第二晶结特征，所述第一晶结特征与所述第二晶结特征的尺度不同；
所述颈部网络，用于对所述第一晶结特征和所述第二晶结特征进行融合，得到融合晶结特征；所述颈部网络还包括特征重组上采样模块和通道重组下采样模块，所述特征重组上采样模块用于对所述第一晶结特征进行上采样融合，所述通道重组下采样模块用于对所述第二晶结特征进行下采样融合；
所述检测网络，用于基于所述融合晶结特征，确定目标区域图像晶棒生长检测结果。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (8)
1.一种晶棒生长控制方法，其特征在于，所述晶棒生长控制方法包括：
获取长晶炉内的实时图像；
将所述实时图像输入至预先训练的生长检测模型，得到所述实时图像中目标区域图像，以及晶棒生长检测结果；
若所述检测结果为晶棒生长异常，则基于所述目标区域图像重新进行试温拉结；
所述生长检测模型包括依次连接的主干网络、颈部网络和检测网络；
所述主干网络，用于对所述实时图像进行晶结特征的提取，得到第一晶结特征和第二晶结特征，所述第一晶结特征与所述第二晶结特征的尺度不同；
所述颈部网络，用于对所述第一晶结特征和所述第二晶结特征进行融合，得到融合晶结特征；所述颈部网络还包括特征重组上采样模块和通道重组下采样模块，所述特征重组上采样模块用于对所述第一晶结特征进行上采样融合，所述通道重组下采样模块用于对所述第二晶结特征进行下采样融合；所述特征重组上采样模块包括第一重组单元、第二重组单元以及整理单元，所述主干网络分别通过所述第一重组单元和所述第二重组单元连接至所述整理单元，所述第一重组单元，用于对所述主干网络输入的第一晶结特征进行像素重组和维度扩张，得到第一重组特征；所述第二重组单元，用于对所述主干网络输入的第一晶结特征进行填充、切分和维度扩张，得到第二重组特征；所述整理单元，用于基于所述第一重组特征和所述第二重组特征，进行特征融合、维度扩张和像素重组，得到融合后的所述第一晶结特征；所述通道重组下采样模块还用于：对所述第二晶结特征进行均分，得到多个第二晶结子特征；将多个所述第二晶结子特征，在通道维度上进行重组排列，得到融合后的所述第二晶结特征；
所述检测网络，用于基于所述融合晶结特征，确定目标区域图像晶棒生长检测结果。
2.根据权利要求1所述的晶棒生长控制方法，其特征在于，所述检测网络还用于：
根据所述融合晶结特征，确定所述目标区域图像；
根据所述目标区域图像，确定目标区域图像中的晶结厚度；
若所述目标区域图像中的晶结厚度在预设厚度区间内，则晶棒生长检测结果为晶棒生长正常；
若所述目标区域图像中的晶结厚度在所述预设厚度区间外，则晶棒生长检测结果为晶棒生长异常。
3.根据权利要求2所述的晶棒生长控制方法，其特征在于，所述基于所述目标区域图像重新进行试温拉结包括：
基于所述目标区域图像中的晶结厚度，对所述长晶炉的功率进行调节；
在长晶炉内温度稳定后，重新获取长晶炉内的实时图像，并输入至所述生长检测模型。
4.根据权利要求1所述的晶棒生长控制方法，其特征在于，所述将所述实时图像输入至预先训练的生长检测模型，得到所述实时图像中目标区域图像，以及晶棒生长检测结果之后还包括：
若所述检测结果为晶棒生长正常，则对所述实时图像进行存储，并进行净化籽晶和拉结操作。
5.根据权利要求1所述的晶棒生长控制方法，其特征在于，所述将所述实时图像输入至预先训练的生长检测模型之前包括：
获取采集的训练图像集，所述训练图像集包括多张经过Labelme工具标注目标区域图像的晶棒生长正常图像，和多张晶棒生长异常图像；
基于预设比例对所述训练图像集进行划分，得到训练集、验证集和测试集；所述训练集和验证集包括多张所述晶棒生长正常图像，所述测试集包括多张所述晶棒生长正常图像和所述晶棒生长异常图像；
搭建神经学习网络，并基于所述训练集、验证集和测试集对所述神经学习网络进行训练，得到所述生长检测模型。
6.一种晶棒生长控制装置，其特征在于，所述装置包括：
获取模块，用于获取长晶炉内的实时图像；
检测模块，用于将所述实时图像输入至预先训练的生长检测模型，得到所述实时图像中目标区域图像，以及晶棒生长检测结果；
处理模块，用于若所述检测结果为晶棒生长异常，则基于所述目标区域图像重新进行试温拉结；
所述生长检测模型包括依次连接的主干网络、颈部网络和检测网络；
所述主干网络，用于对所述实时图像进行晶结特征的提取，得到第一晶结特征和第二晶结特征，所述第一晶结特征与所述第二晶结特征的尺度不同；
所述颈部网络，用于对所述第一晶结特征和所述第二晶结特征进行融合，得到融合晶结特征；所述颈部网络还包括特征重组上采样模块和通道重组下采样模块，所述特征重组上采样模块用于对所述第一晶结特征进行上采样融合，所述通道重组下采样模块用于对所述第二晶结特征进行下采样融合；所述特征重组上采样模块包括第一重组单元、第二重组单元以及整理单元，所述主干网络分别通过所述第一重组单元和所述第二重组单元连接至所述整理单元，所述第一重组单元，用于对所述主干网络输入的第一晶结特征进行像素重组和维度扩张，得到第一重组特征；所述第二重组单元，用于对所述主干网络输入的第一晶结特征进行填充、切分和维度扩张，得到第二重组特征；所述整理单元，用于基于所述第一重组特征和所述第二重组特征，进行特征融合、维度扩张和像素重组，得到融合后的所述第一晶结特征；所述通道重组下采样模块还用于：对所述第二晶结特征进行均分，得到多个第二晶结子特征；将多个所述第二晶结子特征，在通道维度上进行重组排列，得到融合后的所述第二晶结特征；
所述检测网络，用于基于所述融合晶结特征，确定目标区域图像晶棒生长检测结果。
7.一种长晶炉系统，其特征在于，包括长晶炉、面阵相机和工控机，所述长晶炉的炉盖设置有观测窗，所述面阵相机通过相机固定杆设置于所述观测窗周围，用于采集所述长晶炉炉内的实时图像，并将所述实时图像发送至工控机；所述工控机用于实现如权利要求1至权利要求5中任一项所述的方法的步骤。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至权利要求5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311815300.0A CN117468084B (zh) | 2023-12-27 | 2023-12-27 | 晶棒生长控制方法、装置、长晶炉系统和计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311815300.0A CN117468084B (zh) | 2023-12-27 | 2023-12-27 | 晶棒生长控制方法、装置、长晶炉系统和计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117468084A CN117468084A (zh) | 2024-01-30 |
| CN117468084B true CN117468084B (zh) | 2024-05-28 |
Family
ID=89638252
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311815300.0A Active CN117468084B (zh) | 2023-12-27 | 2023-12-27 | 晶棒生长控制方法、装置、长晶炉系统和计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117468084B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003036697A2 (en) * | 2001-10-22 | 2003-05-01 | Yale University | Methods of hyperdoping semiconductor materials and hyperdoped semiconductor materials and devices |
| CN107653489A (zh) * | 2017-09-15 | 2018-02-02 | 福建晶安光电有限公司 | 一种晶体的生长方法 |
| CN110220912A (zh) * | 2019-05-28 | 2019-09-10 | 太原理工大学 | 一种基于深度学习的蓝宝石生长缺陷视觉检测方法 |
| CN112513344A (zh) * | 2019-08-21 | 2021-03-16 | 眉山博雅新材料有限公司 | 上提拉开放式单晶炉 |
| CN114926794A (zh) * | 2022-06-20 | 2022-08-19 | 重庆邮电大学 | 一种高效的轻量化sar船舶目标检测方法 |
| CN115359064A (zh) * | 2022-10-24 | 2022-11-18 | 江苏智云天工科技有限公司 | 工业缺陷检测方法和装置 |
| CN115496951A (zh) * | 2022-10-09 | 2022-12-20 | 淮阴工学院 | 一种基于改进YOLOv5s的安全设备检测方法 |
| CN115588126A (zh) * | 2022-09-29 | 2023-01-10 | 长三角信息智能创新研究院 | 一种融合GAM、CARAFE和SnIoU的车辆目标检测方法 |
| CN115861870A (zh) * | 2022-11-03 | 2023-03-28 | 成都国佳电气工程有限公司 | 一种受电弓与接触网燃弧视觉检测方法 |
| CN116052082A (zh) * | 2023-02-01 | 2023-05-02 | 江苏方天电力技术有限公司 | 一种基于深度学习算法的配电站房异常检测方法及装置 |
| CN116580305A (zh) * | 2023-05-15 | 2023-08-11 | 中国石油大学(华东) | 一种基于深度学习的茶芽检测方法及其模型搭建方法 |
| CN116645328A (zh) * | 2023-04-25 | 2023-08-25 | 浙江理工大学 | 一种高精度轴承套圈表面缺陷智能检测方法 |
| CN117218102A (zh) * | 2023-09-27 | 2023-12-12 | 佛山科学技术学院 | 一种基于改进YOLOv5的绝缘子缺陷检测方法及其系统 |
| CN117253154A (zh) * | 2023-11-01 | 2023-12-19 | 华南农业大学 | 一种基于深度学习的集装箱弱小序列号目标检测识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111260586B (zh) * | 2020-01-20 | 2023-07-04 | 北京百度网讯科技有限公司 | 扭曲文档图像的矫正方法和装置 |
-
2023
- 2023-12-27 CN CN202311815300.0A patent/CN117468084B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003036697A2 (en) * | 2001-10-22 | 2003-05-01 | Yale University | Methods of hyperdoping semiconductor materials and hyperdoped semiconductor materials and devices |
| CN107653489A (zh) * | 2017-09-15 | 2018-02-02 | 福建晶安光电有限公司 | 一种晶体的生长方法 |
| CN110220912A (zh) * | 2019-05-28 | 2019-09-10 | 太原理工大学 | 一种基于深度学习的蓝宝石生长缺陷视觉检测方法 |
| CN112513344A (zh) * | 2019-08-21 | 2021-03-16 | 眉山博雅新材料有限公司 | 上提拉开放式单晶炉 |
| CN114926794A (zh) * | 2022-06-20 | 2022-08-19 | 重庆邮电大学 | 一种高效的轻量化sar船舶目标检测方法 |
| CN115588126A (zh) * | 2022-09-29 | 2023-01-10 | 长三角信息智能创新研究院 | 一种融合GAM、CARAFE和SnIoU的车辆目标检测方法 |
| CN115496951A (zh) * | 2022-10-09 | 2022-12-20 | 淮阴工学院 | 一种基于改进YOLOv5s的安全设备检测方法 |
| CN115359064A (zh) * | 2022-10-24 | 2022-11-18 | 江苏智云天工科技有限公司 | 工业缺陷检测方法和装置 |
| CN115861870A (zh) * | 2022-11-03 | 2023-03-28 | 成都国佳电气工程有限公司 | 一种受电弓与接触网燃弧视觉检测方法 |
| CN116052082A (zh) * | 2023-02-01 | 2023-05-02 | 江苏方天电力技术有限公司 | 一种基于深度学习算法的配电站房异常检测方法及装置 |
| CN116645328A (zh) * | 2023-04-25 | 2023-08-25 | 浙江理工大学 | 一种高精度轴承套圈表面缺陷智能检测方法 |
| CN116580305A (zh) * | 2023-05-15 | 2023-08-11 | 中国石油大学(华东) | 一种基于深度学习的茶芽检测方法及其模型搭建方法 |
| CN117218102A (zh) * | 2023-09-27 | 2023-12-12 | 佛山科学技术学院 | 一种基于改进YOLOv5的绝缘子缺陷检测方法及其系统 |
| CN117253154A (zh) * | 2023-11-01 | 2023-12-19 | 华南农业大学 | 一种基于深度学习的集装箱弱小序列号目标检测识别方法 |
Non-Patent Citations (5)
| Title |
|---|
| Chen, GY (Chen, Guangyao) [1] * |
| Ma, L (Ma, Li) [1] , [3] ; Li, J (Li, Jia) [2] , [3] ; Du, L (Du, Lin) [4] ; Tian, YH (Tian, Yonghong) [1] , [3].Amplitude-Phase Recombination: Rethinking Robustness of Convolutional Neural Networks in Frequency Domain.IEEE.2022,448-457. * |
| Peng, PX (Peng, Peixi) [1] , [3] * |
| 基于GAN-PSO-ELM的网络入侵检测方法;杨彦荣;宋荣杰;周兆永;;计算机工程与应用;20201231(12);66-72 * |
| 改进的YOLOv3红外图像行人检测算法;史健婷;张贵强;;黑龙江科技大学学报;20200730(第04期);442-447 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117468084A (zh) | 2024-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110059694B (zh) | 电力行业复杂场景下的文字数据的智能识别方法 | |
| CN117468085B (zh) | 晶棒生长控制方法、装置、长晶炉系统和计算机设备 | |
| KR102229594B1 (ko) | 디스플레이 스크린 품질 검출 방법, 장치, 전자기기 및 저장매체 | |
| CN111126453B (zh) | 基于注意力机制和切割填充的细粒度图像分类方法及系统 | |
| CN110879982B (zh) | 一种人群计数系统及方法 | |
| US7660486B2 (en) | Method and apparatus of removing opaque area as rescaling an image | |
| US11244426B2 (en) | Method for image super resolution imitating optical zoom implemented on a resource-constrained mobile device, and a mobile device implementing the same | |
| CN113673529B (zh) | 语义分割模型训练方法、硅熔融状态检测方法及电子设备 | |
| CN116071362B (zh) | 拉晶断苞检测方法、装置、计算机设备和存储介质 | |
| EP2675150B1 (en) | Apparatus and method for providing image | |
| CN115546284A (zh) | 晶炉双目三维测量补偿方法、装置、计算机设备和存储介质 | |
| CN116485885A (zh) | 基于深度学习去除视觉slam前端动态特征点的方法 | |
| CN117468084B (zh) | 晶棒生长控制方法、装置、长晶炉系统和计算机设备 | |
| CN116433634A (zh) | 一种基于域自适应的工业图像异常检测方法 | |
| CN117636314A (zh) | 一种缺苗识别方法、装置、设备及介质 | |
| CN116434066B (zh) | 基于深度学习的大豆豆荚考种方法、系统及装置 | |
| JP2021089493A (ja) | 情報処理装置およびその学習方法 | |
| CN116187525A (zh) | 结合气象的西北地区农作物产量遥感预测方法及装置 | |
| CN116524296A (zh) | 设备缺陷检测模型的训练方法、装置和设备缺陷检测方法 | |
| CN108182492B (zh) | 一种资料同化方法及装置 | |
| CN114283081B (zh) | 基于金字塔加速的深度恢复方法、电子设备及存储介质 | |
| CN117468083B (zh) | 降籽晶过程的控制方法、装置、长晶炉系统和计算机设备 | |
| CN113029014B (zh) | 一种单晶硅棒直径的检测方法及检测装置 | |
| CN113570565A (zh) | 一种车辆外观缺陷检测方法、装置和存储介质 | |
| CN113449127A (zh) | 测温文件生成方法、显示方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |