CN113673529A - 语义分割模型训练方法、硅熔融状态检测方法及电子设备 - Google Patents

语义分割模型训练方法、硅熔融状态检测方法及电子设备 Download PDF

Info

Publication number
CN113673529A
CN113673529A CN202110945717.3A CN202110945717A CN113673529A CN 113673529 A CN113673529 A CN 113673529A CN 202110945717 A CN202110945717 A CN 202110945717A CN 113673529 A CN113673529 A CN 113673529A
Authority
CN
China
Prior art keywords
module
molten state
semantic segmentation
self
state image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110945717.3A
Other languages
English (en)
Other versions
CN113673529B (zh
Inventor
邢治国
张靖
逯占文
文皓
徐永胜
刘勇
陈一凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Linton Kayex Technology Co Ltd
Original Assignee
Linton Kayex Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Linton Kayex Technology Co Ltd filed Critical Linton Kayex Technology Co Ltd
Priority to CN202110945717.3A priority Critical patent/CN113673529B/zh
Publication of CN113673529A publication Critical patent/CN113673529A/zh
Application granted granted Critical
Publication of CN113673529B publication Critical patent/CN113673529B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/047Probabilistic or stochastic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种语义分割模型训练方法、硅熔融状态检测方法及电子设备,训练方法包括:获取至少一种硅原料的多张熔融状态图像;对每张所述熔融状态图像中所述硅原料的熔融状态进行标注,获得标注结果,根据各张所述熔融状态图像和对应的所述标注结果生成数据集;建立基于神经网络的待训练模型,采用所述数据集训练所述待训练模型,获得用于检测硅熔融状态的语义分割模型,所述语义分割模型用于根据所述熔融状态图像输出所述熔融状态图像中各个像素点的类别概率组成的概率图。本发明通过训练语义分割模型,用于检测硅原料的熔融状态,能够减少工作人员的工作量,提高了自动化程度。

Description

语义分割模型训练方法、硅熔融状态检测方法及电子设备
技术领域
本发明涉及硅晶体生产技术领域,具体而言,涉及一种语义分割模型训练方法、硅熔融状态检测方法及电子设备。
背景技术
单晶硅是生产半导体材料和太阳能电池等的重要原材料,随着国内和国际市场对半导体材料和太阳能电池等需求量的快速增加,单晶硅的市场需求也呈现出快速增长的趋势。单晶硅按晶体生长方法的不同,可分为直拉法单晶硅、区熔法单晶硅和外延法单晶硅。由于成本低和性能可靠的原因,直拉法单晶硅材料被广泛应用。
直拉法(即切克劳斯基法)的基本原理和基本过程如下:
引晶:通过电阻加热,将装在熔融炉中的多晶硅等硅原料熔化,并保持略高于硅熔点的温度,将籽晶浸入熔体,然后以一定速度向上提拉籽晶并同时旋转引出晶体;
缩颈:生长一定长度的缩小的细长颈的晶体,以防止籽晶中的位错延伸到晶体中;
放肩:将晶体控制到所需直径;
等径生长:根据熔体和熔融炉情况,控制晶体等径生长到所需长度;
收尾:晶体直径逐渐缩小,离开熔体;
降温:降级温度,取出晶体,待后续加工。
由于硅的熔点较高,引晶步骤中为了使硅晶体熔融需要消耗大量能源,若熔融炉内硅晶体全部熔融后,未及时加料,会造成能源的大量浪费。为了节省能源,目前常需要操作员通过摄像头监测熔融炉内硅晶体的熔融状况,以此判断是否需要向熔融炉内加料,但是这种方法消耗了大量人力,增加了工作人员的工作量,自动化程度低。
发明内容
本发明解决的问题是如何降低工作人员的工作量,提高硅熔融状态检测的自动化程度。
为解决上述问题,本发明提供一种语义分割模型训练方法、硅熔融状态检测方法及电子设备。
第一方面,本发明提供了一种语义分割模型训练方法,包括:
获取至少一种硅原料的多张熔融状态图像;
对每张所述熔融状态图像中所述硅原料的熔融状态进行标注,获得标注结果,根据各张所述熔融状态图像和对应的所述标注结果生成数据集;
建立基于神经网络的待训练模型,采用所述数据集训练所述待训练模型,获得语义分割模型,所述语义分割模型用于根据所述熔融状态图像输出所述熔融状态图像中各个像素点的类别概率组成的概率图,所述概率图适于确定所述熔融状态图像中的固体占比,并根据所述固体占比确定所述硅原料的熔融状态。
可选地,所述获取至少一种硅原料的多张熔融状态图像包括:
获取至少一种所述硅原料的熔融视频;
在各个所述熔融视频中分别提取多张视频帧,获得多张所述熔融状态图像。
可选地,所述根据各张所述熔融状态图像和对应的标注结果生成数据集包括:
将所述熔融状态图像转换为RGB三通道的三维数字矩阵,获得数字图像;
选择标定数量的所述数字图像进行预处理,获得预处理后的图像,其中,所述预处理包括随机翻转、随机旋转、随机尺寸缩放和随机对比度变化中的至少一种;
对所述预处理后的图像进行归一化处理,获得归一化后的图像;
根据所述归一化后的图像与对应的所述标注结果组成数据集。
可选地,所述采用所述数据集训练所述待训练模型包括:
将所述归一化后的图像输入所述待训练模型,输出所述熔融状态图像中各个像素点的类别概率组成的概率图,所述类别概率包括所述像素点分别为固体、液体或背景的概率;
根据所述概率图确定所述熔融状态图像中各个所述像素点的状态类别,所述状态类别包括固体、液体和背景;
根据各个所述像素点的状态类别确定预测熔融状态;
根据所述预测熔融状态和对应的所述标注结果优化所述待训练模型,获得所述语义分割模型。
可选地,所述概率图包括各个所述像素点的三通道概率,其中,对于任一所述像素点,所述三通道概率包括所述像素点为背景的概率、所述像素点为液体的概率和所述像素点为固体的概率;
所述根据所述概率图确定所述熔融状态图像中各个所述像素点的状态类别包括:
对于任一所述像素点,根据所述像素点的所述三通道概率采用第二公式确定所述像素点的所述状态类别,所述第二公式包括:
sij=argmaxk∈[1,3]{pi,j,k},
其中,sij表示所述熔融状态图像中第i行第j列的所述像素点的所述状态类别,pi,j,k表示所述熔融状态图像中第i行第j列的所述像素点属于第k个通道的类别的概率。
可选地,所述根据各个所述像素点的状态类别确定预测熔融状态包括:
确定所述熔融状态图像中所述状态类别为液体的所述像素点的第一数量和所述状态类别为固体的所述像素点的第二数量;
根据所述第一数量和所述第二数量确定所述熔融状态图像中的固体占比;
根据所述固体占比确定所述熔融状态图像对应的所述预测熔融状态。
可选地,所述待训练模型包括特征提取模块、特征自注意力模块、特征融合模块和上采样分类模块;
所述特征提取模块包括依次连接的第一Sandglass Block模块、第二SandglassBlock模块、第三Sandglass Block模块和第四Sandglass Block模块;
所述特征自注意力模块包括第一自注意力模块、第二自注意力模块、第三自注意力模块、第四自注意力模块和第五自注意力模块,所述第一自注意力模块的输入端连接至所述第四Sandglass Block模块的输出端,所述第一自注意力模块的输出端通过所述第二自注意力模块连接至所述特征融合模块的第一输入端,所述第三自注意力模块的输入端连接至所述第三Sandglass Block模块的输出端,所述第三自注意力模块的输出端通过所述第四自注意力模块连接至所述特征融合模块的第二输入端,所述特征融合模块的输出端连接至所述上采样分类模块的第一输入端,所述第五自注意力模块的输入端连接至所述第二Sandglass Block模块的输出端,所述第五自注意力模块的输出端连接至所述上采样分类模块的第二输出端,所述上采样分类模块的输出端用于输出所述概率图。
第二方面,本发明提供了一种硅熔融状态检测方法,包括:
获取硅原料的当前熔融状态图像;
对所述当前熔融状态图像进行数字转换和归一化处理,获得归一化后的图像;
将所述归一化后的图像输入训练好的语义分割模型中,确定所述当前熔融状态图像对应的概率图,根据所述概率图确定所述当前熔融状态图像对应的固体占比;
根据所述固体占比确定所述硅原料的当前熔融状态,其中,所述训练好的语义分割模型采用如上所述的语义分割模型训练方法训练得到。
可选地,当连续N张所述当前熔融状态图像对应的所述固体占比均小于或等于预设阈值时,确定所述硅原料全部熔化,输出硅原料全部熔化信号,N大于或等于2。
第三方面,本发明提供了一种电子设备,包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于当执行所述计算机程序时,实现如上所述的语义分割模型训练方法,或如上所述的硅熔融状态检测方法。
本发明的语义分割模型训练方法、硅熔融状态检测方法和电子设备的有益效果是:采用至少一种硅原料的多张熔融状态图像作为训练数据,提高训练数据的完备性,能够提高训练得到的语义分割模型的鲁棒性。对每张熔融状态图像中硅原料的熔融状态进行标注,获得标注结果,标注结果为与训练数据对应的标签,根据训练数据和对应的标签生成数据集。采用数据集训练基于神经网络的待训练模型,就可得到训练好的语义分割模型,语义分割模型可用于识别熔融炉内硅原料的熔融状态。本发明的技术方案中,通过硅原料的熔融状态图像训练得到语义分割模型,用于自动化识别熔融炉中硅原料的熔融状态,提高了硅熔融状态检测的自动化程度,降低了工作人员的工作量。
附图说明
图1为本发明实施例的一种语义分割模型训练方法的流程示意图;
图2为本发明实施例的一种预处理过程示意图;
图3为本发明实施例的一种基于神经网络的待训练模型的结构示意图;
图4为本发明另一实施例的一种硅熔融状态检测方法的流程示意图;
图5为本发明又一实施例的一种语义分割模型训练装置的结构示意图;
图6为本发明又一实施例的一种硅熔融状态检测装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂,下面结合附图对本发明的具体实施例做详细的说明。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
如图1所示,本发明实施例提供的一种语义分割模型训练方法,包括:
步骤S110,获取至少一种硅原料的多张熔融状态图像。
可选地,所述获取至少一种硅原料的多张熔融状态图像包括:
获取至少一种所述硅原料的熔融视频;
在各个所述熔融视频中分别提取多张视频帧,获得多张所述熔融状态图像。
具体地,硅原料可包括多晶硅等硅晶体,可获取M个不同的熔融炉中摄像头拍摄的硅原料的熔融视频,视频长度可分别为L1,L2,…,LM,可按照一定的采集频率从熔融视频中提取图像,从每个熔融视频中分别提取至少一张图像,M大于或等于1,对于每个熔融视频,可每间隔标定时长提取一张视频帧。熔融视频为计算机视觉处理技术中图像处理的对象,每张所述熔融状态图像包括两部分,一部分包括硅原料所在的目标区域,另一部分包括目标区域以外的区域,可称为背景区域。提取熔融状态图像时可尽可能使目标区域所占比例更大,减少背景区域所占比例。
步骤S120,对每张所述熔融状态图像中所述硅原料的熔融状态进行标注,获得标注结果,根据各张所述熔融状态图像和对应的所述标注结果生成数据集。
具体地,对每张熔融状态图像中硅原料的熔融状态进行标注,根据熔融状态的标注结果可包括完全熔化、快要熔化完、部分熔化和未熔化等,数据集中熔融状态图像和标注结果一一对应。
可选地,所述根据各张所述熔融状态图像和对应的标注结果生成数据集包括:
将所述熔融状态图像转换为RGB三通道的三维数字矩阵,获得数字图像;
选择标定数量的所述数字图像进行预处理,获得预处理后的图像,其中,所述预处理包括随机翻转、随机旋转、随机尺寸缩放和随机对比度变化中的至少一种;
对所述预处理后的图像进行归一化处理,获得归一化后的图像;
根据所述归一化后的图像与对应的所述标注结果生成数据集。
具体地,先将各张熔融状态图像转换为RGB三通道的三维数字矩阵,三维数字矩阵的大小为n×m×3,其中,n和m分别为熔融状态图像的像素点阵列的长和宽。然后随机选择一定数量的熔融状态图像进行预处理,例如可选择数量为P1的熔融状态图像进行随机翻转,可选择数量为P2的熔融状态图像进行随机旋转,可旋转数量为P3的熔融状态图像进行随机尺度缩放,可选择数量为P4的熔融状态图像进行随机对比度变化。
如图2所示,以对一张熔融状态图像预处理为例,图2中对熔融状态图像依次进行随机旋转、随机翻转、随机尺度缩放和随机比例变化的预处理,然后对预处理后的图像进行归一化处理。
可采用第一公式对各张预处理后的图像进行归一化处理,所述第一公式包括:
Figure BDA0003212431810000071
其中,
Figure BDA0003212431810000072
表示熔融状态图像中第i行,第j列的像素点的第k个通道归一化之后的像素值大小,xijk表示熔融状态图像中第i行,第j列的像素点的第k个通道的原始像素值大小,其中i的范围在[1,n]之间,j的大小在[1,m],k的大小在[1,3]之间,均为正整数。
本可选的实施例中,通过对熔融状态图像进行随机翻转、随机旋转、随机尺寸缩放和随机对比度变化等预处理,能够获得更丰富的数据集,能够提高训练得到的语义分割模型的鲁棒性和识别准确率,对预处理后的图像中的每个像素值进行归一化,能够加快网络收敛,提高模型训练速度。
步骤S130,建立基于神经网络的待训练模型,采用所述数据集训练所述待训练模型,获得语义分割模型,所述语义分割模型用于根据所述熔融状态图像输出所述熔融状态图像中各个像素点的类别概率组成的概率图,所述概率图适于确定所述熔融状态图像中的固体占比,并根据所述固体占比确定所述硅原料的熔融状态。
本实施例中,采用至少一种硅原料的多张熔融状态图像作为训练数据,提高训练数据的完备性,能够提高训练得到的语义分割模型的鲁棒性。对每张熔融状态图像中硅原料的熔融状态进行标注,获得标注结果,标注结果为与训练数据对应的标签,根据训练数据和对应的标签生成数据集。采用数据集训练基于神经网络的待训练模型,就可得到训练好的语义分割模型,语义分割模型可用于识别熔融炉内硅原料的熔融状态。本发明的技术方案中,通过硅原料的熔融状态图像训练得到语义分割模型,用于自动化识别熔融炉中硅原料的熔融状态,提高了硅熔融状态检测的自动化程度,降低了工作人员的工作量。
可选地,所述采用所述数据集训练所述待训练模型包括:
将所述数据集划分为训练集和测试集;
采用所述训练集训练所述待训练模型,获得所述语义分割模型;
并采用所述测试集测试所述语义分割模型。
可选地,所述采用所述数据集训练所述待训练模型包括:
将所述归一化后的图像输入所述待训练模型,输出所述熔融状态图像中各个像素点的类别概率组成的概率图,所述类别概率包括所述像素点分别为固体、液体或背景的概率;
根据所述概率图确定所述熔融状态图像中各个所述像素点的状态类别;
根据各个所述像素点的状态类别确定预测熔融状态;
根据所述预测熔融状态和对应的所述标注结果优化所述待训练模型,获得所述语义分割模型。
具体地,待训练模型的输出为一个三通道的概率图,一个通道的概率图包括熔融状态图像中各个像素点分别为背景的概率,一个通道的概率图包括熔融状态图像中各个像素点分别为固体的概率,一个通道的概率图包括熔融状态图像中各个像素点分别为液体的概率,即每个像素点分别对应有一个该像素点为背景的概率,该像素点为固体的概率和该像素点为液体的概率。
本可选的实施例中,将归一化后的图像输入待训练模型,输出概率图,根据概率图进行处理,预测熔融状态图像对应的硅原料的预测熔融状态,结合预测熔融状态和标注结果中标注的实际熔融状态优化待训练模型直至收敛,例如对预测熔融状态和标注结果做交叉熵损失,根据损失优化待训练模型直至梯度不再下降,得到语义分割模型。训练好的语义分割模型用于预测硅原料的熔融状态,结果可靠准确,能够省去人工判断过程,降低成本,提高了自动化程度。
可选地,所述概率图包括各个所述像素点的三通道概率,其中,对于任一所述像素点,所述三通道概率包括所述像素点为背景的概率、所述像素点为液体的概率和所述像素点为固体的概率;
所述根据所述概率图确定所述熔融状态图像中各个所述像素点的状态类别包括:
对于任一所述像素点,根据所述像素点的所述三通道概率采用第二公式确定所述像素点的所述状态类别,所述第二公式包括:
sij=argmaxk∈[1,3]{pi,j,k},
其中,sij表示所述熔融状态图像中第i行第j列的所述像素点的所述状态类别,pi,j,k表示所述熔融状态图像中第i行第j列的所述像素点属于第k个通道的类别的概率。
具体地,pi,j,k的大小在0-1之间。其中,其值越接近于1,表示这个像素属于对应通道的类别的概率越大。并且,对于同一个像素点,其分别属于固体、液体、背景三个类别的概率值之和为1。
本可选的实施例中,根据像素点的三通道概率采用argmax函数计算该像素点的状态类别,可寻找最大概率值的类别为该像素点的状态类别,能够实现自动化识别熔融状态图像中各个像素点对应的状态类别。
可选地,所述根据各个所述像素点的状态类别确定预测熔融状态包括:
确定所述熔融状态图像中所述状态类别为液体的所述像素点的第一数量和所述状态类别为固体的所述像素点的第二数量;
根据所述第一数量和所述第二数量确定所述熔融状态图像中的固体占比;
根据所述固体占比确定所述熔融状态图像对应的所述预测熔融状态。
具体地,假设状态类别为液体的像素点的第一数量为l,状态类别为固体的像素点的第二数量为s,则根据第三公式计算熔融状态图像中的固体占比,所述第三公式包括:
Figure BDA0003212431810000101
其中,p为熔融状态图像中的固体占比。
将固体占比和预设阈值进行对比,固体占比小于或等于预设阈值时,认定熔融状态图像对应的硅熔融状态为硅完全熔化或快要熔化完,当固体占比大于预设阈值时,认定熔融状态图像对应的硅熔融状态为硅未熔化或硅部分熔化。
本可选的实施例中,通过计算熔融状态图像中的固体占比,进而就可以迅速判断出对应时刻熔融炉中的硅原料是否完全熔化或快要熔化完,便于提醒工作人员及时补料,或直接控制自动加料设备进行补料,避免造成熔融炉中出现加工空档,造成能源浪费。相较于人工监测硅熔融状态,减少了工作人员的工作量,提高了自动化程度。
可选地,如图3所示,所述待训练模型包括特征提取模块、特征自注意力模块、特征融合模块和上采样分类模块;
所述特征提取模块包括依次连接的第一Sandglass Block模块、第二SandglassBlock模块、第三Sandglass Block模块和第四Sandglass Block模块;
所述特征自注意力模块包括第一自注意力模块、第二自注意力模块、第三自注意力模块、第四自注意力模块和第五自注意力模块,所述第一自注意力模块的输入端连接至所述第四Sandglass Block模块的输出端,所述第一自注意力模块的输出端通过所述第二自注意力模块连接至所述特征融合模块的第一输入端,所述第三自注意力模块的输入端连接至所述第三Sandglass Block模块的输出端,所述第三自注意力模块的输出端通过所述第四自注意力模块连接至所述特征融合模块的第二输入端,所述特征融合模块的输出端连接至所述上采样分类模块的第一输入端,所述第五自注意力模块的输入端连接至所述第二Sandglass Block模块的输出端,所述第五自注意力模块的输出端连接至所述上采样分类模块的第二输出端,所述上采样分类模块的输出端用于输出所述概率图。
具体地,待训练模型可采用MobileNeXt,U-Net,BiSeNetV1,BiSeNetV2等用于语义分割的神经网络,本实施例中一MobileNeXt神经网络为例,Sandglass Block模块可采用MobileNeXt申请网络中的各层Sandglass Block模块,四个Sandglass Block模块用于进行特征提取。
第一自注意力模块包括Q1,K1,V3三个特征矩阵,其中,矩阵V3为通过之前第四Sandglass Block模块输出的特征图。矩阵Q1等于W1×V3,其中W1为一个权重矩阵。矩阵K1等于W2×V3,W2也为一个权重矩阵,第一自注意力模块最终输出为Q1×K1×V3
第二自注意力模块包括依次连接的一个卷积层、两个全连接层和一个Softmax层,用于将第四Sandglass Block模块输出的原特征图与第一自注意力模块的输出相乘得到第一新特征图。
第三自注意力模块包括Q2,K2,V2三个特征矩阵,其中,矩阵V1为通过之前第三Sandglass Block模块输出的特征图。矩阵Q2等于W3×V2,其中W3为一个权重矩阵。矩阵K2等于W4×V2,W4也为一个权重矩阵,第一自注意力模块最终输出为Q2×K2×V2
第四自注意力模块包括依次连接的一个卷积层、两个全连接层和一个Softmax层,用于将第三Sandglass Block模块输出的原特征图与第一自注意力模块的输出相乘得到第二新特征图。
第五自注意力模块包括一个卷积层,用于对第二Sandglass Block模块的输出进行处理,输出第三新特征图。
特征融合模块包括加法模块,用于将第二自注意力模块输出的第一新特征图和第四自注意力模块输出的第二新特征图进行相加,并将相加的结果与第五自注意力模块输出的第三新特征图相融合,得到融合特征图。
上采样分类模块包括Upsample层和Softmax层,Upsample层对融合特征图上采样,对将采样结果输入Softmax层,输出概率图,Upsample层可采用PixelShuffle,Upsample层还可以使用双线性插值或最邻近插值等方法,将融合特征图按照一定比例放大。
如图4所示,本发明实施例提供的一种硅熔融状态检测方法,包括:
步骤S210,获取硅原料的当前熔融状态图像。
具体地,可获取熔融炉中摄像头实时拍摄的熔融视频,在熔融视频中提取实时画面,即当前熔融状态图像。
步骤S220,对所述当前熔融状态图像进行数字转换和归一化,获得归一化后的图像。
具体地,将当前熔融状态图像转换为RGB三通道的数字图像矩阵,在对数字图像矩阵进行归一化处理,得到归一化后的图像。
步骤S230,将所述归一化后的图像输入训练好的语义分割模型中,确定所述当前熔融状态图像对应的概率图,根据所述概率图确定所述当前熔融状态图像对应的固体占比;根据所述固体占比确定所述硅原料的当前熔融状态,其中,所述训练好的语义分割模型采用如上所述的语义分割模型训练方法训练得到。
具体地,通过训练好的语义分割模型对归一化后的图像进行输出概率图,根据概率图确定当前熔融状态图像上各个像素点的状态类别,根据各个像素点的状态类别进行计算当前熔融状态图像对应的固体占比,将固体占比与预设阈值进行对比,根据对比结果确定熔融炉中硅原料的当前熔融状态。
本实施例中,获取熔融炉中硅原料的当前熔融状态图像,对当前熔融状态图像进行数字转换和归一化处理,获得便于语义分割模型进行处理的归一化后的图像,通过语义分割模型的处理,输出当前熔融状态图像对应的概率图,概率图包括当前熔融状态图像中各个像素点的三通道概率,根据概率图确定各个像素点的状态类别,即对于任意一个像素点,该像素点对应的是固体、液体或背景,然后根据各个状态类别的像素点的数量确定当前熔融状态图像中的固体占比,将固体占比与预设阈值进行对比,就可确定当前时刻熔融炉中的硅原料是否完全熔化或快要完全熔化。本发明的技术方案采用训练好的语义分割模型可实现自动化识别熔融炉中硅原料的熔融状态,提高了硅原料熔融状态识别的自动化程度,减少了工作人员的工作量。
需要说明的是,由于熔融炉中硅原料过多会影响硅原料熔化速度,也会影响单晶硅生成过程中的后续步骤,因此可在熔融炉中硅原料完全熔化完或快要熔化完时,进行补料。因此可设置预设阈值以区分出硅原料完全熔化或快要熔化完。
可选地,当连续N张所述当前熔融状态图像对应的所述固体占比均小于或等于预设阈值时,确定所述硅原料全部熔化,输出硅原料全部熔化信号,N大于或等于2。
具体地,当在时间维度上的连续N张当前熔融状态图像均显示硅原料完全熔化或快要熔化完时,确定硅原料熔化完。N可优选为60张。
本可选的实施例中,结合连续的多张当前熔融状态图像对应的固体占比对硅原料的熔融状态进行判断,能够提高判断准确度,降低误差。当确定硅原料全部熔化时,输出硅原料全部熔化信号,提醒工作人员及时补料,或控制自动上料设备进行补料,实现自动化控制,能够防止因忘记及时补料造成能源消耗,降低了工作人员的工作量,自动化程度高。
如图5所示,本发明另一实施例提供的一种语义分割模型训练装置,包括:
第一获取模块,用于获取至少一种硅原料的多张熔融状态图像;
标注模块,用于对每张所述熔融状态图像中各个区域的所述硅原料的熔融状态进行标注,获得标注结果,根据各张所述熔融状态图像和对应的所述标注结果生成数据集;
训练模块,用于建立基于神经网络的待训练模型,采用所述数据集训练所述待训练模型,获得语义分割模型,所述语义分割模型用于根据所述熔融状态图像输出所述熔融状态图像中各个像素点的类别概率组成的概率图,所述概率图适于确定所述熔融状态图像中的固体占比,并根据所述固体占比确定所述硅原料的熔融状态。
如图6所示,本发明又一实施例提供的一种硅熔融状态检测装置,包括:
第二获取模块,用于获取硅原料的当前熔融状态图像;
处理模块,用于对所述当前熔融状态图像进行预处理和归一化,分别获得归一化后的图像;
预测模块,用于将各张所述归一化后的图像输入训练好的语义分割模型中,确定所述当前熔融状态图像对应的概率图,根据所述概率图确定所述当前熔融状态图像对应的固体占比,根据所述固体占比确定所述硅原料的当前熔融状态,其中,所述训练好的语义分割模型采用如上所述的语义分割模型训练方法训练得到。
本发明又一实施例提供的一种电子设备包括存储器和处理器;所述存储器,用于存储计算机程序;所述处理器,用于当执行所述计算机程序时,实现如上所述的语义分割模型训练方法,或如上所述的硅熔融状态检测方法。
本发明又一实施例提供的一种计算机可读存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如上所述的语义分割模型训练方法,或如上所述的硅熔融状态检测方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。在本申请中,所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
虽然本公开披露如上,但本公开的保护范围并非仅限于此。本领域技术人员在不脱离本公开的精神和范围的前提下,可进行各种变更与修改,这些变更与修改均将落入本发明的保护范围。

Claims (10)

1.一种语义分割模型训练方法,其特征在于,包括:
获取至少一种硅原料的多张熔融状态图像;
对每张所述熔融状态图像中所述硅原料的熔融状态进行标注,获得标注结果,根据各张所述熔融状态图像和对应的所述标注结果生成数据集;
建立基于神经网络的待训练模型,采用所述数据集训练所述待训练模型,获得语义分割模型,所述语义分割模型用于根据所述熔融状态图像输出所述熔融状态图像中各个像素点的类别概率组成的概率图,所述概率图适于确定所述熔融状态图像中的固体占比,并根据所述固体占比确定所述硅原料的熔融状态。
2.根据权利要求1所述的语义分割模型训练方法,其特征在于,所述获取至少一种硅原料的多张熔融状态图像包括:
获取至少一种所述硅原料的熔融视频;
在各个所述熔融视频中分别提取多张视频帧,获得多张所述熔融状态图像。
3.根据权利要求1所述的语义分割模型训练方法,其特征在于,所述根据各张所述熔融状态图像和对应的标注结果生成数据集包括:
将所述熔融状态图像转换为RGB三通道的三维数字矩阵,获得数字图像;
选择标定数量的所述数字图像进行预处理,获得预处理后的图像,其中,所述预处理包括随机翻转、随机旋转、随机尺寸缩放和随机对比度变化中的至少一种;
对所述预处理后的图像进行归一化处理,获得归一化后的图像;
根据所述归一化后的图像与对应的所述标注结果生成数据集。
4.根据权利要求3所述的语义分割模型训练方法,其特征在于,所述采用所述数据集训练所述待训练模型包括:
将所述归一化后的图像输入所述待训练模型,输出所述熔融状态图像中各个像素点的类别概率组成的概率图,所述类别概率包括所述像素点分别为固体、液体或背景的概率;
根据所述概率图确定所述熔融状态图像中各个所述像素点的状态类别,所述状态类别包括固体、液体和背景;
根据各个所述像素点的状态类别确定预测熔融状态;
根据所述预测熔融状态和对应的所述标注结果优化所述待训练模型,获得所述语义分割模型。
5.根据权利要求4所述的语义分割模型训练方法,其特征在于,所述概率图包括各个所述像素点的三通道概率,其中,对于任一所述像素点,所述三通道概率包括所述像素点为背景的概率、所述像素点为液体的概率和所述像素点为固体的概率;
所述根据所述概率图确定所述熔融状态图像中各个所述像素点的状态类别包括:
对于任一所述像素点,根据所述像素点的所述三通道概率采用第二公式确定所述像素点的所述状态类别,所述第二公式包括:
sij=argmaxk∈[1,3]{pi,j,k},
其中,sij表示所述熔融状态图像中第i行第j列的所述像素点的所述状态类别,pi,j,k表示所述熔融状态图像中第i行第j列的所述像素点属于第k个通道的类别的概率。
6.根据权利要求4所述的语义分割模型训练方法,其特征在于,所述根据各个所述像素点的状态类别确定预测熔融状态包括:
确定所述熔融状态图像中所述状态类别为液体的所述像素点的第一数量和所述状态类别为固体的所述像素点的第二数量;
根据所述第一数量和所述第二数量确定所述熔融状态图像中的固体占比;
根据所述固体占比确定所述熔融状态图像对应的所述预测熔融状态。
7.根据权利要求1至6任一项所述的语义分割模型训练方法,其特征在于,所述待训练模型包括特征提取模块、特征自注意力模块、特征融合模块和上采样分类模块;
所述特征提取模块包括依次连接的第一Sandglass Block模块、第二Sandglass Block模块、第三Sandglass Block模块和第四Sandglass Block模块;
所述特征自注意力模块包括第一自注意力模块、第二自注意力模块、第三自注意力模块、第四自注意力模块和第五自注意力模块,所述第一自注意力模块的输入端连接至所述第四Sandglass Block模块的输出端,所述第一自注意力模块的输出端通过所述第二自注意力模块连接至所述特征融合模块的第一输入端,所述第三自注意力模块的输入端连接至所述第三Sandglass Block模块的输出端,所述第三自注意力模块的输出端通过所述第四自注意力模块连接至所述特征融合模块的第二输入端,所述特征融合模块的输出端连接至所述上采样分类模块的第一输入端,所述第五自注意力模块的输入端连接至所述第二Sandglass Block模块的输出端,所述第五自注意力模块的输出端连接至所述上采样分类模块的第二输出端,所述上采样分类模块的输出端用于输出所述概率图。
8.一种硅熔融状态检测方法,其特征在于,包括:
获取硅原料的当前熔融状态图像;
对所述当前熔融状态图像进行数字转换和归一化处理,获得归一化后的图像;
将所述归一化后的图像输入训练好的语义分割模型中,确定所述当前熔融状态图像对应的概率图,根据所述概率图确定所述当前熔融状态图像对应的固体占比;
根据所述固体占比确定所述硅原料的当前熔融状态,其中,所述训练好的语义分割模型采用如权利要求1至7任一项所述的语义分割模型训练方法训练得到。
9.根据权利要求8所述的硅熔融状态检测方法,其特征在于,当连续N张所述当前熔融状态图像对应的所述固体占比均小于或等于预设阈值时,确定所述硅原料全部熔化,输出硅原料全部熔化信号,N大于或等于2。
10.一种电子设备,其特征在于,包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于当执行所述计算机程序时,实现如权利要求1至7任一项所述的语义分割模型训练方法,或如权利要求8或9所述的硅熔融状态检测方法。
CN202110945717.3A 2021-08-16 2021-08-16 语义分割模型训练方法、硅熔融状态检测方法及电子设备 Active CN113673529B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110945717.3A CN113673529B (zh) 2021-08-16 2021-08-16 语义分割模型训练方法、硅熔融状态检测方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110945717.3A CN113673529B (zh) 2021-08-16 2021-08-16 语义分割模型训练方法、硅熔融状态检测方法及电子设备

Publications (2)

Publication Number Publication Date
CN113673529A true CN113673529A (zh) 2021-11-19
CN113673529B CN113673529B (zh) 2024-06-25

Family

ID=78543385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110945717.3A Active CN113673529B (zh) 2021-08-16 2021-08-16 语义分割模型训练方法、硅熔融状态检测方法及电子设备

Country Status (1)

Country Link
CN (1) CN113673529B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677512A (zh) * 2022-03-25 2022-06-28 中国工商银行股份有限公司 语义分割模型的训练方法、语意分割方法及装置
CN117392380A (zh) * 2023-08-31 2024-01-12 北京交通大学 多角度碲锌镉晶片图像语义分割方法
WO2024066413A1 (zh) * 2022-09-30 2024-04-04 隆基绿能科技股份有限公司 加料时机检测方法、装置、电子设备及存储介质

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103019102A (zh) * 2012-11-28 2013-04-03 河南科技大学东海硅产业节能技术研究院 半实物计算机仿真网络实验装置
CN103839103A (zh) * 2013-12-09 2014-06-04 浙江大学 丙烯聚合生产过程bp最优预报系统和方法
BE1022172B1 (nl) * 2014-12-31 2016-02-24 Orfit Industries, N.V. Werkwijze voor het vervaardigen van een immobilisatie masker
CN105787940A (zh) * 2016-02-29 2016-07-20 长安大学 一种高频电阻直缝焊接质量状态的在线检测方法
CN108830277A (zh) * 2018-04-20 2018-11-16 平安科技(深圳)有限公司 语义分割模型的训练方法、装置、计算机设备和存储介质
CN108921161A (zh) * 2018-06-08 2018-11-30 Oppo广东移动通信有限公司 模型训练方法、装置、电子设备和计算机可读存储介质
CN109325417A (zh) * 2018-08-23 2019-02-12 东北大学 一种基于深度神经网络的工业过程故障工况诊断方法
CN110245710A (zh) * 2019-06-18 2019-09-17 腾讯科技(深圳)有限公司 语义分割模型的训练方法、语义分割方法及装置
CN110363781A (zh) * 2019-06-29 2019-10-22 南京理工大学 基于深度神经网络的熔池轮廓检测方法
CN110472698A (zh) * 2019-08-22 2019-11-19 四川大学 基于深度和迁移学习的金属增材成形熔深实时预测方法
CN110490866A (zh) * 2019-08-22 2019-11-22 四川大学 基于深度特征融合的金属增材成形尺寸实时预测方法
CN111402321A (zh) * 2020-03-22 2020-07-10 华北理工大学 一种固体颗粒在高温熔池中目标识别及体积估计的方法
CN111402257A (zh) * 2020-03-11 2020-07-10 华侨大学 一种基于多任务协同跨域迁移的医学图像自动分割方法
CN111489366A (zh) * 2020-04-15 2020-08-04 上海商汤临港智能科技有限公司 神经网络的训练、图像语义分割方法及装置
CN111507989A (zh) * 2020-04-15 2020-08-07 上海眼控科技股份有限公司 语义分割模型的训练生成方法、车辆外观检测方法、装置
CN112085739A (zh) * 2020-08-20 2020-12-15 深圳力维智联技术有限公司 基于弱监督的语义分割模型的训练方法、装置及设备
CN112183665A (zh) * 2020-10-28 2021-01-05 广西科技大学 一种基于卷积神经网络的co2焊接熔池图像识别方法
CN112381807A (zh) * 2020-11-18 2021-02-19 北京图知天下科技有限责任公司 一种直拉单晶生产中晶体直径检测方法、系统及计算机
CN112488980A (zh) * 2019-08-20 2021-03-12 隆基绿能科技股份有限公司 一种熔料状态检测方法、装置及设备
CN113112493A (zh) * 2021-04-29 2021-07-13 北京图知天下科技有限责任公司 引晶亮度的计算方法、系统、终端设备及存储介质
CN113240668A (zh) * 2021-06-08 2021-08-10 南京师范大学 一种基于图像数字特征分布的生成熔池图像质量评估方法

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103019102A (zh) * 2012-11-28 2013-04-03 河南科技大学东海硅产业节能技术研究院 半实物计算机仿真网络实验装置
CN103839103A (zh) * 2013-12-09 2014-06-04 浙江大学 丙烯聚合生产过程bp最优预报系统和方法
BE1022172B1 (nl) * 2014-12-31 2016-02-24 Orfit Industries, N.V. Werkwijze voor het vervaardigen van een immobilisatie masker
CN105787940A (zh) * 2016-02-29 2016-07-20 长安大学 一种高频电阻直缝焊接质量状态的在线检测方法
CN108830277A (zh) * 2018-04-20 2018-11-16 平安科技(深圳)有限公司 语义分割模型的训练方法、装置、计算机设备和存储介质
CN108921161A (zh) * 2018-06-08 2018-11-30 Oppo广东移动通信有限公司 模型训练方法、装置、电子设备和计算机可读存储介质
CN109325417A (zh) * 2018-08-23 2019-02-12 东北大学 一种基于深度神经网络的工业过程故障工况诊断方法
CN110245710A (zh) * 2019-06-18 2019-09-17 腾讯科技(深圳)有限公司 语义分割模型的训练方法、语义分割方法及装置
CN110363781A (zh) * 2019-06-29 2019-10-22 南京理工大学 基于深度神经网络的熔池轮廓检测方法
CN112488980A (zh) * 2019-08-20 2021-03-12 隆基绿能科技股份有限公司 一种熔料状态检测方法、装置及设备
CN110490866A (zh) * 2019-08-22 2019-11-22 四川大学 基于深度特征融合的金属增材成形尺寸实时预测方法
CN110472698A (zh) * 2019-08-22 2019-11-19 四川大学 基于深度和迁移学习的金属增材成形熔深实时预测方法
CN111402257A (zh) * 2020-03-11 2020-07-10 华侨大学 一种基于多任务协同跨域迁移的医学图像自动分割方法
CN111402321A (zh) * 2020-03-22 2020-07-10 华北理工大学 一种固体颗粒在高温熔池中目标识别及体积估计的方法
CN111489366A (zh) * 2020-04-15 2020-08-04 上海商汤临港智能科技有限公司 神经网络的训练、图像语义分割方法及装置
CN111507989A (zh) * 2020-04-15 2020-08-07 上海眼控科技股份有限公司 语义分割模型的训练生成方法、车辆外观检测方法、装置
CN112085739A (zh) * 2020-08-20 2020-12-15 深圳力维智联技术有限公司 基于弱监督的语义分割模型的训练方法、装置及设备
CN112183665A (zh) * 2020-10-28 2021-01-05 广西科技大学 一种基于卷积神经网络的co2焊接熔池图像识别方法
CN112381807A (zh) * 2020-11-18 2021-02-19 北京图知天下科技有限责任公司 一种直拉单晶生产中晶体直径检测方法、系统及计算机
CN113112493A (zh) * 2021-04-29 2021-07-13 北京图知天下科技有限责任公司 引晶亮度的计算方法、系统、终端设备及存储介质
CN113240668A (zh) * 2021-06-08 2021-08-10 南京师范大学 一种基于图像数字特征分布的生成熔池图像质量评估方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张浩鑫: "基于深度神经网络的图像语义分割方法研究", 《哈尔滨工业大学工学硕士学位论文》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677512A (zh) * 2022-03-25 2022-06-28 中国工商银行股份有限公司 语义分割模型的训练方法、语意分割方法及装置
WO2024066413A1 (zh) * 2022-09-30 2024-04-04 隆基绿能科技股份有限公司 加料时机检测方法、装置、电子设备及存储介质
CN117392380A (zh) * 2023-08-31 2024-01-12 北京交通大学 多角度碲锌镉晶片图像语义分割方法

Also Published As

Publication number Publication date
CN113673529B (zh) 2024-06-25

Similar Documents

Publication Publication Date Title
CN113673529B (zh) 语义分割模型训练方法、硅熔融状态检测方法及电子设备
CN110059694B (zh) 电力行业复杂场景下的文字数据的智能识别方法
CN117187943B (zh) 一种拉晶过程中熔料检测方法、装置及电子设备
CN111833313B (zh) 基于深度主动学习的工业产品表面缺陷检测方法及系统
CN107310173A (zh) 膜厚控制系统及薄膜剖面图像的字符提取与膜厚采集方法
CN117468085B (zh) 晶棒生长控制方法、装置、长晶炉系统和计算机设备
CN116071362B (zh) 拉晶断苞检测方法、装置、计算机设备和存储介质
CN112749675A (zh) 一种基于卷积神经网络的马铃薯病害识别方法
CN111291814A (zh) 基于卷积神经网络与信息熵数据融合策略的裂纹识别算法
CN114581486A (zh) 基于全卷积孪生网络多层特征的模板更新目标跟踪算法
CN113869177A (zh) 一种用于跟踪多目标的方法及装置
CN114752996A (zh) 一种单晶硅放肩阶段开叉的智能调整方法以及存储介质
CN115880271A (zh) 一种晶体生长过程中籽晶单晶线棱角的识别检测方法
CN115641335A (zh) 基于时差培养箱的胚胎异常多级联智能综合分析系统
CN117593255B (zh) 一种基于时空信息融合的激光增材制造缺陷监控方法
CN113077423B (zh) 基于卷积神经网络的激光选区熔化熔池图像分析系统
CN107310133A (zh) 基于图像处理的bopp薄膜厚度控制方法
CN114037684A (zh) 一种基于yolov5和注意力机制模型的疵点检测方法
CN117636314A (zh) 一种缺苗识别方法、装置、设备及介质
CN117372377A (zh) 一种单晶硅棱线的断线检测方法、装置及电子设备
CN104240181B (zh) 一种垂直滤波器的图像垂直尺寸缩小方法
CN114581769A (zh) 一种基于无监督聚类的在建房屋识别方法
CN117468084B (zh) 晶棒生长控制方法、装置、长晶炉系统和计算机设备
CN113505803B (zh) 基于奇异值分解的实例物体自标注方法
CN117468083B (zh) 降籽晶过程的控制方法、装置、长晶炉系统和计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant