CN109056056B - 一种直拉硅单晶生长过程热场模型辨识方法 - Google Patents

Abstract

本发明公开了一种直拉硅单晶生长过程热场模型辨识方法，首先通过采样装置分别获得加热器功率以及相同时刻下晶体直径采样数据，作为输入输出数据对；使用支持向量机方法确定系统的阶次和时滞，然后通过长短时记忆网络LSTM确定加热器功率‑直径的非线性和大时滞模型；最后将训练好的网络权值和阈值作为模型参数，整个网络作为辨识得到的加热器功率‑直径模型，本发明通过LSTM网络引入时间作用，保存过去和现在的系统信息，解决了传统模型不考虑时间作用，以及机理建模或者直接采用已有的惯性环节加纯滞后模型而造成模型精度不高的问题。

Description

一种直拉硅单晶生长过程热场模型辨识方法

技术领域

本发明属于直拉硅单晶生长方法技术领域，具体涉及一种直拉硅单晶生长过程热场模型辨识方法。

背景技术

随着微电子、光伏、通信和航空航天等高科技领域的发展，硅单晶得到了广泛的应用,已成为不可替代的关键性材料。同时，对硅晶圆片的品质要求也日益提高，高品质、大尺寸硅单晶的制备已成为必然趋势。但随着硅单晶尺寸增大，其生长条件变得更加复杂，对硅单晶控制精度提出了更高的要求。另一方面是单晶炉尺寸变大，热场增大，熔体内部热传输更加复杂，生长界面温度的均衡性更加难以控制，使得非线性、时滞性，不确定性都变强。更难精确控制。为了满足技术产业对单晶硅品质的要求，就需要提高现有的晶体生长技术。因此，对晶体生长的热场模型进行辨识研究，也就具有重大意义。

传统的方法都是通过对辨识对象的内部机理进行数学描述，或者直接采用已有的惯性环节加纯滞后模型来代替，这种方法由于内部机理过于复杂，因此对某些因素进行了忽略，得到的模型不够精确，也就难以满足精确控制的要求。随着智能领域的发展和应用，同时也考虑到实际过程或对象的复杂性，得到能适应各种环境的非线性系统辨识方法比较困难。然而复杂过程中的输入输出数据是可以被采集到，故基于数据的辨识方法得到发展。加热器功率—晶体直径过程存在非线性，大滞后特性，且与时间相关，常规辨识方法精度不高，而LSTM神经网络不仅具有处理复杂的非线性问题的能力,也能够很好获取到系统的动态特性，更重要的是可以处理与时间相关的序列。

发明内容

本发明的目的是提供一种直拉硅单晶生长过程热场模型辨识方法，解决了现有技术中存在的硅单晶热场模型辨识方法不考虑时间作用且精度不高的问题。

本发明所采用的技术方案是，一种直拉硅单晶生长过程热场模型辨识方法，具体按照以下步骤实施：

步骤1、通过采样装置分别获得加热器功率以及相同时刻下晶体直径采样数据，作为输入输出数据对；

步骤2、使用支持向量机方法确定系统的阶次和时滞；

步骤3、通过长短时记忆网络LSTM确定加热器功率-直径的非线性和大时滞模型；

步骤4、将训练好的网络权值和阈值作为模型参数，整个网络作为辨识得到的加热器功率-直径模型。

本发明的特点还在于，

步骤2中使用支持向量机算法确定系统模型中的输入输出阶次，具体按照以下步骤实施：

步骤2.1、确定单晶硅加热器功率-晶体直径系统满足NARMA模型如下：

D(k)＝f[D(k-1),…,D(k-n),U(k-d),…,U(k-d-m+1)] (1)

其中，U表示加热器功率，D表示晶体直径，m和n分别表示系统的输入输出阶次，d表示加热器功率到直径过程时滞，k表示时刻；

步骤2.2、假定系统初始输入阶次m＝1已知，系统初始输出阶次n＝1，样本数为N个，支持向量机采取ε-不敏感支持向量机回归，RBF核函数，对数据进行回归建模，计算支持向量机辨识模型输出和系统实际模型输出之间的误差然后计算模型总误差并记录此时支持向量的个数，逐渐增大输出阶次，直到n＝5，分别计算系统不同输出阶次下模型的总误差和支持向量的个数，当n接近系统真实输出阶次n₀时，辨识总误差达到最小，且支持向量的个数也达到最少，此时的n₀即对应系统的真实输出阶次；

步骤2.3、固定输出阶次n＝n₀，分别取系统输入阶次m∈[1,4]，计算不同输入阶次下支持向量机辨识模型输出和系统实际模型输出之间的总误差和支持向量个数，当总误差和支持向量个数均达到最小值时，此时m即为系统真实输入阶次m₀。

步骤2.2中样本数为N＝400。

步骤2中使使用支持向量机确定系统模型中的时滞，具体如下：

假设估计系统时滞范围为[d_min,d_max]，在时滞允许范围内，利用支持向量机进行回归建模，分别在不同时滞作用下计算支持向量机模型输出和系统实际模型输出之间的总误差以及支持向量个数，总误差以及支持向量个数均达到最小值时所对应的时滞d₀即为系统加热器功率-晶体直径的时滞。

步骤3具体按照以下步骤实施：

当经过步骤2阶次和时滞确定后，通过长短时记忆网络LSTM确定加热器功率-晶体直径系统模型，具体如下：

步骤3.1、对数据进行滤波归一化，假定LSTM神经网络输入向量为X＝(X₁,X₂,X₃,…,X_t)，分别通过公式(2)～公式(6)计算LSTM的细胞状态和输出，再通过全连接层计算最终网络输出：

f_t＝σ(W_f·[h_t-1,x_t]+b_f) (2)

i_t＝σ(W_i·[h_t-1,x_t]+b_i) (3)

C_t＝f_t·C_t-1+i_t·tanh(W_C·[h_t-1,x_t]+b_c) (4)

o_t＝σ(W_o·[h_t-1,x_t]+b_o) (5)

h_t＝o_t·tanh(C_t) (6)

其中，f_t表示遗忘门，i_t表示输入门，o_t表示输出门，C_t表示细胞状态，C_t-1表示前一时刻细胞状态，h_t表示LSTM的输出，t表示时刻，W表示网络权值，b表示偏置，σ为sigmoid激活函数，tanh为双曲正切激活函数；

步骤3.2、由于LSTM模型隐层之间也是相互连接的，所以隐层的输出会传到下一时刻的隐层，也会传到此时刻的输出层，所以采用BPTT算法计算误差项，定义损失函数为：

其中，X_i为实际直径输出，为LSTM模型预测输出，m为样本个数，通过损失函数沿时间t的反向传播，计算出每个时刻的误差项其中，h_k为LSTM在k时刻输出值；然后计算误差函数对于上一层的误差项其中为l-1层的加权输入，进而得到所有需要的误差项，通过上式得到的误差项分别计算各个权重与偏置的梯度和使用基于梯度的优化算法，采用Adam算法实现权值和阈值修正，其中，W和b的更新公式为：

式中，α为学习率，ε＝10E-8，和分别为偏差修正的一阶矩估计和偏差修正的二阶矩估计，和具体计算如下：

式中，β₁,β₂分别为指数衰减率，m_t,v_t为偏差的一阶矩估计和二阶原始矩估计，m_t,v_t通过目标函数对于权值或阈值的梯度进行更新，使用上述算法更新网络权值和阈值。

本发明的有益效果是,一种直拉硅单晶生长过程热场模型辨识方法,首先使用支持向量机方法对系统的阶次时滞进行辨识，以提高辨识精度，然后通过提出的长短时记忆网络LSTM辨识模型，引入时间项，使其具有保存过去和现在信息的能力，同时包括网络结构，训练算法等，通过对直拉单晶炉生长过程模型进行仿真实验，验证该方法可行性，有效的解决了现有硅单晶热场模型辨识方法不考虑时间作用且精度不高的问题。

附图说明

图1是本发明一种直拉硅单晶生长过程热场模型辨识方法中LSTM辨识结构图；

图2是本发明一种直拉硅单晶生长过程热场模型辨识方法中LSTM辨识网络图；

图3(a)是本发明一种直拉硅单晶生长过程热场模型辨识方法中加热器功率采样数据图；

图3(b)是本发明一种直拉硅单晶生长过程热场模型辨识方法中晶体直径采样数据图；

图4(a)是本发明一种直拉硅单晶生长过程热场模型辨识方法中固定输入阶次s＝1，不同输出阶次下总误差和支持向量个数柱状图；

图4(b)是本发明一种直拉硅单晶生长过程热场模型辨识方法中固定输出阶次h＝1，不同输入阶次下总误差和支持向量个数柱状图；

图4(c)是本发明一种直拉硅单晶生长过程热场模型辨识方法中不同时滞下总误差和支持向量个数柱状图；

图5(a)是本发明一种直拉硅单晶生长过程热场模型辨识方法中长短时记忆网络LSTM辨识直径输出与实际直径输出对比图；

图5(b)是本发明一种直拉硅单晶生长过程热场模型辨识方法中长短时记忆网络LSTM辨识直径输出与实际直径输出误差图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种直拉硅单晶生长过程热场模型辨识方法，如图1、图2所示，具体按照以下步骤实施：

步骤1、通过采样装置分别获得加热器功率以及相同时刻下晶体直径采样数据，作为输入输出数据对；

步骤2、使用支持向量机方法确定系统的阶次和时滞；

其中，使用支持向量机算法确定系统模型中的输入输出阶次，具体按照以下步骤实施：

步骤2.1、确定单晶硅加热器功率-晶体直径系统满足NARMA模型如下：

D(k)＝f[D(k-1),…,D(k-n),U(k-d),…,U(k-d-m+1)] (1)

其中，U表示加热器功率，D表示晶体直径，m和n分别表示系统的输入输出阶次，d表示加热器功率到直径过程时滞，k表示时刻；

步骤2.2、假定系统初始输入阶次m＝1已知，系统初始输出阶次n＝1，样本数为N个，N＝400，支持向量机采取ε-不敏感支持向量机回归，RBF核函数，其中，ε取0.01，对数据进行回归建模，计算支持向量机辨识模型输出和系统实际模型输出之间的误差然后计算模型总误差并记录此时支持向量的个数，逐渐增大输出阶次，直到n＝5，分别计算系统不同输出阶次下模型的总误差和支持向量的个数，当n接近系统真实输出阶次n₀时，辨识总误差达到最小，且支持向量的个数也达到最少，此时的n₀即对应系统的真实输出阶次；

步骤2.3、固定输出阶次n＝n₀，分别取系统输入阶次m∈[1,4]，计算不同输入阶次下支持向量机辨识模型输出和系统实际模型输出之间的总误差和支持向量个数，当总误差和支持向量个数均达到最小值时，此时m即为系统真实输入阶次m₀；

其中，使使用支持向量机确定系统模型中的时滞，具体如下：

假设估计系统时滞范围为[d_min,d_max]，在时滞允许范围内，利用支持向量机进行回归建模，分别在不同时滞作用下计算支持向量机模型输出和系统实际模型输出之间的总误差以及支持向量个数，总误差以及支持向量个数均达到最小值时所对应的时滞d₀即为系统加热器功率-晶体直径的时滞；

步骤3、通过长短时记忆网络LSTM确定加热器功率-直径的非线性和大时滞模型，具体按照以下步骤实施：

当经过步骤2阶次和时滞确定后，通过长短时记忆网络LSTM确定加热器功率-晶体直径系统模型，具体如下：

步骤3.1、对数据进行滤波归一化，假定LSTM神经网络输入向量为X＝(X₁,X₂,X₃,…,X_t)，分别通过公式(2)～公式(6)计算LSTM的细胞状态和输出，再通过全连接层计算最终网络输出：

f_t＝σ(W_f·[h_t-1,x_t]+b_f) (2)

i_t＝σ(W_i·[h_t-1,x_t]+b_i) (3)

C_t＝f_t·C_t-1+i_t·tanh(W_C·[h_t-1,x_t]+b_c) (4)

o_t＝σ(W_o·[h_t-1,x_t]+b_o) (5)

h_t＝o_t·tanh(C_t) (6)

其中，f_t表示遗忘门，i_t表示输入门，o_t表示输出门，C_t表示细胞状态，C_t-1表示前一时刻细胞状态，h_t表示LSTM的输出，t表示时刻，W表示网络权值，b表示偏置，σ为sigmoid激活函数，tanh为双曲正切激活函数；

步骤3.2、由于LSTM模型隐层之间也是相互连接的，所以隐层的输出会传到下一时刻的隐层，也会传到此时刻的输出层，所以采用BPTT算法计算误差项，定义损失函数为：

其中，X_i为实际直径输出，为LSTM模型预测输出，m为样本个数，通过损失函数沿时间t的反向传播，计算出每个时刻的误差项其中，h_k为LSTM在k时刻输出值；然后计算误差函数对于上一层的误差项其中为l-1层的加权输入，进而得到所有需要的误差项，通过上式得到的误差项分别计算各个权重与偏置的梯度和使用基于梯度的优化算法，采用Adam算法实现权值和阈值修正，其中，W和b的更新公式为：

式中，α为学习率，ε＝10E-8，和分别为偏差修正的一阶矩估计和偏差修正的二阶矩估计，和具体计算如下：

式中，β₁,β₂分别为指数衰减率，m_t,v_t为偏差的一阶矩估计和二阶原始矩估计，m_t,v_t通过目标函数对于权值或阈值的梯度进行更新，使用上述算法更新网络权值和阈值；

步骤4、将训练好的网络权值和阈值作为模型参数，整个网络作为辨识得到的加热器功率-直径模型。

本发明一种直拉硅单晶生长过程热场模型辨识方法验证如下：

实验数据使用实际工程中采集到的加热器功率-直径数据，其生长过程中某段加热器功率和直径数据，采样时间2s，为提高计算速度，每5个数据进行一次采样。由于实际工业系统往往存在噪声，因此对数据进行加权滑动平均滤波。图3(a)和图3(b)分别表示了输入输出数据。由于加热器功率和直径数据的数量级不同，将数据都归一化到[0,1]范围内，作为神经网络的输入，选取其中400组作为训练数据，400组作为测试数据。

分别在不同输出阶次和不同输入阶次不变的情况下得到输出总误差和支持向量个数如图4(a)和图4(b)所示。可以看出：当系统的输入阶次s＝1，输出阶次h＝2时，系统的总误差以及支持向量个数最少。因此可以确定本系统的输入阶次为1，输出阶次为2。

系统时滞如图4(c)所示。根据现场实际情况，时滞大约十分钟左右，因此本文设置的时滞在48-72之间，对应时间为8-12分钟。从柱状图可以看出，在时滞为64时，系统总误差(5.9311)以及支持向量个数(16)最少。因此可以确定系统时滞为64。

当确定系统输出输出阶次和时滞后，网络输入项也就确定，再通过图2设计的LSTM辨识网络，其中LSTM神经元个数为30，设置学习率α＝0.1，ε＝10E-8，β₁＝0.9，β₂＝0.999，最后时刻的输出层激活函数sigmoid函数，迭代次数5000次。图5(a)和图5(b)分别表示辨识结果和误差。可以看出，该方法得到了很好的加热器功率-直径辨识模型，网络输出与实际输出数据基本重合，误差基本维持在±0.01之间，MSE达到了8.6829E-6。

Claims (2)

1.一种直拉硅单晶生长过程热场模型辨识方法，其特征在于，具体按照以下步骤实施：

步骤1、通过采样装置分别获得加热器功率以及相同时刻下晶体直径采样数据，作为输入输出数据对；

步骤2、使用支持向量机方法确定系统的阶次和时滞；

步骤3、通过长短时记忆网络LSTM确定加热器功率-直径的非线性和大时滞模型；

步骤4、将训练好的网络权值和阈值作为模型参数，整个网络作为辨识得到的加热器功率-直径模型；

所述步骤2中使用支持向量机算法确定系统模型中的输入输出阶次，具体按照以下步骤实施：

步骤2.1、确定单晶硅加热器功率-晶体直径系统满足NARMA模型如下：

D(k)＝f[D(k-1),…,D(k-n),U(k-d),…,U(k-d-m+1)] (1)

其中，U表示加热器功率，D表示晶体直径，m和n分别表示系统的输入输出阶次，d表示加热器功率到直径过程时滞，k表示时刻；

步骤2.2、假定系统初始输入阶次m＝1已知，系统初始输出阶次n＝1，样本数为N个，支持向量机采取ε-不敏感支持向量机回归，RBF核函数，对数据进行回归建模，计算支持向量机辨识模型输出和系统实际模型输出之间的误差然后计算模型总误差并记录此时支持向量的个数，逐渐增大输出阶次，直到n＝5，分别计算系统不同输出阶次下模型的总误差和支持向量的个数，当n接近系统真实输出阶次n₀时，辨识总误差达到最小，且支持向量的个数也达到最少，此时的n₀即对应系统的真实输出阶次；

步骤2.3、固定输出阶次n＝n₀，分别取系统输入阶次m∈[1,4]，计算不同输入阶次下支持向量机辨识模型输出和系统实际模型输出之间的总误差和支持向量个数，当总误差和支持向量个数均达到最小值时，此时m即为系统真实输入阶次m₀；

所述步骤2中使使用支持向量机确定系统模型中的时滞，具体如下：

假设估计系统时滞范围为[d_min,d_max]，在时滞允许范围内，利用支持向量机进行回归建模，分别在不同时滞作用下计算支持向量机模型输出和系统实际模型输出之间的总误差以及支持向量个数，总误差以及支持向量个数均达到最小值时所对应的时滞d₀即为系统加热器功率-晶体直径的时滞；

所述步骤3具体按照以下步骤实施：

当经过步骤2阶次和时滞确定后，通过长短时记忆网络LSTM确定加热器功率-晶体直径系统模型，具体如下：

步骤3.1、对数据进行滤波归一化，假定LSTM神经网络输入向量为X＝(X₁,X₂,X₃,…,X_t)，分别通过公式(2)～公式(6)计算LSTM的细胞状态和输出，再通过全连接层计算最终网络输出：

f_t＝σ(W_f·[h_t-1,x_t]+b_f) (2)

i_t＝σ(W_i·[h_t-1,x_t]+b_i) (3)

C_t＝f_t·C_t-1+i_t·tanh(W_C·[h_t-1,x_t]+b_c) (4)

o_t＝σ(W_o·[h_t-1,x_t]+b_o) (5)

h_t＝o_t·tanh(C_t) (6)

其中，f_t表示遗忘门，i_t表示输入门，o_t表示输出门，C_t表示细胞状态，C_t-1表示前一时刻细胞状态，h_t表示LSTM的输出，t表示时刻，W表示网络权值，b表示偏置，σ为sigmoid激活函数，tanh为双曲正切激活函数；

步骤3.2、由于LSTM模型隐层之间也是相互连接的，所以隐层的输出会传到下一时刻的隐层，也会传到此时刻的输出层，所以采用BPTT算法计算误差项，定义损失函数为：

其中，X_i为实际直径输出，为LSTM模型预测输出，m为样本个数，通过损失函数沿时间t的反向传播，计算出每个时刻的误差项其中，h_k为LSTM在k时刻输出值；然后计算误差函数对于上一层的误差项其中为l-1层的加权输入，进而得到所有需要的误差项，通过上式得到的误差项分别计算各个权重与偏置的梯度和使用基于梯度的优化算法，采用Adam算法实现权值和阈值修正，其中，W和b的更新公式为：

式中，α为学习率，ε＝10E-8，和分别为偏差修正的一阶矩估计和偏差修正的二阶矩估计，和具体计算如下：

式中，β₁,β₂分别为指数衰减率，m_t,v_t为偏差的一阶矩估计和二阶原始矩估计，m_t,v_t通过目标函数对于权值或阈值的梯度进行更新，使用上述算法更新网络权值和阈值。

2.根据权利要求1所述的一种直拉硅单晶生长过程热场模型辨识方法，其特征在于，所述步骤2.2中样本数为N＝400。