CN110009094B - 一种直拉硅单晶提拉速度-晶体直径辨识模型建模方法 - Google Patents

一种直拉硅单晶提拉速度-晶体直径辨识模型建模方法 Download PDF

Info

Publication number
CN110009094B
CN110009094B CN201910026707.2A CN201910026707A CN110009094B CN 110009094 B CN110009094 B CN 110009094B CN 201910026707 A CN201910026707 A CN 201910026707A CN 110009094 B CN110009094 B CN 110009094B
Authority
CN
China
Prior art keywords
layer
silicon single
single crystal
formula
czochralski silicon
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910026707.2A
Other languages
English (en)
Other versions
CN110009094A (zh
Inventor
刘丁
张晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201910026707.2A priority Critical patent/CN110009094B/zh
Publication of CN110009094A publication Critical patent/CN110009094A/zh
Application granted granted Critical
Publication of CN110009094B publication Critical patent/CN110009094B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C30—CRYSTAL GROWTH
    • C30B—SINGLE-CRYSTAL GROWTH; UNIDIRECTIONAL SOLIDIFICATION OF EUTECTIC MATERIAL OR UNIDIRECTIONAL DEMIXING OF EUTECTOID MATERIAL; REFINING BY ZONE-MELTING OF MATERIAL; PRODUCTION OF A HOMOGENEOUS POLYCRYSTALLINE MATERIAL WITH DEFINED STRUCTURE; SINGLE CRYSTALS OR HOMOGENEOUS POLYCRYSTALLINE MATERIAL WITH DEFINED STRUCTURE; AFTER-TREATMENT OF SINGLE CRYSTALS OR A HOMOGENEOUS POLYCRYSTALLINE MATERIAL WITH DEFINED STRUCTURE; APPARATUS THEREFOR
    • C30B15/00—Single-crystal growth by pulling from a melt, e.g. Czochralski method
    • C30B15/20—Controlling or regulating
    • C30B15/22—Stabilisation or shape controlling of the molten zone near the pulled crystal; Controlling the section of the crystal
    • C—CHEMISTRY; METALLURGY
    • C30—CRYSTAL GROWTH
    • C30B—SINGLE-CRYSTAL GROWTH; UNIDIRECTIONAL SOLIDIFICATION OF EUTECTIC MATERIAL OR UNIDIRECTIONAL DEMIXING OF EUTECTOID MATERIAL; REFINING BY ZONE-MELTING OF MATERIAL; PRODUCTION OF A HOMOGENEOUS POLYCRYSTALLINE MATERIAL WITH DEFINED STRUCTURE; SINGLE CRYSTALS OR HOMOGENEOUS POLYCRYSTALLINE MATERIAL WITH DEFINED STRUCTURE; AFTER-TREATMENT OF SINGLE CRYSTALS OR A HOMOGENEOUS POLYCRYSTALLINE MATERIAL WITH DEFINED STRUCTURE; APPARATUS THEREFOR
    • C30B29/00—Single crystals or homogeneous polycrystalline material with defined structure characterised by the material or by their shape
    • C30B29/02—Elements
    • C30B29/06—Silicon
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Materials Engineering (AREA)
  • Metallurgy (AREA)
  • Organic Chemistry (AREA)
  • Crystals, And After-Treatments Of Crystals (AREA)

Abstract

本发明一种直拉硅单晶提拉速度‑晶体直径辨识模型建模方法，具体按照如下步骤进行：步骤1、多次采样，记录直拉硅单晶在不同采样时刻k下的提拉速度和晶体直径，形成不同采样时刻k下的多组数据对；步骤2、确定得到具体的关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统模型表达式；步骤3、对DBN网络进行训练；步骤4、将训练好的DBN网络作为直拉硅单晶提拉速度‑晶体直径辨识模型。本发明一种直拉硅单晶提拉速度‑晶体直径辨识模型建模方法解决了现有技术采用DBN网络进行训练存在的不足。

Description

一种直拉硅单晶提拉速度-晶体直径辨识模型建模方法
技术领域
本发明属于硅单晶生长辨识方法技术领域，具体涉及一种直拉硅 单晶提拉速度-晶体直径辨识模型建模方法。
背景技术
硅单晶作为半导体行业基础材料之一，对集成电路产业发展起着 重要作用。随着极大规模集成电路发展，对硅单晶提出了大尺寸、高 品质等要求。目前制备硅单晶最为重要的方法是基于传统控制结构的 直拉法。在传统控制结构中，晶体提拉速度依赖人工经验且控制器参 数常通过反复实验获得。除此之外，晶体生长过程中晶体直径与晶体 提拉速度之间的关系为非线性关系。为避免拉速曲线和控制器参数设 置不合理，最有效策略是建立晶体提拉速度-晶体直径非线性模型， 并采用基于模型的控制策略实现晶体直径控制，从而达到提高晶体品 质的目的。
目前用于晶体生长过程建模的方法主要有集总参数模型、浅层结 构算法，如BP神经网络等。集总参数模型法仅适应于能够写出数学 表达式的系统，并且需要选取大量的参数，对参数选取精度要求高， 而晶体生长过程机理过于复杂，因此在描写系统的数学表达式时对某 些因素进行了忽略，导致得到的模型不够精确，也就难以满足精确控 制的要求。浅层结构算法的局限性在于有限样本和计算单元下对复杂 函数的表示能力有限，针对复杂分类和回归问题泛化能力受到一定制 约。而深度学习可以通过学习一种深层非线性网络结构，实现复杂的 函数逼近，因此本发明采用深度学习算法中的深度信念网络(DeepBelief Network，DBN)对直拉法单晶硅晶体生长过程中晶体直径-晶体 提拉速度之间的关系进行建模。同时，由于训练DBN采用基于梯度 的全局优化算法，容易陷入局部最优，并且训练时间长，因此本发明 采用极限学习机来对网络参数进行求解，极限学习机具有学习速度 快、泛化性能好等优点，运用到DBN训练中，不用进行反向调节参 数而提高了DBN网络的性能。
发明内容
本发明的目的在于提供一种直拉硅单晶提拉速度-晶体直径辨识 模型建模方法，解决了现有技术采用DBN网络进行训练存在的不足。
本发明所采用的技术方案是，一种直拉硅单晶提拉速度-晶体直 径辨识模型建模方法，具体按照以下步骤实施：
步骤1、多次采样，记录直拉硅单晶在不同采样时刻k下的提拉 速度和晶体直径，将直拉硅单晶在同一采样时刻下的提拉速度和晶体 直径作为一组数据对，形成不同采样时刻k下的多组数据对： [x(1),y(1),...,x(k),y(k)]，k＝(1,2,3,...,n)；
步骤2、建立关于直拉硅单晶的提拉速度和晶体直径的离散时间 非线性系统，利用经步骤1采样得到的多组数据对构建利普希茨商， 再通过利普希茨商确定该离散时间非线性系统的输入和输出阶次，确 定得到具体的关于直拉硅单晶的提拉速度和晶体直径的离散时间非 线性系统模型表达式；
步骤3、利用经步骤2得到的关于直拉硅单晶的提拉速度和晶体 直径的离散时间非线性系统模型表达式对DBN网络进行训练；
步骤4、将训练好的DBN网络作为直拉硅单晶提拉速度-晶体直 径辨识模型，即训练好的DBN网络的权值和阈值作为关于直拉硅单 晶的提拉速度和晶体直径的离散时间非线性系统模型的模型参数。
本发明的特点还在于：
步骤2具体按照以下步骤实施：
步骤2.1、利用NARMA模型建立关于直拉硅单晶的提拉速度和 晶体直径的离散时间非线性系统模型如式(1)所示：
y(k)＝f[X(k)] (1)
式中，X(k)＝[y(k-1),...,y(k-ny),x(k),...,x(k-nu)]；x(k),...,x(k-nu)为直拉硅单晶在不同采样时刻下的提拉速度；y(k-1),...,y(k-ny)为直拉硅单 晶在不同时刻下的晶体直径；k表示采样时刻；nu、ny分别表示该 离散时间非线性系统的输入和输出阶次；
步骤2.2、描述直拉硅单晶提拉速度和晶体直径之间的非线性关 系如式(2)所示：
y＝f(x)＝f(x1,x2,L,xn) (2)
式中，x1,x2,L,xn为经步骤1得到的直拉硅单晶在不同采样时刻k 下的提拉速度，y为直拉硅单晶晶体直径，f(x)是其定义域内的连续 函数并满足：
Figure BDA0001942745540000031
式中，M是一个正数；
步骤2.3、构建关于直拉硅单晶的提拉速度和晶体直径的离散时 间非线性系统的利普希茨商表达式如式(4)所示，将经步骤1得到 的多组数据对：[x(1),y(1),...,x(k),y(k)]代入式(4)中得到利普希茨商qij：
Figure RE-GDA0002080317850000041
式中，yi和yj表示不相同采样时刻下的晶体直径，|yi-yj|代表点 yi和yj在空间中的距离，xi和xj表示不相同采样时刻下的提拉速度， |xi-xj|代表点xi和xj在空间中的距离；
步骤2.4、基于式(2)对直拉硅单晶的提拉速度和晶体直径进行 敏感性分析得：
δy＝f1δx1+f2δx2+L+fnδxn (5)
式中，δy＝yn-yn-1，f1,f2,f3,...,fn是函数f(x)关于x的偏导数，
结合式(4)和式(5)可得：
Figure BDA0001942745540000042
将式(5)代入式(6)得：
Figure BDA0001942745540000043
结合式(3)和式(7)可得：
Figure BDA0001942745540000044
式中，
Figure BDA0001942745540000045
表示输入变量x(k)，k＝n时，也即是 输入变量x(k)个数为n时该非线性系统的利普希茨商；
步骤2.5、通过式(9)得到关于直拉硅单晶的提拉速度和晶体直 径的离散时间非线性系统不同输入和输出阶次下的利普希茨商
Figure BDA0001942745540000051
Figure BDA0001942745540000052
式中，qij (n)(k)由式(8)求得，k＝1,2,3,...,p，p为正整数，取值 范围为：0.01～0.02n，nu＝ny＝(1,2,...,8)；
步骤2.6、根据式(9)得到的利普希茨商
Figure BDA0001942745540000053
观察nu分别取值 1～8时，ny增大，利普希茨商
Figure BDA0001942745540000054
基本不变，则确定此时利普希茨商
Figure BDA0001942745540000055
对应的ny为最优ny，将该最优ny作为关于直拉硅单晶的提拉速 度和晶体直径的离散时间非线性系统的输出阶次；
步骤2.7、根据式(9)得到的利普希茨商
Figure BDA0001942745540000056
在步骤2.6确定最 优的ny的基础上，固定ny，观察nu分别取值1～8时，取
Figure BDA0001942745540000057
计算
Figure BDA0001942745540000058
的值，并判断是否接近1，当比值接近1时，此时 nu为最优nu，将此最优nu作为关于直拉硅单晶的提拉速度和晶体直径 的离散时间非线性系统的输入阶次，其中
Figure BDA0001942745540000059
为和
Figure BDA00019427455400000510
输出阶次 相同，输入阶次比
Figure BDA00019427455400000511
大一阶次的利普希茨商；
步骤2.8、将经步骤2.6、步骤2.7确定得到的关于直拉硅单晶的 提拉速度和晶体直径的离散时间非线性系统的输入阶次nu、输出阶次 ny和经步骤1得到的[x(1),y(1),...,x(k),y(k)]代入式(1)中，确定得到具 体的关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统 模型表达式。
步骤3具体按照以下步骤实施：
步骤3.1、确定DBN网络的训练周期，学习率η以及样本数量n， 样本数量n为经步骤1获得的多组数据对的个数；
步骤3.2、初始化DBN网络层数N、权重wij、偏置量a,b，隐含 层节点数，确定DBN网络层数的第N层为输出层，N＝4；
步骤3.3、使用连续受限玻尔兹曼机模型作为DBN网络的第一 层，将经步骤2得到的关于直拉硅单晶的提拉速度和晶体直径的离散 时间非线性系统模型表达式中的X(k)作为连续受限玻尔兹曼机模型 的可视层状态向量，并记作v；
步骤3.4、将经步骤3.2初始化得到的权重wij作为连续受限玻尔 兹曼机模型可视层和隐层之间的连接权重，利用式(10)计算得到连 续受限玻尔兹曼机模型的隐层特征向量h1，式(10)为：
Figure BDA0001942745540000061
式中，h1＝(h1,h2,...,hj)，v表示连续受限玻尔兹曼机模型的可视层 状态向量，v＝(v1,v2,...,vi)，i表示连续受限玻尔兹曼机模型可视层中包含 的神经元个数，bj为隐层的偏置，sigmoid为隐层的激活函数，j表示 连续受限玻尔兹曼机模型隐层中包含的神经元个数；
步骤3.5、将经步骤3.2初始化得到的权重wij作为连续受限玻尔 兹曼机模型可视层和隐层之间的连接权重，利用经步骤3.4得到的隐 层特征h1结合式(11)重构DBN网络第一层得到连续受限玻尔兹曼 机模型可视层的状态向量v'，式(11)为：
Figure BDA0001942745540000071
式中，i表示连续受限玻尔兹曼机模型可视层中包含的神经元个 数，j表示连续受限玻尔兹曼机模型隐层中包含的神经元个数，ai为 可视层的偏置，sigmoid为第一层的激活函数；
步骤3.6、利用式(12)-(14)更新连续受限玻尔兹曼机模型权重wij以 及偏置量a，b，式(12)-(14)为：
Figure BDA0001942745540000072
a＝ai+(vi-v'i) (13)
b＝bj+[p(hj|v)-p(hj|v')] (14)
步骤3.7、将经步骤3.4的隐层特征h1看作为DBN网络的第二层 连续受限玻尔兹曼机模型的可视层向量，重复步骤3.4至3.6，得到 DBN网络的第二层连续受限玻尔兹曼机模型的隐层特征h2并且完成 网络权值和偏置的更新；
步骤3.8、将经步骤3.7得到的隐层特征h2看作DBN网络的第三 层连续受限玻尔兹曼机模型的可视层向量，重复步骤3.4至3.6，得 到DBN网络的第三层连续受限玻尔兹曼机模型的隐层特征h3并且完 成网络权值和偏置的更新，将h3看作为DBN网络的第四层连续受限 玻尔兹曼机模型的可视层向量；
步骤3.9、对DBN网络的第N-2层到第N层采用ELM算法，已 知DBN网络的第N-2层到第N层的网络模型为式(15)，式(15) 如下：
Figure BDA0001942745540000081
其中，βi是DBN网络第N-1层和第N层之间的连接权重，wij是 连续受限玻尔兹曼机模型可视层和隐层之间的连接权重也是第N-2 层和第N-1层之间的连接权重，h1是上述步骤3.4中得到的连续受限 玻尔兹曼机模型的隐层特征向量，ci为第N-1层的偏置，tj为目标输 出，g是激活函数；
将式(15)矩阵化表示为：
Hβ＝T (16)
其中，H是DBN网络的第N-1层隐层节点输出矩阵，T为期望 输出，β是DBN网络的第N-1层和第N层之间的连接权重，
利用式(16)的极小二范数的最小二乘解位移确定权重矩阵
Figure BDA0001942745540000082
Figure BDA0001942745540000083
式中，H+是H的Moore-Penrose广义逆矩阵；
步骤3.10、利用步骤3.9计算得到的
Figure BDA0001942745540000085
与H矩阵相乘，得到DBN 网络的最终输出oj；
步骤3.11、利用式(18)判断DBN网络的最终输出误差e(k)是否 达到设定阈值δ，式(18)为：
Figure BDA0001942745540000084
若达到设定阈值δ则停止训练，若没有则继续增加DBN网络的 网络层数，重复步骤3.3至步骤3.11直至DBN网络的最终输出误差 达到设定阈值δ。
本发明的有益效果是：本发明一种直拉硅单晶提拉速度-晶体直 径辨识模型建模方法通过使用采样获得的数据对构建利普希茨商，通 过利普希茨商确定系统的输入输出阶次，然后通过DBN网络建立辨 识模型，在DBN网络第一层引入连续受限玻尔兹曼机模型，使其能 够处理直接从系统中采集的输入输出数据，而非传统DBN网络输入 必须为0和1，同时采用ELM算法对网络进行权值更新，并且简化 了深度信念网络的反向训练过程，有效的解决了现有硅单晶晶体直径 -晶体提拉速度模型辨识方法精度不高的问题。
附图说明
图1是本发明一种直拉硅单晶提拉速度-晶体直径辨识模型建模 方法辨识流程图；
图2是对直拉硅单晶晶体提拉速度进行采样得到的数据图；
图3是对直拉硅单晶晶体直径进行采样得到的数据图；
图4是系统输入阶次和输出阶次折线图；
图5是本发明一种直拉硅单晶提拉速度-晶体直径辨识模型建模 方法运用的DBN网络结构图；
图6是DBN网络辨识直拉硅单晶直径输出与实际直径输出对比 图；
图7是DBN网络辨识直拉硅单晶直径输出与实际直径输出误差 图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种直拉硅单晶提拉速度-晶体直径辨识模型建模方法， 其辨识流程如图1所示，图中x(k)表示采样获得的为直拉硅单晶的提 拉速度，y(k)表示为采样获得的直拉硅单晶的晶体直径，k表示采样 时刻，e(k)表示DBN网络的输出误差，具体步骤如下：
步骤1、多次采样，记录直拉硅单晶在不同采样时刻k下的提拉 速度和晶体直径，将直拉硅单晶在同一采样时刻下的提拉速度和晶体 直径作为一组数据对，形成不同采样时刻k下的多组数据对： [x(1),y(1),...,x(k),y(k)]，k＝(1,2,3,...,n)；
步骤2、建立关于直拉硅单晶的提拉速度和晶体直径的离散时间 非线性系统，利用经步骤1采样得到的多组数据对构建利普希茨商， 再通过利普希茨商确定该离散时间非线性系统的输入和输出阶次，确 定得到具体的关于直拉硅单晶的提拉速度和晶体直径的离散时间非 线性系统模型表达式；
步骤3、利用经步骤2得到的关于直拉硅单晶的提拉速度和晶体 直径的离散时间非线性系统模型表达式对DBN网络进行训练；
步骤4、将训练好的DBN网络作为直拉硅单晶提拉速度-晶体直 径辨识模型，即训练好的DBN网络的权值和阈值作为关于直拉硅单 晶的提拉速度和晶体直径的离散时间非线性系统模型的模型参数。
本发明的特点还在于：
步骤2具体按照以下步骤实施：
步骤2.1、利用NARMA模型建立关于直拉硅单晶的提拉速度和 晶体直径的离散时间非线性系统模型如式(1)所示：
y(k)＝f[X(k)] (1)
式中，X(k)＝[y(k-1),...,y(k-ny),x(k),...,x(k-nu)]；x(k),...,x(k-nu)为直拉硅单晶在不同采样时刻下的提拉速度；y(k-1),...,y(k-ny)为直拉硅单 晶在不同时刻下的晶体直径；k表示采样时刻；nu、ny分别表示该 离散时间非线性系统的输入和输出阶次；
步骤2.2、描述直拉硅单晶提拉速度和晶体直径之间的非线性关 系如式(2)所示：
y＝f(x)＝f(x1,x2,L,xn) (2)
式中，x1,x2,L,xn为经步骤1得到的直拉硅单晶在不同采样时刻k 下的提拉速度，y为直拉硅单晶晶体直径，f(x)是其定义域内的连续 函数并满足：
Figure BDA0001942745540000111
式中，M是一个正数；
步骤2.3、构建关于直拉硅单晶的提拉速度和晶体直径的离散时 间非线性系统的利普希茨商表达式如式(4)所示，将经步骤1得到 的多组数据对：[x(1),y(1),...,x(k),y(k)]代入式(4)中得到利普希茨商qij：
Figure BDA0001942745540000112
式中，yi和yj表示不相同采样时刻下的晶体直径，|yi-yj|代表点 yi和yj在空间中的距离，xi和xj表示不相同采样时刻下的提拉速度， |xi-xj|代表点xi和xj在空间中的距离；
步骤2.4、基于式(2)对直拉硅单晶的提拉速度和晶体直径进行 敏感性分析得：
δy＝f1δx1+f2δx2+L+fnδxn (5)
式中，δy＝yn-yn-1，f1,f2,f3,...,fn是函数f(x)关于x的偏导数，
结合式(4)和式(5)可得：
Figure BDA0001942745540000121
将式(5)代入式(6)得：
Figure BDA0001942745540000122
结合式(3)和式(7)可得：
Figure BDA0001942745540000123
式中，
Figure BDA0001942745540000124
表示输入变量x(k)，k＝n时，也即是 输入变量x(k)个数为n时该非线性系统的利普希茨商；
步骤2.5、通过式(9)得到关于直拉硅单晶的提拉速度和晶体直 径的离散时间非线性系统不同输入和输出阶次下的利普希茨商
Figure BDA0001942745540000125
Figure BDA0001942745540000126
式中，qij (n)(k)由式(8)求得，k＝1,2,3,...,p，p为正整数，取值 范围为：0.01～0.02n，nu＝ny＝(1,2,...,8)；
步骤2.6、根据式(9)得到的利普希茨商
Figure BDA0001942745540000127
观察nu分别取值 1～8时，ny增大，利普希茨商
Figure BDA0001942745540000128
基本不变，则确定此时利普希茨商
Figure BDA0001942745540000129
对应的ny为最优ny，将该最优ny作为关于直拉硅单晶的提拉速 度和晶体直径的离散时间非线性系统的输出阶次；
步骤2.7、根据式(9)得到的利普希茨商
Figure BDA0001942745540000131
在步骤2.6确定最 优的ny的基础上，固定ny，观察nu分别取值1～8时，取
Figure BDA0001942745540000132
计算
Figure BDA0001942745540000133
的值，并判断是否接近1，当比值接近1时，此时 nu为最优nu，将此最优nu作为关于直拉硅单晶的提拉速度和晶体直径 的离散时间非线性系统的输入阶次，其中
Figure BDA0001942745540000134
为和
Figure BDA0001942745540000135
输出阶次 相同，输入阶次比
Figure BDA0001942745540000136
大一阶次的利普希茨商；
步骤2.8、将经步骤2.6、步骤2.7确定得到的关于直拉硅单晶的 提拉速度和晶体直径的离散时间非线性系统的输入阶次nu、输出阶次 ny和经步骤1得到的[x(1),y(1),...,x(k),y(k)]代入式(1)中，确定得到具 体的关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统 模型表达式。
步骤3具体按照以下步骤实施：
步骤3.1、确定DBN网络的训练周期，学习率η以及样本数量n， 样本数量n为经步骤1获得的多组数据对的个数；
步骤3.2、初始化DBN网络层数N、权重wij、偏置量a,b，隐含 层节点数，确定DBN网络层数的第N层为输出层，N＝4；
步骤3.3、使用连续受限玻尔兹曼机模型作为DBN网络的第一 层，将经步骤2得到的关于直拉硅单晶的提拉速度和晶体直径的离散 时间非线性系统模型表达式X(k)中的作为连续受限玻尔兹曼机模型 的可视层状态向量，并记作v；
步骤3.4、将经步骤3.2初始化得到的权重wij作为连续受限玻尔 兹曼机模型可视层和隐层之间的连接权重，利用式(10)计算得到连 续受限玻尔兹曼机模型的隐层特征向量h1，式(10)为：
Figure BDA0001942745540000141
式中，h1＝(h1,h2,...,hj)，v表示连续受限玻尔兹曼机模型的可视层 状态向量，v＝(v1,v2,...,vi)，i表示连续受限玻尔兹曼机模型可视层中包含 的神经元个数，bj为隐层的偏置，sigmoid为隐层的激活函数，j表示 连续受限玻尔兹曼机模型隐层中包含的神经元个数；
步骤3.5、将经步骤3.2初始化得到的权重wij作为连续受限玻尔 兹曼机模型可视层和隐层之间的连接权重，利用经步骤3.4得到的隐 层特征h1结合式(11)重构DBN网络第一层得到连续受限玻尔兹曼 机模型可视层的状态向量v'，式(11)为：
Figure BDA0001942745540000142
式中，i表示连续受限玻尔兹曼机模型可视层中包含的神经元个 数，j表示连续受限玻尔兹曼机模型隐层中包含的神经元个数，ai为 可视层的偏置，sigmoid为第一层的激活函数；
步骤3.6、利用式(12)-(14)更新连续受限玻尔兹曼机模型权重wij以 及偏置量a，b，式(12)-(14)为：
Figure BDA0001942745540000143
a＝ai+(vi-v'i) (13)
b＝bj+[p(hj|v)-p(hj|'v)] (14)
步骤3.7、将经步骤3.4的隐层特征h1看作为DBN网络的第二层 连续受限玻尔兹曼机模型的可视层向量，重复步骤3.4至3.6，得到 DBN网络的第二层连续受限玻尔兹曼机模型的隐层特征h2并且完成 网络权值和偏置的更新；
步骤3.8、将经步骤3.7得到的隐层特征h2看作DBN网络的第三 层连续受限玻尔兹曼机模型的可视层向量，重复步骤3.4至3.6，得 到DBN网络的第三层连续受限玻尔兹曼机模型的隐层特征h3并且完 成网络权值和偏置的更新，将h3看作为DBN网络的第四层连续受限 玻尔兹曼机模型的可视层向量；
步骤3.9、对DBN网络的第N-2层到第N层采用ELM算法，已 知DBN网络的第N-2层到第N层的网络模型为式(15)，式(15) 如下：
Figure BDA0001942745540000151
其中，βi是DBN网络第N-1层和第N层之间的连接权重，wij是 连续受限玻尔兹曼机模型可视层和隐层之间的连接权重也是第N-2 层和第N-1层之间的连接权重，h1是上述步骤3.4中得到的连续受限 玻尔兹曼机模型的隐层特征向量，ci为第N-1层的偏置，tj为目标输 出，g是激活函数；
将式(15)矩阵化表示为：
Hβ＝T (16)
其中，H是DBN网络的第N-1层隐层节点输出矩阵，T为期望 输出，β是DBN网络的第N-1层和第N层之间的连接权重，
利用式(16)的极小二范数的最小二乘解位移确定权重矩阵
Figure BDA0001942745540000152
Figure BDA0001942745540000161
式中，H+是H的Moore-Penrose广义逆矩阵；
步骤3.10、利用步骤3.9计算得到的
Figure BDA0001942745540000164
与H矩阵相乘，得到DBN 网络的最终输出oj；
步骤3.11、利用式(18)判断DBN网络的最终输出误差e(k)是 否达到设定阈值δ，式(18)为：
Figure BDA0001942745540000162
若达到设定阈值δ则停止训练，若没有则继续增加DBN网络的 网络层数，重复步骤3.3至步骤3.11直至DBN网络的最终输出误差 达到设定阈值δ。
实施例
首先，为提高计算速度，对直拉硅单晶在不同时刻下的提拉速度、 晶体直径的每5个数据进行一次采样，采样时间2s，采样获得的提拉 速度和晶体直径数据如图2、图3所示，将每次采样的提拉速度和晶 体直径的数据记录成多组数据对，由于晶体提升速度和直径数据的数 量级不同，将数据都归一化到[0，1]范围内，作为深度信念网络即DBN 网络的输入，选取其中700组作为训练数据，300组作为测试数据。
建立关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性 系统之后，将700组数据对输入至系统，如图4所示在输入阶次固定 的情况下，输出阶次到4基本不变。固定输出阶次，可以看到输入阶 次在3的时候，可以看出
Figure BDA0001942745540000163
的值接近1。因此可以确定本系 统的输入阶次为3，输出阶次为4。
当确定了系统输入输出阶次，网络输入项也就确定，再对DBN网 络进行辨识训练，训练之后的DBN网络如图5所示，网络结构为 6-100-100-1共四层，初始迭代次数为1000次，学习率为0.1，隐藏 层激活函数使用sigmoid函数，输出层使用ReLU函数，将300组作 为测试数据输入至训练之后的DBN网络进行辨识，输出结果如图6 和图7所示，分别表示直拉硅单晶直径输出辨识结果和直拉硅单晶直 径输出辨识误差。从图6和图7可以看出，通过本发明一种直拉硅单 晶提拉速度-晶体直径辨识模型建模方法得到的晶体提升速度-直径 辨识模型，网络输出与实际输出数据基本重合，误差e(k)基本维持在 ±0.01之间，均方误差达到了1.4789e-10，辨识精度高。

Claims (3)

1.一种直拉硅单晶提拉速度-晶体直径辨识模型建模方法，其特征在于，具体按照以下步骤实施：
步骤1、多次采样，记录直拉硅单晶在不同采样时刻k下的提拉速度和晶体直径，将直拉硅单晶在同一采样时刻下的提拉速度和晶体直径作为一组数据对，形成不同采样时刻k下的多组数据对：[x(1),y(1),...,x(k),y(k)]，k＝(1,2,3,...,n)；
步骤2、建立关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统，利用经步骤1采样得到的多组数据对构建利普希茨商，再通过利普希茨商确定该离散时间非线性系统的输入和输出阶次，确定得到具体的关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统模型表达式；
步骤3、利用经步骤2得到的关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统模型表达式对DBN网络进行训练；
步骤4、将训练好的DBN网络作为直拉硅单晶提拉速度-晶体直径辨识模型，即训练好的DBN网络的权值和阈值作为关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统模型的模型参数。
2.根据权利要求1所述的一种直拉硅单晶提拉速度-晶体直径辨识模型建模方法，其特征在于，所述步骤2具体按照以下步骤实施：
步骤2.1、利用NARMA模型建立关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统模型如式(1)所示：
y(k)＝f[X(k)] (1)
式中，X(k)＝[y(k-1),...,y(k-ny),x(k),...,x(k-nu)]；x(k),...,x(k-nu)为直拉硅单晶在不同采样时刻下的提拉速度；y(k-1),...,y(k-ny)为直拉硅单晶在不同时刻下的晶体直径；k表示采样时刻；nu、ny分别表示该离散时间非线性系统的输入和输出阶次；
步骤2.2、描述直拉硅单晶提拉速度和晶体直径之间的非线性关系如式(2)所示：
y＝f(x)＝f(x1,x2,…,xn) (2)
式中，x1,x2,…,xn为经步骤1得到的直拉硅单晶在不同采样时刻k下的提拉速度，y为直拉硅单晶晶体直径，f(x)是其定义域内的连续函数并满足：
Figure RE-FDA0002080317840000021
式中，M是一个正数；
步骤2.3、构建关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统的利普希茨商表达式如式(4)所示，将经步骤1得到的多组数据对：[x(1),y(1),...,x(k),y(k)]代入式(4)中得到利普希茨商qij：
Figure RE-FDA0002080317840000022
式中，yi和yj表示不相同采样时刻下的晶体直径，|yi-yj|代表点yi和yj在空间中的距离，xi和xj表示不相同采样时刻下的提拉速度，|xi-xj|代表点xi和xj在空间中的距离；
步骤2.4、基于式(2)对直拉硅单晶的提拉速度和晶体直径进行敏感性分析得：
δy＝f1δx1+f2δx2+…+fnδxn (5)
式中，δy＝yn-yn-1，f1,f2,f3,...,fn是函数f(x)关于x的偏导数，
结合式(4)和式(5)可得：
Figure RE-FDA0002080317840000031
将式(5)代入式(6)得：
Figure RE-FDA0002080317840000032
结合式(3)和式(7)可得：
Figure RE-FDA0002080317840000033
式中，
Figure RE-FDA0002080317840000034
表示输入变量x(k)，k＝n时，也即是输入变量x(k)个数为n时该非线性系统的利普希茨商；
步骤2.5、通过式(9)得到关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统不同输入和输出阶次下的利普希茨商
Figure RE-FDA0002080317840000035
Figure RE-FDA0002080317840000036
式中，qij (n)(k)由式(8)求得，k＝1,2,3,...,p，p为正整数，取值范围为：0.01～0.02n，nu＝ny＝(1,2,...,8)；
步骤2.6、根据式(9)得到的利普希茨商
Figure RE-FDA0002080317840000037
观察nu分别取值1～8时，ny增大，利普希茨商
Figure RE-FDA0002080317840000038
基本不变，则确定此时利普希茨商
Figure RE-FDA0002080317840000039
对应的ny为最优ny，将该最优ny作为关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统的输出阶次；
步骤2.7、根据式(9)得到的利普希茨商
Figure RE-FDA0002080317840000041
在步骤2.6确定最优的ny的基础上，固定ny，观察nu分别取值1～8时，取
Figure RE-FDA0002080317840000042
计算
Figure RE-FDA0002080317840000043
的值，并判断是否接近1，当比值接近1时，此时nu为最优nu，将此最优nu作为关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统的输入阶次，其中
Figure RE-FDA0002080317840000044
为和
Figure RE-FDA0002080317840000045
输出阶次相同，输入阶次比
Figure RE-FDA0002080317840000046
大一阶次的利普希茨商；
步骤2.8、将经步骤2.6、步骤2.7确定得到的关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统的输入阶次nu、输出阶次ny和经步骤1得到的[x(1),y(1),...,x(k),y(k)]代入式(1)中，确定得到具体的关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统模型表达式。
3.根据权利要求2所述的一种直拉硅单晶提拉速度-晶体直径辨识模型建模方法，其特征在于，所述步骤3具体按照以下步骤实施：
步骤3.1、确定DBN网络的训练周期，学习率η以及样本数量n，样本数量n为经步骤1获得的多组数据对的个数；
步骤3.2、初始化DBN网络层数N、权重wij、偏置量a,b，隐含层节点数，确定DBN网络层数的第N层为输出层，N＝4；
步骤3.3、使用连续受限玻尔兹曼机模型作为DBN网络的第一层，将经步骤2得到的关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统模型表达式中的X(k)作为连续受限玻尔兹曼机模型的可视层状态向量，并记作v；
步骤3.4、将经步骤3.2初始化得到的权重wij作为连续受限玻尔兹曼机模型可视层和隐层之间的连接权重，利用式(10)计算得到连续受限玻尔兹曼机模型的隐层特征向量h1，所述式(10)为：
Figure FDA0001942745530000051
式中，h1＝(h1,h2,...,hj)，v表示连续受限玻尔兹曼机模型的可视层状态向量，v＝(v1,v2,...,vi)，i表示连续受限玻尔兹曼机模型可视层中包含的神经元个数，bj为隐层的偏置，sigmoid为隐层的激活函数，j表示连续受限玻尔兹曼机模型隐层中包含的神经元个数；
步骤3.5、将经步骤3.2初始化得到的权重wij作为连续受限玻尔兹曼机模型可视层和隐层之间的连接权重，利用经步骤3.4得到的隐层特征h1结合式(11)重构DBN网络第一层得到连续受限玻尔兹曼机模型可视层的状态向量v'，所述式(11)为：
Figure FDA0001942745530000052
式中，i表示连续受限玻尔兹曼机模型可视层中包含的神经元个数，j表示连续受限玻尔兹曼机模型隐层中包含的神经元个数，ai为可视层的偏置，sigmoid为第一层的激活函数；
步骤3.6、利用式(12)-(14)更新连续受限玻尔兹曼机模型权重wij以及偏置量a，b，所述式(12)-(14)为：
Figure FDA0001942745530000053
a＝ai+(vi-v′i) (13)
b＝bj+[p(hj|v)-p(hj|v')] (14)
步骤3.7、将经步骤3.4的隐层特征h1看作为DBN网络的第二层连续受限玻尔兹曼机模型的可视层向量，重复步骤3.4至3.6，得到DBN网络的第二层连续受限玻尔兹曼机模型的隐层特征h2并且完成网络权值和偏置的更新；
步骤3.8、将经步骤3.7得到的隐层特征h2看作DBN网络的第三层连续受限玻尔兹曼机模型的可视层向量，重复步骤3.4至3.6，得到DBN网络的第三层连续受限玻尔兹曼机模型的隐层特征h3并且完成网络权值和偏置的更新，将h3看作为DBN网络的第四层连续受限玻尔兹曼机模型的可视层向量；
步骤3.9、对DBN网络的第N-2层到第N层采用ELM算法，已知DBN网络的第N-2层到第N层的网络模型为式(15)，所述式(15)如下：
Figure FDA0001942745530000061
其中，βi是DBN网络第N-1层和第N层之间的连接权重，wij是连续受限玻尔兹曼机模型可视层和隐层之间的连接权重也是第N-2层和第N-1层之间的连接权重，h1是上述步骤3.4中得到的连续受限玻尔兹曼机模型的隐层特征向量，ci为第N-1层的偏置，tj为目标输出，g是激活函数；
将式(15)矩阵化表示为：
Hβ＝T (16)
其中，H是DBN网络的第N-1层隐层节点输出矩阵，T为期望输出，β是DBN网络的第N-1层和第N层之间的连接权重，
利用式(16)的极小二范数的最小二乘解位移确定权重矩阵
Figure FDA0001942745530000071
Figure FDA0001942745530000072
式中，H+是H的Moore-Penrose广义逆矩阵；
步骤3.10、利用步骤3.9计算得到的
Figure FDA0001942745530000073
与H矩阵相乘，得到DBN网络的最终输出oj；
步骤3.11、利用式(18)判断DBN网络的最终输出误差e(k)是否达到设定阈值δ，所述式(18)为：
Figure FDA0001942745530000074
若达到设定阈值δ则停止训练，若没有则继续增加DBN网络的网络层数，重复步骤3.3至步骤3.11直至DBN网络的最终输出误差达到设定阈值δ。
CN201910026707.2A 2019-01-11 2019-01-11 一种直拉硅单晶提拉速度-晶体直径辨识模型建模方法 Active CN110009094B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910026707.2A CN110009094B (zh) 2019-01-11 2019-01-11 一种直拉硅单晶提拉速度-晶体直径辨识模型建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910026707.2A CN110009094B (zh) 2019-01-11 2019-01-11 一种直拉硅单晶提拉速度-晶体直径辨识模型建模方法

Publications (2)

Publication Number Publication Date
CN110009094A CN110009094A (zh) 2019-07-12
CN110009094B true CN110009094B (zh) 2022-09-16

Family

ID=67165370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910026707.2A Active CN110009094B (zh) 2019-01-11 2019-01-11 一种直拉硅单晶提拉速度-晶体直径辨识模型建模方法

Country Status (1)

Country Link
CN (1) CN110009094B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101724891A (zh) * 2009-12-14 2010-06-09 晶龙实业集团有限公司 直拉硅单晶直径自动补偿方法
WO2013125157A1 (ja) * 2012-02-21 2013-08-29 信越半導体株式会社 シリコン融液面の高さ位置の算出方法およびシリコン単結晶の引上げ方法ならびにシリコン単結晶引上げ装置
CN107868979A (zh) * 2017-08-31 2018-04-03 西安理工大学 一种基于恒拉速控制结构的硅单晶直径控制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101724891A (zh) * 2009-12-14 2010-06-09 晶龙实业集团有限公司 直拉硅单晶直径自动补偿方法
WO2013125157A1 (ja) * 2012-02-21 2013-08-29 信越半導体株式会社 シリコン融液面の高さ位置の算出方法およびシリコン単結晶の引上げ方法ならびにシリコン単結晶引上げ装置
CN107868979A (zh) * 2017-08-31 2018-04-03 西安理工大学 一种基于恒拉速控制结构的硅单晶直径控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
大直径直拉硅单晶等径的PID参数优化;姜舰等;《稀有金属》;20101115(第06期);全文 *
直拉硅单晶生长过程建模与控制研究综述;刘丁等;《控制理论与应用》;20170115(第01期);全文 *

Also Published As

Publication number Publication date
CN110009094A (zh) 2019-07-12

Similar Documents

Publication Publication Date Title
CN111241952B (zh) 一种离散制造场景中的强化学习奖励自学习方法
CN114185264B (zh) 一种基于物理信息神经网络的pid控制器参数整定方法
CN102831269B (zh) 一种流程工业过程工艺参数的确定方法
CN108764540B (zh) 基于并行lstm串联dnn的供水管网压力预测方法
CN108284442B (zh) 一种基于模糊神经网络的机械臂柔性关节控制方法
CN109389207A (zh) 一种自适应神经网络学习方法及神经网络系统
CN108008627B (zh) 一种并行优化的强化学习自适应pid控制方法
CN110018675A (zh) 基于lwdnn-arx模型的非线性系统建模方法
CN111310965A (zh) 一种基于lstm网络的飞行器航迹预测方法
CN108665093A (zh) 基于深度学习的高速公路交通事故严重度预测方法
CN103226728B (zh) 高密度聚乙烯串级聚合反应过程智能检测与收率优化方法
Mu et al. An ADDHP-based Q-learning algorithm for optimal tracking control of linear discrete-time systems with unknown dynamics
CN113722997A (zh) 一种基于静态油气田数据的新井动态产量预测方法
FI20175970A1 (en) Setting up a control system for the target system
CN113052373A (zh) 一种基于改进elm模型的月径流变化趋势预测方法
KOO Back-propagation
CN110991605A (zh) 多变量时间序列深度信念网络的低压铸造模温预测方法
CN112001115A (zh) 一种半监督动态软测量网络的软测量建模方法
CN110009094B (zh) 一种直拉硅单晶提拉速度-晶体直径辨识模型建模方法
CN113468466B (zh) 基于神经网络的一维波动方程求解方法
CN103279030B (zh) 基于贝叶斯框架的动态软测量建模方法及装置
Wolff et al. Towards shape optimization of flow channels in profile extrusion dies using reinforcement learning
CN112613909A (zh) 一种基于改进lstm模型的农产品短期价格预测方法及装置
CN114330089B (zh) 一种稀土元素含量变化预测方法及系统
CN112364527B (zh) 一种基于aliesn在线学习算法的脱丁烷塔软测量建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant