CN110009094A - 一种直拉硅单晶提拉速度-晶体直径辨识模型建模方法 - Google Patents

一种直拉硅单晶提拉速度-晶体直径辨识模型建模方法 Download PDF

Info

Publication number
CN110009094A
CN110009094A CN201910026707.2A CN201910026707A CN110009094A CN 110009094 A CN110009094 A CN 110009094A CN 201910026707 A CN201910026707 A CN 201910026707A CN 110009094 A CN110009094 A CN 110009094A
Authority
CN
China
Prior art keywords
formula
pull rate
crystal diameter
czochralski silicon
silicon monocrystal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910026707.2A
Other languages
English (en)
Other versions
CN110009094B (zh
Inventor
刘丁
张晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201910026707.2A priority Critical patent/CN110009094B/zh
Publication of CN110009094A publication Critical patent/CN110009094A/zh
Application granted granted Critical
Publication of CN110009094B publication Critical patent/CN110009094B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • C—CHEMISTRY; METALLURGY
    • C30—CRYSTAL GROWTH
    • C30B—SINGLE-CRYSTAL GROWTH; UNIDIRECTIONAL SOLIDIFICATION OF EUTECTIC MATERIAL OR UNIDIRECTIONAL DEMIXING OF EUTECTOID MATERIAL; REFINING BY ZONE-MELTING OF MATERIAL; PRODUCTION OF A HOMOGENEOUS POLYCRYSTALLINE MATERIAL WITH DEFINED STRUCTURE; SINGLE CRYSTALS OR HOMOGENEOUS POLYCRYSTALLINE MATERIAL WITH DEFINED STRUCTURE; AFTER-TREATMENT OF SINGLE CRYSTALS OR A HOMOGENEOUS POLYCRYSTALLINE MATERIAL WITH DEFINED STRUCTURE; APPARATUS THEREFOR
    • C30B15/00—Single-crystal growth by pulling from a melt, e.g. Czochralski method
    • C30B15/20—Controlling or regulating
    • C30B15/22—Stabilisation or shape controlling of the molten zone near the pulled crystal; Controlling the section of the crystal
    • C—CHEMISTRY; METALLURGY
    • C30—CRYSTAL GROWTH
    • C30B—SINGLE-CRYSTAL GROWTH; UNIDIRECTIONAL SOLIDIFICATION OF EUTECTIC MATERIAL OR UNIDIRECTIONAL DEMIXING OF EUTECTOID MATERIAL; REFINING BY ZONE-MELTING OF MATERIAL; PRODUCTION OF A HOMOGENEOUS POLYCRYSTALLINE MATERIAL WITH DEFINED STRUCTURE; SINGLE CRYSTALS OR HOMOGENEOUS POLYCRYSTALLINE MATERIAL WITH DEFINED STRUCTURE; AFTER-TREATMENT OF SINGLE CRYSTALS OR A HOMOGENEOUS POLYCRYSTALLINE MATERIAL WITH DEFINED STRUCTURE; APPARATUS THEREFOR
    • C30B29/00—Single crystals or homogeneous polycrystalline material with defined structure characterised by the material or by their shape
    • C30B29/02—Elements
    • C30B29/06—Silicon
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Materials Engineering (AREA)
  • Metallurgy (AREA)
  • Organic Chemistry (AREA)
  • Crystals, And After-Treatments Of Crystals (AREA)

Abstract

本发明一种直拉硅单晶提拉速度‑晶体直径辨识模型建模方法，具体按照如下步骤进行：步骤1、多次采样，记录直拉硅单晶在不同采样时刻k下的提拉速度和晶体直径，形成不同采样时刻k下的多组数据对；步骤2、确定得到具体的关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统模型表达式；步骤3、对DBN网络进行训练；步骤4、将训练好的DBN网络作为直拉硅单晶提拉速度‑晶体直径辨识模型。本发明一种直拉硅单晶提拉速度‑晶体直径辨识模型建模方法解决了现有技术采用DBN网络进行训练存在的不足。

Description

一种直拉硅单晶提拉速度-晶体直径辨识模型建模方法
技术领域
本发明属于硅单晶生长辨识方法技术领域，具体涉及一种直拉硅 单晶提拉速度-晶体直径辨识模型建模方法。
背景技术
硅单晶作为半导体行业基础材料之一，对集成电路产业发展起着 重要作用。随着极大规模集成电路发展，对硅单晶提出了大尺寸、高 品质等要求。目前制备硅单晶最为重要的方法是基于传统控制结构的 直拉法。在传统控制结构中，晶体提拉速度依赖人工经验且控制器参 数常通过反复实验获得。除此之外，晶体生长过程中晶体直径与晶体 提拉速度之间的关系为非线性关系。为避免拉速曲线和控制器参数设 置不合理，最有效策略是建立晶体提拉速度-晶体直径非线性模型， 并采用基于模型的控制策略实现晶体直径控制，从而达到提高晶体品 质的目的。
目前用于晶体生长过程建模的方法主要有集总参数模型、浅层结 构算法，如BP神经网络等。集总参数模型法仅适应于能够写出数学 表达式的系统，并且需要选取大量的参数，对参数选取精度要求高， 而晶体生长过程机理过于复杂，因此在描写系统的数学表达式时对某 些因素进行了忽略，导致得到的模型不够精确，也就难以满足精确控 制的要求。浅层结构算法的局限性在于有限样本和计算单元下对复杂 函数的表示能力有限，针对复杂分类和回归问题泛化能力受到一定制 约。而深度学习可以通过学习一种深层非线性网络结构，实现复杂的 函数逼近，因此本发明采用深度学习算法中的深度信念网络(DeepBelief Network，DBN)对直拉法单晶硅晶体生长过程中晶体直径-晶体 提拉速度之间的关系进行建模。同时，由于训练DBN采用基于梯度 的全局优化算法，容易陷入局部最优，并且训练时间长，因此本发明 采用极限学习机来对网络参数进行求解，极限学习机具有学习速度 快、泛化性能好等优点，运用到DBN训练中，不用进行反向调节参 数而提高了DBN网络的性能。
发明内容
本发明的目的在于提供一种直拉硅单晶提拉速度-晶体直径辨识 模型建模方法，解决了现有技术采用DBN网络进行训练存在的不足。
本发明所采用的技术方案是，一种直拉硅单晶提拉速度-晶体直 径辨识模型建模方法，具体按照以下步骤实施：
步骤1、多次采样，记录直拉硅单晶在不同采样时刻k下的提拉 速度和晶体直径，将直拉硅单晶在同一采样时刻下的提拉速度和晶体 直径作为一组数据对，形成不同采样时刻k下的多组数据对： [x(1),y(1),...,x(k),y(k)]，k＝(1,2,3,...,n)；
步骤2、建立关于直拉硅单晶的提拉速度和晶体直径的离散时间 非线性系统，利用经步骤1采样得到的多组数据对构建利普希茨商， 再通过利普希茨商确定该离散时间非线性系统的输入和输出阶次，确 定得到具体的关于直拉硅单晶的提拉速度和晶体直径的离散时间非 线性系统模型表达式；
步骤3、利用经步骤2得到的关于直拉硅单晶的提拉速度和晶体 直径的离散时间非线性系统模型表达式对DBN网络进行训练；
步骤4、将训练好的DBN网络作为直拉硅单晶提拉速度-晶体直 径辨识模型，即训练好的DBN网络的权值和阈值作为关于直拉硅单 晶的提拉速度和晶体直径的离散时间非线性系统模型的模型参数。
本发明的特点还在于：
步骤2具体按照以下步骤实施：
步骤2.1、利用NARMA模型建立关于直拉硅单晶的提拉速度和 晶体直径的离散时间非线性系统模型如式(1)所示：
y(k)＝f[X(k)] (1)
式中，X(k)＝[y(k-1),...,y(k-ny),x(k),...,x(k-nu)]；x(k),...,x(k-nu)为直拉硅单晶在不同采样时刻下的提拉速度；y(k-1),...,y(k-ny)为直拉硅单 晶在不同时刻下的晶体直径；k表示采样时刻；nu、ny分别表示该 离散时间非线性系统的输入和输出阶次；
步骤2.2、描述直拉硅单晶提拉速度和晶体直径之间的非线性关 系如式(2)所示：
y＝f(x)＝f(x1,x2,L,xn) (2)
式中，x1,x2,L,xn为经步骤1得到的直拉硅单晶在不同采样时刻k 下的提拉速度，y为直拉硅单晶晶体直径，f(x)是其定义域内的连续 函数并满足：
式中，M是一个正数；
步骤2.3、构建关于直拉硅单晶的提拉速度和晶体直径的离散时 间非线性系统的利普希茨商表达式如式(4)所示，将经步骤1得到 的多组数据对：[x(1),y(1),...,x(k),y(k)]代入式(4)中得到利普希茨商qij：
式中，yi和yj表示不相同采样时刻下的晶体直径，|yi-yj|代表点 yi和yj在空间中的距离，xi和xj表示不相同采样时刻下的提拉速度， |xi-xj|代表点xi和xj在空间中的距离；
步骤2.4、基于式(2)对直拉硅单晶的提拉速度和晶体直径进行 敏感性分析得：
δy＝f1δx1+f2δx2+L+fnδxn (5)
式中，δy＝yn-yn-1，f1,f2,f3,...,fn是函数f(x)关于x的偏导数，
结合式(4)和式(5)可得：
将式(5)代入式(6)得：
结合式(3)和式(7)可得：
式中，表示输入变量x(k)，k＝n时，也即是 输入变量x(k)个数为n时该非线性系统的利普希茨商；
步骤2.5、通过式(9)得到关于直拉硅单晶的提拉速度和晶体直 径的离散时间非线性系统不同输入和输出阶次下的利普希茨商
式中，qij (n)(k)由式(8)求得，k＝1,2,3,...,p，p为正整数，取值 范围为：0.01～0.02n，nu＝ny＝(1,2,...,8)；
步骤2.6、根据式(9)得到的利普希茨商观察nu分别取值 1～8时，ny增大，利普希茨商基本不变，则确定此时利普希茨商 对应的ny为最优ny，将该最优ny作为关于直拉硅单晶的提拉速 度和晶体直径的离散时间非线性系统的输出阶次；
步骤2.7、根据式(9)得到的利普希茨商在步骤2.6确定最 优的ny的基础上，固定ny，观察nu分别取值1～8时，取计算的值，并判断是否接近1，当比值接近1时，此时 nu为最优nu，将此最优nu作为关于直拉硅单晶的提拉速度和晶体直径 的离散时间非线性系统的输入阶次，其中为和输出阶次 相同，输入阶次比大一阶次的利普希茨商；
步骤2.8、将经步骤2.6、步骤2.7确定得到的关于直拉硅单晶的 提拉速度和晶体直径的离散时间非线性系统的输入阶次nu、输出阶次 ny和经步骤1得到的[x(1),y(1),...,x(k),y(k)]代入式(1)中，确定得到具 体的关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统 模型表达式。
步骤3具体按照以下步骤实施：
步骤3.1、确定DBN网络的训练周期，学习率η以及样本数量n， 样本数量n为经步骤1获得的多组数据对的个数；
步骤3.2、初始化DBN网络层数N、权重wij、偏置量a,b，隐含 层节点数，确定DBN网络层数的第N层为输出层，N＝4；
步骤3.3、使用连续受限玻尔兹曼机模型作为DBN网络的第一 层，将经步骤2得到的关于直拉硅单晶的提拉速度和晶体直径的离散 时间非线性系统模型表达式中的X(k)作为连续受限玻尔兹曼机模型 的可视层状态向量，并记作v；
步骤3.4、将经步骤3.2初始化得到的权重wij作为连续受限玻尔 兹曼机模型可视层和隐层之间的连接权重，利用式(10)计算得到连 续受限玻尔兹曼机模型的隐层特征向量h1，式(10)为：
式中，h1＝(h1,h2,...,hj)，v表示连续受限玻尔兹曼机模型的可视层 状态向量，v＝(v1,v2,...,vi)，i表示连续受限玻尔兹曼机模型可视层中包含 的神经元个数，bj为隐层的偏置，sigmoid为隐层的激活函数，j表示 连续受限玻尔兹曼机模型隐层中包含的神经元个数；
步骤3.5、将经步骤3.2初始化得到的权重wij作为连续受限玻尔 兹曼机模型可视层和隐层之间的连接权重，利用经步骤3.4得到的隐 层特征h1结合式(11)重构DBN网络第一层得到连续受限玻尔兹曼 机模型可视层的状态向量v'，式(11)为：
式中，i表示连续受限玻尔兹曼机模型可视层中包含的神经元个 数，j表示连续受限玻尔兹曼机模型隐层中包含的神经元个数，ai为 可视层的偏置，sigmoid为第一层的激活函数；
步骤3.6、利用式(12)-(14)更新连续受限玻尔兹曼机模型权重wij以 及偏置量a，b，式(12)-(14)为：
a＝ai+(vi-v'i) (13)
b＝bj+[p(hj|v)-p(hj|v')] (14)
步骤3.7、将经步骤3.4的隐层特征h1看作为DBN网络的第二层 连续受限玻尔兹曼机模型的可视层向量，重复步骤3.4至3.6，得到 DBN网络的第二层连续受限玻尔兹曼机模型的隐层特征h2并且完成 网络权值和偏置的更新；
步骤3.8、将经步骤3.7得到的隐层特征h2看作DBN网络的第三 层连续受限玻尔兹曼机模型的可视层向量，重复步骤3.4至3.6，得 到DBN网络的第三层连续受限玻尔兹曼机模型的隐层特征h3并且完 成网络权值和偏置的更新，将h3看作为DBN网络的第四层连续受限 玻尔兹曼机模型的可视层向量；
步骤3.9、对DBN网络的第N-2层到第N层采用ELM算法，已 知DBN网络的第N-2层到第N层的网络模型为式(15)，式(15) 如下：
其中，βi是DBN网络第N-1层和第N层之间的连接权重，wij是 连续受限玻尔兹曼机模型可视层和隐层之间的连接权重也是第N-2 层和第N-1层之间的连接权重，h1是上述步骤3.4中得到的连续受限 玻尔兹曼机模型的隐层特征向量，ci为第N-1层的偏置，tj为目标输 出，g是激活函数；
将式(15)矩阵化表示为：
Hβ＝T (16)
其中，H是DBN网络的第N-1层隐层节点输出矩阵，T为期望 输出，β是DBN网络的第N-1层和第N层之间的连接权重，
利用式(16)的极小二范数的最小二乘解位移确定权重矩阵
式中，H+是H的Moore-Penrose广义逆矩阵；
步骤3.10、利用步骤3.9计算得到的与H矩阵相乘，得到DBN 网络的最终输出oj；
步骤3.11、利用式(18)判断DBN网络的最终输出误差e(k)是否 达到设定阈值δ，式(18)为：
若达到设定阈值δ则停止训练，若没有则继续增加DBN网络的 网络层数，重复步骤3.3至步骤3.11直至DBN网络的最终输出误差 达到设定阈值δ。
本发明的有益效果是：本发明一种直拉硅单晶提拉速度-晶体直 径辨识模型建模方法通过使用采样获得的数据对构建利普希茨商，通 过利普希茨商确定系统的输入输出阶次，然后通过DBN网络建立辨 识模型，在DBN网络第一层引入连续受限玻尔兹曼机模型，使其能 够处理直接从系统中采集的输入输出数据，而非传统DBN网络输入 必须为0和1，同时采用ELM算法对网络进行权值更新，并且简化 了深度信念网络的反向训练过程，有效的解决了现有硅单晶晶体直径 -晶体提拉速度模型辨识方法精度不高的问题。
附图说明
图1是本发明一种直拉硅单晶提拉速度-晶体直径辨识模型建模 方法辨识流程图；
图2是对直拉硅单晶晶体提拉速度进行采样得到的数据图；
图3是对直拉硅单晶晶体直径进行采样得到的数据图；
图4是系统输入阶次和输出阶次折线图；
图5是本发明一种直拉硅单晶提拉速度-晶体直径辨识模型建模 方法运用的DBN网络结构图；
图6是DBN网络辨识直拉硅单晶直径输出与实际直径输出对比 图；
图7是DBN网络辨识直拉硅单晶直径输出与实际直径输出误差 图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种直拉硅单晶提拉速度-晶体直径辨识模型建模方法， 其辨识流程如图1所示，图中x(k)表示采样获得的为直拉硅单晶的提 拉速度，y(k)表示为采样获得的直拉硅单晶的晶体直径，k表示采样 时刻，e(k)表示DBN网络的输出误差，具体步骤如下：
步骤1、多次采样，记录直拉硅单晶在不同采样时刻k下的提拉 速度和晶体直径，将直拉硅单晶在同一采样时刻下的提拉速度和晶体 直径作为一组数据对，形成不同采样时刻k下的多组数据对： [x(1),y(1),...,x(k),y(k)]，k＝(1,2,3,...,n)；
步骤2、建立关于直拉硅单晶的提拉速度和晶体直径的离散时间 非线性系统，利用经步骤1采样得到的多组数据对构建利普希茨商， 再通过利普希茨商确定该离散时间非线性系统的输入和输出阶次，确 定得到具体的关于直拉硅单晶的提拉速度和晶体直径的离散时间非 线性系统模型表达式；
步骤3、利用经步骤2得到的关于直拉硅单晶的提拉速度和晶体 直径的离散时间非线性系统模型表达式对DBN网络进行训练；
步骤4、将训练好的DBN网络作为直拉硅单晶提拉速度-晶体直 径辨识模型，即训练好的DBN网络的权值和阈值作为关于直拉硅单 晶的提拉速度和晶体直径的离散时间非线性系统模型的模型参数。
本发明的特点还在于：
步骤2具体按照以下步骤实施：
步骤2.1、利用NARMA模型建立关于直拉硅单晶的提拉速度和 晶体直径的离散时间非线性系统模型如式(1)所示：
y(k)＝f[X(k)] (1)
式中，X(k)＝[y(k-1),...,y(k-ny),x(k),...,x(k-nu)]；x(k),...,x(k-nu)为直拉硅单晶在不同采样时刻下的提拉速度；y(k-1),...,y(k-ny)为直拉硅单 晶在不同时刻下的晶体直径；k表示采样时刻；nu、ny分别表示该 离散时间非线性系统的输入和输出阶次；
步骤2.2、描述直拉硅单晶提拉速度和晶体直径之间的非线性关 系如式(2)所示：
y＝f(x)＝f(x1,x2,L,xn) (2)
式中，x1,x2,L,xn为经步骤1得到的直拉硅单晶在不同采样时刻k 下的提拉速度，y为直拉硅单晶晶体直径，f(x)是其定义域内的连续 函数并满足：
式中，M是一个正数；
步骤2.3、构建关于直拉硅单晶的提拉速度和晶体直径的离散时 间非线性系统的利普希茨商表达式如式(4)所示，将经步骤1得到 的多组数据对：[x(1),y(1),...,x(k),y(k)]代入式(4)中得到利普希茨商qij：
式中，yi和yj表示不相同采样时刻下的晶体直径，|yi-yj|代表点 yi和yj在空间中的距离，xi和xj表示不相同采样时刻下的提拉速度， |xi-xj|代表点xi和xj在空间中的距离；
步骤2.4、基于式(2)对直拉硅单晶的提拉速度和晶体直径进行 敏感性分析得：
δy＝f1δx1+f2δx2+L+fnδxn (5)
式中，δy＝yn-yn-1，f1,f2,f3,...,fn是函数f(x)关于x的偏导数，
结合式(4)和式(5)可得：
将式(5)代入式(6)得：
结合式(3)和式(7)可得：
式中，表示输入变量x(k)，k＝n时，也即是 输入变量x(k)个数为n时该非线性系统的利普希茨商；
步骤2.5、通过式(9)得到关于直拉硅单晶的提拉速度和晶体直 径的离散时间非线性系统不同输入和输出阶次下的利普希茨商
式中，qij (n)(k)由式(8)求得，k＝1,2,3,...,p，p为正整数，取值 范围为：0.01～0.02n，nu＝ny＝(1,2,...,8)；
步骤2.6、根据式(9)得到的利普希茨商观察nu分别取值 1～8时，ny增大，利普希茨商基本不变，则确定此时利普希茨商 对应的ny为最优ny，将该最优ny作为关于直拉硅单晶的提拉速 度和晶体直径的离散时间非线性系统的输出阶次；
步骤2.7、根据式(9)得到的利普希茨商在步骤2.6确定最 优的ny的基础上，固定ny，观察nu分别取值1～8时，取计算的值，并判断是否接近1，当比值接近1时，此时 nu为最优nu，将此最优nu作为关于直拉硅单晶的提拉速度和晶体直径 的离散时间非线性系统的输入阶次，其中为和输出阶次 相同，输入阶次比大一阶次的利普希茨商；
步骤2.8、将经步骤2.6、步骤2.7确定得到的关于直拉硅单晶的 提拉速度和晶体直径的离散时间非线性系统的输入阶次nu、输出阶次 ny和经步骤1得到的[x(1),y(1),...,x(k),y(k)]代入式(1)中，确定得到具 体的关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统 模型表达式。
步骤3具体按照以下步骤实施：
步骤3.1、确定DBN网络的训练周期，学习率η以及样本数量n， 样本数量n为经步骤1获得的多组数据对的个数；
步骤3.2、初始化DBN网络层数N、权重wij、偏置量a,b，隐含 层节点数，确定DBN网络层数的第N层为输出层，N＝4；
步骤3.3、使用连续受限玻尔兹曼机模型作为DBN网络的第一 层，将经步骤2得到的关于直拉硅单晶的提拉速度和晶体直径的离散 时间非线性系统模型表达式X(k)中的作为连续受限玻尔兹曼机模型 的可视层状态向量，并记作v；
步骤3.4、将经步骤3.2初始化得到的权重wij作为连续受限玻尔 兹曼机模型可视层和隐层之间的连接权重，利用式(10)计算得到连 续受限玻尔兹曼机模型的隐层特征向量h1，式(10)为：
式中，h1＝(h1,h2,...,hj)，v表示连续受限玻尔兹曼机模型的可视层 状态向量，v＝(v1,v2,...,vi)，i表示连续受限玻尔兹曼机模型可视层中包含 的神经元个数，bj为隐层的偏置，sigmoid为隐层的激活函数，j表示 连续受限玻尔兹曼机模型隐层中包含的神经元个数；
步骤3.5、将经步骤3.2初始化得到的权重wij作为连续受限玻尔 兹曼机模型可视层和隐层之间的连接权重，利用经步骤3.4得到的隐 层特征h1结合式(11)重构DBN网络第一层得到连续受限玻尔兹曼 机模型可视层的状态向量v'，式(11)为：
式中，i表示连续受限玻尔兹曼机模型可视层中包含的神经元个 数，j表示连续受限玻尔兹曼机模型隐层中包含的神经元个数，ai为 可视层的偏置，sigmoid为第一层的激活函数；
步骤3.6、利用式(12)-(14)更新连续受限玻尔兹曼机模型权重wij以 及偏置量a，b，式(12)-(14)为：
a＝ai+(vi-v'i) (13)
b＝bj+[p(hj|v)-p(hj|'v)] (14)
步骤3.7、将经步骤3.4的隐层特征h1看作为DBN网络的第二层 连续受限玻尔兹曼机模型的可视层向量，重复步骤3.4至3.6，得到 DBN网络的第二层连续受限玻尔兹曼机模型的隐层特征h2并且完成 网络权值和偏置的更新；
步骤3.8、将经步骤3.7得到的隐层特征h2看作DBN网络的第三 层连续受限玻尔兹曼机模型的可视层向量，重复步骤3.4至3.6，得 到DBN网络的第三层连续受限玻尔兹曼机模型的隐层特征h3并且完 成网络权值和偏置的更新，将h3看作为DBN网络的第四层连续受限 玻尔兹曼机模型的可视层向量；
步骤3.9、对DBN网络的第N-2层到第N层采用ELM算法，已 知DBN网络的第N-2层到第N层的网络模型为式(15)，式(15) 如下：
其中，βi是DBN网络第N-1层和第N层之间的连接权重，wij是 连续受限玻尔兹曼机模型可视层和隐层之间的连接权重也是第N-2 层和第N-1层之间的连接权重，h1是上述步骤3.4中得到的连续受限 玻尔兹曼机模型的隐层特征向量，ci为第N-1层的偏置，tj为目标输 出，g是激活函数；
将式(15)矩阵化表示为：
Hβ＝T (16)
其中，H是DBN网络的第N-1层隐层节点输出矩阵，T为期望 输出，β是DBN网络的第N-1层和第N层之间的连接权重，
利用式(16)的极小二范数的最小二乘解位移确定权重矩阵
式中，H+是H的Moore-Penrose广义逆矩阵；
步骤3.10、利用步骤3.9计算得到的与H矩阵相乘，得到DBN 网络的最终输出oj；
步骤3.11、利用式(18)判断DBN网络的最终输出误差e(k)是 否达到设定阈值δ，式(18)为：
若达到设定阈值δ则停止训练，若没有则继续增加DBN网络的 网络层数，重复步骤3.3至步骤3.11直至DBN网络的最终输出误差 达到设定阈值δ。
实施例
首先，为提高计算速度，对直拉硅单晶在不同时刻下的提拉速度、 晶体直径的每5个数据进行一次采样，采样时间2s，采样获得的提拉 速度和晶体直径数据如图2、图3所示，将每次采样的提拉速度和晶 体直径的数据记录成多组数据对，由于晶体提升速度和直径数据的数 量级不同，将数据都归一化到[0，1]范围内，作为深度信念网络即DBN 网络的输入，选取其中700组作为训练数据，300组作为测试数据。
建立关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性 系统之后，将700组数据对输入至系统，如图4所示在输入阶次固定 的情况下，输出阶次到4基本不变。固定输出阶次，可以看到输入阶 次在3的时候，可以看出的值接近1。因此可以确定本系 统的输入阶次为3，输出阶次为4。
当确定了系统输入输出阶次，网络输入项也就确定，再对DBN网 络进行辨识训练，训练之后的DBN网络如图5所示，网络结构为 6-100-100-1共四层，初始迭代次数为1000次，学习率为0.1，隐藏 层激活函数使用sigmoid函数，输出层使用ReLU函数，将300组作 为测试数据输入至训练之后的DBN网络进行辨识，输出结果如图6 和图7所示，分别表示直拉硅单晶直径输出辨识结果和直拉硅单晶直 径输出辨识误差。从图6和图7可以看出，通过本发明一种直拉硅单 晶提拉速度-晶体直径辨识模型建模方法得到的晶体提升速度-直径 辨识模型，网络输出与实际输出数据基本重合，误差e(k)基本维持在 ±0.01之间，均方误差达到了1.4789e-10，辨识精度高。

Claims (3)

1.一种直拉硅单晶提拉速度-晶体直径辨识模型建模方法，其特征在于，具体按照以下步骤实施：
步骤1、多次采样，记录直拉硅单晶在不同采样时刻k下的提拉速度和晶体直径，将直拉硅单晶在同一采样时刻下的提拉速度和晶体直径作为一组数据对，形成不同采样时刻k下的多组数据对：[x(1),y(1),...,x(k),y(k)]，k＝(1,2,3,...,n)；
步骤2、建立关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统，利用经步骤1采样得到的多组数据对构建利普希茨商，再通过利普希茨商确定该离散时间非线性系统的输入和输出阶次，确定得到具体的关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统模型表达式；
步骤3、利用经步骤2得到的关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统模型表达式对DBN网络进行训练；
步骤4、将训练好的DBN网络作为直拉硅单晶提拉速度-晶体直径辨识模型，即训练好的DBN网络的权值和阈值作为关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统模型的模型参数。
2.根据权利要求1所述的一种直拉硅单晶提拉速度-晶体直径辨识模型建模方法，其特征在于，所述步骤2具体按照以下步骤实施：
步骤2.1、利用NARMA模型建立关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统模型如式(1)所示：
y(k)＝f[X(k)] (1)
式中，X(k)＝[y(k-1),...,y(k-ny),x(k),...,x(k-nu)]；x(k),...,x(k-nu)为直拉硅单晶在不同采样时刻下的提拉速度；y(k-1),...,y(k-ny)为直拉硅单晶在不同时刻下的晶体直径；k表示采样时刻；nu、ny分别表示该离散时间非线性系统的输入和输出阶次；
步骤2.2、描述直拉硅单晶提拉速度和晶体直径之间的非线性关系如式(2)所示：
y＝f(x)＝f(x1,x2,…,xn) (2)
式中，x1,x2,…,xn为经步骤1得到的直拉硅单晶在不同采样时刻k下的提拉速度，y为直拉硅单晶晶体直径，f(x)是其定义域内的连续函数并满足：
式中，M是一个正数；
步骤2.3、构建关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统的利普希茨商表达式如式(4)所示，将经步骤1得到的多组数据对：[x(1),y(1),...,x(k),y(k)]代入式(4)中得到利普希茨商qij：
式中，yi和yj表示不相同采样时刻下的晶体直径，|yi-yj|代表点yi和yj在空间中的距离，xi和xj表示不相同采样时刻下的提拉速度，|xi-xj|代表点xi和xj在空间中的距离；
步骤2.4、基于式(2)对直拉硅单晶的提拉速度和晶体直径进行敏感性分析得：
δy＝f1δx1+f2δx2+…+fnδxn (5)
式中，δy＝yn-yn-1，f1,f2,f3,...,fn是函数f(x)关于x的偏导数，
结合式(4)和式(5)可得：
将式(5)代入式(6)得：
结合式(3)和式(7)可得：
式中，表示输入变量x(k)，k＝n时，也即是输入变量x(k)个数为n时该非线性系统的利普希茨商；
步骤2.5、通过式(9)得到关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统不同输入和输出阶次下的利普希茨商
式中，qij (n)(k)由式(8)求得，k＝1,2,3,...,p，p为正整数，取值范围为：0.01～0.02n，nu＝ny＝(1,2,...,8)；
步骤2.6、根据式(9)得到的利普希茨商观察nu分别取值1～8时，ny增大，利普希茨商基本不变，则确定此时利普希茨商对应的ny为最优ny，将该最优ny作为关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统的输出阶次；
步骤2.7、根据式(9)得到的利普希茨商在步骤2.6确定最优的ny的基础上，固定ny，观察nu分别取值1～8时，取计算的值，并判断是否接近1，当比值接近1时，此时nu为最优nu，将此最优nu作为关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统的输入阶次，其中为和输出阶次相同，输入阶次比大一阶次的利普希茨商；
步骤2.8、将经步骤2.6、步骤2.7确定得到的关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统的输入阶次nu、输出阶次ny和经步骤1得到的[x(1),y(1),...,x(k),y(k)]代入式(1)中，确定得到具体的关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统模型表达式。
3.根据权利要求2所述的一种直拉硅单晶提拉速度-晶体直径辨识模型建模方法，其特征在于，所述步骤3具体按照以下步骤实施：
步骤3.1、确定DBN网络的训练周期，学习率η以及样本数量n，样本数量n为经步骤1获得的多组数据对的个数；
步骤3.2、初始化DBN网络层数N、权重wij、偏置量a,b，隐含层节点数，确定DBN网络层数的第N层为输出层，N＝4；
步骤3.3、使用连续受限玻尔兹曼机模型作为DBN网络的第一层，将经步骤2得到的关于直拉硅单晶的提拉速度和晶体直径的离散时间非线性系统模型表达式中的X(k)作为连续受限玻尔兹曼机模型的可视层状态向量，并记作v；
步骤3.4、将经步骤3.2初始化得到的权重wij作为连续受限玻尔兹曼机模型可视层和隐层之间的连接权重，利用式(10)计算得到连续受限玻尔兹曼机模型的隐层特征向量h1，所述式(10)为：
式中，h1＝(h1,h2,...,hj)，v表示连续受限玻尔兹曼机模型的可视层状态向量，v＝(v1,v2,...,vi)，i表示连续受限玻尔兹曼机模型可视层中包含的神经元个数，bj为隐层的偏置，sigmoid为隐层的激活函数，j表示连续受限玻尔兹曼机模型隐层中包含的神经元个数；
步骤3.5、将经步骤3.2初始化得到的权重wij作为连续受限玻尔兹曼机模型可视层和隐层之间的连接权重，利用经步骤3.4得到的隐层特征h1结合式(11)重构DBN网络第一层得到连续受限玻尔兹曼机模型可视层的状态向量v'，所述式(11)为：
式中，i表示连续受限玻尔兹曼机模型可视层中包含的神经元个数，j表示连续受限玻尔兹曼机模型隐层中包含的神经元个数，ai为可视层的偏置，sigmoid为第一层的激活函数；
步骤3.6、利用式(12)-(14)更新连续受限玻尔兹曼机模型权重wij以及偏置量a，b，所述式(12)-(14)为：
a＝ai+(vi-v′i) (13)
b＝bj+[p(hj|v)-p(hj|v')] (14)
步骤3.7、将经步骤3.4的隐层特征h1看作为DBN网络的第二层连续受限玻尔兹曼机模型的可视层向量，重复步骤3.4至3.6，得到DBN网络的第二层连续受限玻尔兹曼机模型的隐层特征h2并且完成网络权值和偏置的更新；
步骤3.8、将经步骤3.7得到的隐层特征h2看作DBN网络的第三层连续受限玻尔兹曼机模型的可视层向量，重复步骤3.4至3.6，得到DBN网络的第三层连续受限玻尔兹曼机模型的隐层特征h3并且完成网络权值和偏置的更新，将h3看作为DBN网络的第四层连续受限玻尔兹曼机模型的可视层向量；
步骤3.9、对DBN网络的第N-2层到第N层采用ELM算法，已知DBN网络的第N-2层到第N层的网络模型为式(15)，所述式(15)如下：
其中，βi是DBN网络第N-1层和第N层之间的连接权重，wij是连续受限玻尔兹曼机模型可视层和隐层之间的连接权重也是第N-2层和第N-1层之间的连接权重，h1是上述步骤3.4中得到的连续受限玻尔兹曼机模型的隐层特征向量，ci为第N-1层的偏置，tj为目标输出，g是激活函数；
将式(15)矩阵化表示为：
Hβ＝T (16)
其中，H是DBN网络的第N-1层隐层节点输出矩阵，T为期望输出，β是DBN网络的第N-1层和第N层之间的连接权重，
利用式(16)的极小二范数的最小二乘解位移确定权重矩阵
式中，H+是H的Moore-Penrose广义逆矩阵；
步骤3.10、利用步骤3.9计算得到的与H矩阵相乘，得到DBN网络的最终输出oj；
步骤3.11、利用式(18)判断DBN网络的最终输出误差e(k)是否达到设定阈值δ，所述式(18)为：
若达到设定阈值δ则停止训练，若没有则继续增加DBN网络的网络层数，重复步骤3.3至步骤3.11直至DBN网络的最终输出误差达到设定阈值δ。
CN201910026707.2A 2019-01-11 2019-01-11 一种直拉硅单晶提拉速度-晶体直径辨识模型建模方法 Active CN110009094B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910026707.2A CN110009094B (zh) 2019-01-11 2019-01-11 一种直拉硅单晶提拉速度-晶体直径辨识模型建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910026707.2A CN110009094B (zh) 2019-01-11 2019-01-11 一种直拉硅单晶提拉速度-晶体直径辨识模型建模方法

Publications (2)

Publication Number Publication Date
CN110009094A true CN110009094A (zh) 2019-07-12
CN110009094B CN110009094B (zh) 2022-09-16

Family

ID=67165370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910026707.2A Active CN110009094B (zh) 2019-01-11 2019-01-11 一种直拉硅单晶提拉速度-晶体直径辨识模型建模方法

Country Status (1)

Country Link
CN (1) CN110009094B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101724891A (zh) * 2009-12-14 2010-06-09 晶龙实业集团有限公司 直拉硅单晶直径自动补偿方法
WO2013125157A1 (ja) * 2012-02-21 2013-08-29 信越半導体株式会社 シリコン融液面の高さ位置の算出方法およびシリコン単結晶の引上げ方法ならびにシリコン単結晶引上げ装置
CN107868979A (zh) * 2017-08-31 2018-04-03 西安理工大学 一种基于恒拉速控制结构的硅单晶直径控制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101724891A (zh) * 2009-12-14 2010-06-09 晶龙实业集团有限公司 直拉硅单晶直径自动补偿方法
WO2013125157A1 (ja) * 2012-02-21 2013-08-29 信越半導体株式会社 シリコン融液面の高さ位置の算出方法およびシリコン単結晶の引上げ方法ならびにシリコン単結晶引上げ装置
CN107868979A (zh) * 2017-08-31 2018-04-03 西安理工大学 一种基于恒拉速控制结构的硅单晶直径控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘丁等: "直拉硅单晶生长过程建模与控制研究综述", 《控制理论与应用》 *
姜舰等: "大直径直拉硅单晶等径的PID参数优化", 《稀有金属》 *

Also Published As

Publication number Publication date
CN110009094B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN107644415B (zh) 一种文本图像质量评估方法及设备
CN107132516B (zh) 一种基于深度置信网络的雷达一维距离像目标识别方法
CN106125574B (zh) 基于dpi模型的压电陶瓷微定位平台建模方法
CN109740742A (zh) 一种基于lstm神经网络的目标跟踪方法
CN105957086B (zh) 一种基于优化神经网络模型的遥感图像变化检测方法
CN107657603A (zh) 一种基于智能视觉的工业外观检测方法
CN110245430B (zh) 改进Bouc-Wen模型迟滞建模方法
CN108284442A (zh) 一种基于模糊神经网络的机械臂柔性关节控制方法
CN109670580A (zh) 一种基于时间序列的数据修复方法
Mao et al. Subsurface velocity inversion from deep learning-based data assimilation
CN109056056B (zh) 一种直拉硅单晶生长过程热场模型辨识方法
CN108760829A (zh) 一种基于仿生嗅球模型和卷积神经网络的电子鼻识别方法
CN112115951B (zh) 一种基于空间关系的rgb-d图像语义分割方法
CN108596274A (zh) 基于卷积神经网络的图像分类方法
CN107622276B (zh) 一种基于机器人仿真与物理采样结合的深度学习训练方法
CN105808869A (zh) 一种基于块Hankel矩阵的磁共振波谱重建方法
CN108628164A (zh) 一种基于循环神经网络模型的工业过程半监督软测量方法
CN116973745A (zh) 一种基于神经网络的电机扭矩标定方法及系统
CN106568647B (zh) 一种基于神经网络的混凝土强度预测方法
CN110068543A (zh) 一种基于迁移学习的太赫兹光谱识别方法
CN113627093A (zh) 一种基于改进Unet网络的水下机构跨尺度流场特征预测方法
CN113780242A (zh) 一种基于模型迁移学习的跨场景水声目标分类方法
CN111898734A (zh) 一种基于mlp的nmr弛豫时间反演方法
CN112363099A (zh) 一种tmr电流传感器温漂与地磁场校正装置及方法
Wei et al. Seismic velocity inversion based on CNN-LSTM fusion deep neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant