CN117313620B - 一种基于多任务深度学习符号回归的dtco公式建模方法 - Google Patents
一种基于多任务深度学习符号回归的dtco公式建模方法 Download PDFInfo
- Publication number
- CN117313620B CN117313620B CN202311346381.4A CN202311346381A CN117313620B CN 117313620 B CN117313620 B CN 117313620B CN 202311346381 A CN202311346381 A CN 202311346381A CN 117313620 B CN117313620 B CN 117313620B
- Authority
- CN
- China
- Prior art keywords
- model
- data
- formula
- deep learning
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013135 deep learning Methods 0.000 title claims abstract description 15
- 235000013599 spices Nutrition 0.000 claims abstract description 31
- 230000014509 gene expression Effects 0.000 claims abstract description 30
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 18
- 230000007246 mechanism Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 17
- 238000013136 deep learning model Methods 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 11
- 239000004065 semiconductor Substances 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000004088 simulation Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims description 2
- 238000010845 search algorithm Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 9
- 238000005457 optimization Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 239000004433 Thermoplastic polyurethane Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 229920002803 thermoplastic polyurethane Polymers 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011165 process development Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/30—Circuit design
- G06F30/36—Circuit design at the analogue level
- G06F30/367—Design verification, e.g. using simulation, simulation program with integrated circuit emphasis [SPICE], direct methods or relaxation methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Geometry (AREA)
- Feedback Control In General (AREA)
- Complex Calculations (AREA)
Abstract
本发明公开了一种基于多任务深度学习符号回归的DTCO公式建模方法，涉及芯片设计的协同方法，针对现有技术中模型表达式生成、参数调优慢等问题提出本方案。收集器件的工艺参数和电学特性数据，进行数据预处理；建立第一个Transformer模型，预测电学特性，生成Spice Model表达式骨架，设定表达式骨架所包含的系数为具有物理意义的常数的代数组合；对常数数据进行预处理；建立第二个Transformer模型，预测系数和常数的映射关系，生成常数集合代替第一个Transformer模型生成的表达式中的系数集合，获得最终的Spice Model公式模型。优点在于，基于Transformer模型进行器件工艺参数与电学特性之间的复杂关系的公式建模，将精确且快速地捕捉非线性关系和特性之间的依赖，提升公式模型预测的准确性。
Description
技术领域
本发明涉及芯片研发设计的协同方法，尤其涉及一种基于多任务深度学习符号回归的DTCO公式建模方法，适用于在半导体Spice Model设计中建立精准且高效的器件工艺参数与电学特性之间的公式模型。
背景技术
传统Spice Model建模方法通常基于器件的物理结构，采用代数计算和第一性原理的规则进行推导求解。这些方法注重模型的物理意义，但求解过程复杂。
工程中的建模方法更倾向于使用模板匹配和数据拟合，追求实用性和便利性，但在基于器件的物理结构的公式中添加了更多的无物理意义的参数，这也减弱了公式的物理解释能力。
随着半导体器件特征尺寸的减小，DTCO方法在工艺开发中变得至关重要，因为它根据芯片设计需求的反馈提升芯片制造工艺，此流程提升芯片设计效率和性能。在DTCO流程中，高效且精准的Spice Model是提高反馈效率的关键因素。
神经网络等新型Spice Model替代模型加速了建模过程，但由于黑盒模型的不易理解性和不易解释性，难以融入现有的DTCO流程。符号回归有着广泛的应用前景，它不仅高效而精准，还具备易理解和易解释的特点，适用于DTCO的Spice Model建模。符号回归中的遗传算法符号回归，它提供的Spice Model表达式虽然具有极高的精度，但表达式搜索过程较慢，适合学术研究但不易用于工业开发。
发明内容
本发明目的在于提供一种基于多任务深度学习符号回归的DTCO公式建模方法，可以更快速地表征半导体器件，具有模型精度高、建模效率高、易理解、易解释的特点。
本发明中所述一种基于多任务深度学习符号回归的DTCO公式建模方法，包括如下步骤：
S1.获取器件的工艺参数和电学特性数据，用于训练和验证模型；
S2.对获取的工艺参数和电学特性数据进行预处理；
S3.建立由编码器和解码器模块组成的Transformer模型，编码器通过自注意机制编码信息捕捉变量之间的联系，解码器将编码信息与电学特性曲线数据进行关联，以预测电学特性；
S4.训练所述Transformer模型后得到变量-电学特性模型，评估所述变量-电学特性模型的精度，检查所述变量-电学特性模型是否满足预定的阈值或性能标准，并根据评估结果自适应地调整模型架构和超参数，以提升预测精度和预测效率；
S5.生成Spice Model的数学表达式，表达式包括系数和变量的骨架；设定系数为预设的包含半导体物理意义的常数的组合，常数和系数的映射集为下一级深度学习模型的数据集；
S6.对生成的系数集和设定的常数集进行预处理；
S7.再次建立由编码器和解码器模块组成的Transformer模型，编码器通过自注意机制编码信息捕捉常数之间的联系，解码器将编码信息与系数数据进行关联；
S8.评估当前模型精度，自适应地调整模型架构和超参数，以提升预测精度和预测效率；
S9.生成常数组合的集，由集合代替系数，融合变量骨架表达式组合成最终的Spice Model公式模型。
在所述步骤S1中，获取器件的工艺参数和电学特性曲线数据通过以下三种子步骤中的其中一种获得：
S11.编写电路网表，利用Spice仿真软件求得器件模型数据集；
或，S12.通过TCAD软件进行器件建模，仿真提取获得器件模型数据集；
或，S13经过测量仪实测半导体器件得到器件模型数据集。
在所述步骤S2和/或步骤S6中，对获取的工艺参数和电学特性数据进行预处理的子步骤为：
S21.归一化：将工艺参数、电学特性数据进行归一化缩放，消除量纲影响；
归一化采用最小-最大归一化处理，将数据缩放到预设的范围内，公式为：
其中，a是需要缩放的最小范围值，b是需要缩放的最大范围值，X是归一化后的特征值，x是原始特征值，min(x)是特征x在数据集中的最小值，max(x)是特征x在数据集中的最大值；
S22.特征工程：进行特征选择、构造，根据物理属性对变量进行数据增强；
器件几何结构变量的组合形式的特征工程的新集合为：
其中，W为器件的沟道宽度、L为器件的沟道长度、N为器件的元器件数目；NWL为进行特征选择后，由沟道宽度、沟道长度和元器件数目构造的数据增强组合形式；
S23.位置编码：对输入数据进行位置编码，利用位置信息增强模型对数据的建模能力；
首先，生成位置编码矩阵；位置编码维度与输入数据的维度相同，，且包含位置信息；位置编码采用正弦和余弦函数，表达式为：
其中，pos表示位置，i表示维度索引，d表示数据维度；
其次，将位置编码矩阵添加到原始特征矩阵中，以将位置信息与原始特征相结合；
最后，将合并后的矩阵输入到一个全连接层中，以进一步处理数据；全连接层学习权衡位置信息和原始特征，使用融合后的数据作为输入，用于训练后续的深度学习模型。
在所述步骤S3和/或步骤S7中，编码器接受输入序列并转换为一组隐藏表示；输入序列的每个元素都会嵌入到一个向量中，并经过多层的自注意力机制和前馈神经网络进行处理；
自注意力机制计算公式如下：
Qi＝Xi·Wq,Xi∈[X1,X2,...Xn]；
Ki＝Xi·Wk,Xi∈[X1,X2,...Xn]；
Vi＝Xi·Wv,Xi∈[X1,X2,...Xn]；
式中输入序列为[X1,X2,...Xn]，其中Xi表示输入的第i个元素；输入序列中第i个元素所代表的Xi通过线性变换得到对应的Qi，Ki和Vi；Wq是Qi的权重矩阵、Wk是Ki的权重矩阵、Wv是Vi的权重矩阵；Wq、Wk和Wv均为待训练参数，用于将输入序列进行线性变换；Q是查询矩阵,K是关键字矩阵,V是值矩阵；dk表示维度；Attentioni表示针对Xi对输入序列的每个元素Xj均进行加权，其中每个权重取决于查询和键之间的关联程度；
前馈神经网络公式如下：
Zl＝σ(Wl·Al-1+bl)；
其中，Zl是第l层的输出；Wl是第l层与第l-1层之间的权重矩阵；Al-1是第l-1层的输出；bl是第l层的偏置；σ是激活函数；
解码器接受编码器的输出和目标序列并生成目标序列；经过多层的自注意力机制和前馈神经网络，以生成与目标序列相对应的输出序列；在序列生成任务中，解码器会根据已生成的部分序列来生成下一个元素；编码器的输出是输入序列的隐藏表示，其中包含了输入序列的上下文信息。
所述步骤S4和/或S8中，自适应算法公式如下：
M＝Z(L，H，D，α，β，γ，...)；
其中，M表示深度学习模型的架构；函数Z表示超参数搜索算法；L代表模型的层数；H代表Transformer模型的头数；D代表模型的隐层维度；α，β，γ等表示其他超参数。
在所述步骤S5中，Spice Model的数学表达式组成为变量、系数和运算符，表示为：
Y＝F(X1，X2，...Xn；C1，C2，...Cm)；
式中，Y是输出或响应；F是一个函数，表示了输入变量、系数和运算符之间的关系；X1，X2，...Xn是输入变量，以表示不同的物理量；C1，C2，...Cm是系数，也是模型中的参数。
在所述步骤S9中，Spice Model公式模型为变量、常数和运算符组成，具有与物理意义相关的形式，表示为：
Ci＝fi(k1，k2，...kl)；
Y＝F(X1，X2，...Xn；f1(k1，k2，...kl)，f2(k1，k2，...kl)，...fm(k1，k2，...kl))；
式中，k1，k2，...kl是设定的各常量，fi是针对Ci系数的函数，表示了常量、系数和运算符之间的关系。
本发明中所述一种基于多任务深度学习符号回归的DTCO公式建模方法，其优点在于，与现有技术相比，本发明具有的有益效果为：
1.相较于基于物理结构的模型推导和模板匹配方法，深度符号回归利用深度学习模型(如Transformer)可以高效地学习复杂的数学表达式。它能够直接预测完整的数学表达式，包括常数项，从而提高了建模的效率和准确性。这对于快速生成高精度的SpiceModel非常有价值。
2.与黑盒模型不同，深度符号回归生成的数学表达式具有物理解释性。这意味着生成的模型不仅可以用于预测，还可以帮助工程师理解模型背后的物理机制。这对于工艺优化和芯片设计决策非常重要。
3.相较于遗传符号回归，深度符号回归模型可以实时生成数学表达式，适用于需要即时决策和推断的应用场景。这对于实时控制和优化任务非常有用。可以快速实验不同的模型结构和超参数组合，以找到最佳的建模方法。这加速了模型的优化过程，使其更快地达到最佳性能。
4.深度符号回归非常适合与设计技术协同优化(DTCO)流程相结合。它可以提供高效、高精度的Spice Model，为芯片设计和工艺优化提供强大的建模工具，有助于提高芯片设计效率和性能。
附图说明
图1是本发明中所述公式建模方法的流程示意图。
图2是本发明中所述公式建模方法的Transformer模型结构示意图。
图3是本发明中所述公式建模方法的自注意力机制示意图。
具体实施方式
如图1所示，本发明中所述一种基于多任务深度学习符号回归的DTCO公式建模方法包括以下步骤：
S1.获取器件的工艺参数和电学特性数据，这些数据用于训练和验证模型。
其中，获取半导体器件的工艺参数和电学特性曲线数据可以通过以下三种子步骤中的其中一种获得。这三种子步骤分别为：
S11.编写电路网表，利用Spice仿真软件求得器件模型数据集。
S12.通过TCAD软件进行器件建模，仿真提取获得器件模型数据集。
S13.经过测量仪实测半导体器件得到器件模型数据集。
S2.对获取的工艺参数和电学特性数据进行预处理，包括归一化、特征工程，以及对变量数据进行位置编码，以便将其输入到Transformer模型中。
对获取的工艺参数和电学特性数据进行预处理，子步骤分别为：
S21.归一化：将工艺参数、电学特性数据进行归一化缩放，消除量纲影响，降低模型训练难度。
归一化采用最小-最大归一化方法，将数据缩放到特定的范围内，公式为：
其中，a和b是需要缩放的最大最小范围值，X是归一化后的特征值，x是原始特征值，min(x)是特征x在数据集中的最小值，max(x)是特征x在数据集中的最大值。最小-最大归一化有助于确保不同特征或数据在相似的尺度上，有助于深度学习模型更好地学习数据的特征。
S22.特征工程：进行特征选择、构造等步骤，根据物理属性对变量进行数据增强，提升变量的有效特征，优化模型输入。
器件几何结构变量的组合形式的特征工程的新集合如：
其中，W、L、N分别为器件的沟道宽度、沟道长度、晶体管的元器件数目，NWL为进行特征选择后，由沟道宽度、沟道长度和元器件数目构造的数据增强组合形式，这类新构造基于变量和运算符的基本运算组合形式。
S23.位置编码：对输入数据进行位置编码，以便输入到Transformer模型中，利用位置信息，增强模型对数据的建模能力。首先，生成位置编码。位置编码通常是一个矩阵，其维度与输入数据的维度相同，但包含位置信息。位置编码采用正弦和余弦函数，如下所示：
其中，pos表示位置，i表示维度索引，d表示数据维度。
其次，将位置编码矩阵添加到原始特征矩阵中，以将位置信息与原始特征相结合。这可以通过矩阵的逐个元素相加来实现。
最后，将合并后的矩阵输入到一个全连接层中，以进一步处理数据。全连接层可以学习如何权衡位置信息和原始特征，使用融合后的数据作为输入，用于训练两个深度学习模型。
S3.如图2所示，建立Transformer模型，模型由编码器和解码器模块组成，通过自注意力机制编码信息，编码器捕捉变量之间的联系，解码器将编码信息与电学特性曲线数据关联起来，以预测电学特性。编码器接受输入序列并将其转换为一组隐藏表示；输入序列的每个元素都会嵌入到一个向量中，并经过多层的自注意力机制(self-attention)和前馈神经网络(feed forward neural network)进行处理。如图3所示，自注意力机制计算公式如下：
Qi＝Xi·Wq，Xi∈[X1，X2，...Xn]
Ki＝Xi·Wk，Xi∈[X1，X2，...Xn]
Vi＝Xi·Wv，Xi∈[X1，X2，...Xn]
式中输入序列为[X1，X2，...Xn]，其中Xi表示输入的第i个元素；输入序列中第i个元素所代表的Xi通过线性变换得到对应的Qi，Ki和Vi；Wq、Wk和Wv是权重矩阵，是待训练参数，用于将输入序列进行线性变换；Q，K，V分别代表查询矩阵、关键字矩阵和值矩阵；dk表示维度；而Attentioni表示针对Xi对输入序列的每个元素Xj都进行了加权，其中每个权重取决于查询和键之间的关联程度。
前馈神经网络公式如下：
Zl＝σ(Wl·Al-1+bl)
其中，Zl是第l层的输出；Wl是第l层与第l-1层之间的权重矩阵；Al-1是第l-1层的输出；bl是第l层的偏置；σ是激活函数，这里使用非线性函数ReLU。
解码器接受编码器的输出和目标序列并生成目标序列；也经过多层的自注意力机制和前馈神经网络，以生成与目标序列相对应的输出序列；在序列生成任务中，解码器会根据已生成的部分序列来生成下一个元素，这是一个逐步生成的过程。编码器的输出是输入序列的隐藏表示，其中包含了输入序列的上下文信息。
S4.评估训练后变量-电学特性模型的精度，检查它是否满足预定的阈值或性能标准，并根据评估结果自适应地调整模型架构和超参数，以提升预测精度和预测效率。调整模型架构为改变模型层数、头数、隐层维度等，调整超参数为调整学习率、批处理尺寸、正则化参数，自适应算法公式如下：
M＝Z(L，H，D，α，β，γ，...)
其中，M表示深度学习模型的架构；函数Z表示超参数搜索算法，可以是网格搜索、随机搜索、贝叶斯优化等方法之一，根据给定的超参数组合来构建深度学习模型的架构，这些算法会自动尝试不同的自适应参数组合，以找到最佳的模型架构，从而提高模型的性能和泛化能力；L代表模型的层数；H代表Transformer模型的头数；D代表模型的隐层维度；α，β，γ等表示其他超参数，例如学习率、批处理尺寸、正则化参数等。这个函数的目标是优化模型的性能，通过在训练集上进行交叉验证指标来实现的。
S5.生成Spice Model的数学表达式，表达式包括系数和变量的骨架，设定系数为预设的包含半导体物理意义的常数的组合，常数和系数的映射集为下一级深度学习模型的数据集。第一个Transformer模型生成的Spice Model的数学表达式组成为变量、系数和运算符，表示为：
Y＝F(X1，X2，...Xn；C1，C2，...Cm)
在这个表达式中，Y是输出或响应，可以是一个或多个目标Spice Model公式；F是一个函数，表示了输入变量、系数和运算符之间的关系，这个函数包括各种Spice Model公式中所需用到的数学运算，如加法、减法、乘法、除法、指数、对数、三角函数等；X1，X2，...Xn是输入变量，它们可以表示不同的物理量；C1，C2，...Cm是系数，它们是模型中的参数。
模型经训练后，将紧凑模型数据输入深度符号回归模型中进行测试，紧凑模型公式如下：
其中，Ids表示NMOS器件在栅极电压和源漏电压变化下的源漏电流变化；变量为栅极电压VGs、源漏电压VDs、沟道几何尺寸W和L；常量TOX栅氧化层厚度设定为100nm；介电常数∈为3.52×10-13F/cm；迁移率μ为1350cm2/(V·s)；阈值电压VTH为1.2V；自然数
经测试，第一个Transformer模型生成的变量、系数和运算符数学表达式测试精度为：1.0000；包含变量的骨架公式为：
S6.对生成的系数集和设定的常数集进行预处理，处理流程同步骤S2。
S7.建立Transformer模型，模型由编码器和解码器模块组成，通过自注意力机制编码信息，编码器捕捉常数之间的联系，解码器将编码信息与系数数据关联起来，建模流程同步骤S3。
S8.评估模型精度，自适应地调整模型架构和超参数，以提升预测精度和预测效率，自适应流程同步骤S4。
S9.生成常数组合的集，由集合代替系数，融合变量骨架表达式组合成高效、高精度的Spice Model公式模型。Spice Model公式模型为变量、常数和运算符组成，具有与物理意义相关的形式，表示为：
Ci＝fi(k1，k2，...kl)
Y＝F(X1，X2，...Xn；f1(k1，k2，...kl)，f2(k1，k2，...kl)，...fm(k1，k2，...kl))
在这个表达式中，k1，k2，...kl指的是设定的各常量，fi指的是针对Ci系数的函数，表示了常量、系数和运算符之间的关系，结合由第一个Transformer模型生成的SpiceModel的变量骨架表达式，得到有物理意义的Spice Model公式。
模型经训练后，第一个Transformer模型输入第二个Transformer模型中进行测试常数和系数的关系，常量组替代系数后，生成的Spice Model公式如下：
生成的Spice Model公式精准表达所提供紧凑模型的工艺参数-电学特性数据。
本发明的一种基于多任务深度学习符号回归的DTCO公式建模方法，推断速度快，能够在相对短的时间内生成精确的数学表达式。模型具有自适应能力，可以在训练过程中不断优化，以满足特定的性能标准。生成的数学表达式更容易理解和解释，有助于深入理解模型的工作原理。适用于处理大规模数据集，从中学习复杂的关系。受益于现代硬件的加速，如GPU、TPU等硬件，能够显著提高计算速度。
对于本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。
Claims (6)
1.一种基于多任务深度学习符号回归的DTCO公式建模方法，其特征在于，包括如下步骤：
S1.获取器件的工艺参数和电学特性数据，用于训练和验证模型；
S2.对获取的工艺参数和电学特性数据进行预处理；
S3.建立由编码器和解码器模块组成的Transformer模型，编码器通过自注意机制编码信息捕捉变量之间的联系，解码器将编码信息与电学特性曲线数据进行关联，以预测电学特性；
S4.训练所述Transformer模型后得到变量-电学特性模型，评估所述变量-电学特性模型的精度，检查所述变量-电学特性模型是否满足预定的阈值或性能标准，并根据评估结果自适应地调整模型架构和超参数，以提升预测精度和预测效率；
S5.生成Spice Model的数学表达式，表达式包括系数和变量的骨架；设定系数为预设的包含半导体物理意义的常数的组合，常数和系数的映射集为下一级深度学习模型的数据集；
S6.对生成的系数集和设定的常数集进行预处理；
S7.再次建立由编码器和解码器模块组成的Transformer模型，编码器通过自注意机制编码信息捕捉常数之间的联系，解码器将编码信息与系数数据进行关联；
S8.评估当前模型精度，自适应地调整模型架构和超参数，以提升预测精度和预测效率；
S9.生成常数组合的集，由集合代替系数，融合变量骨架表达式组合成最终的SpiceModel公式模型；
在所述步骤S3和/或步骤S7中，编码器接受输入序列并转换为一组隐藏表示；输入序列的每个元素都会嵌入到一个向量中，并经过多层的自注意力机制和前馈神经网络进行处理；
自注意力机制计算公式如下：
Qi＝Xi·Wq，Xi∈[X1，X2，...Xn]；
Ki＝Xi·Wk，Xi∈[X1，X2，...Xn]；
Vi＝Xi·Wv，Xi∈[X1，X2，...Xn]；
式中输入序列为[X1，X2，...Xn]，其中Xi表示输入的第i个元素；输入序列中第i个元素所代表的Xi通过线性变换得到对应的Qi，Ki和Vi；Wq是Qi的权重矩阵、Wk是Ki的权重矩阵、Wv是Vi的权重矩阵；Wq、Wk和Wv均为待训练参数，用于将输入序列进行线性变换；Q是查询矩阵，K是关键字矩阵，V是值矩阵；dk表示维度；Attentioni表示针对Xi对输入序列的每个元素Xj均进行加权，其中每个权重取决于查询和键之间的关联程度；
前馈神经网络公式如下：
Zl＝σ(Wl·Al-1+bl)；
其中，Zl是第l层的输出；Wl是第l层与第l-1层之间的权重矩阵；Al-1是第l-1层的输出；bl是第l层的偏置；σ是激活函数；
解码器接受编码器的输出和目标序列并生成目标序列；经过多层的自注意力机制和前馈神经网络，以生成与目标序列相对应的输出序列；在序列生成任务中，解码器会根据已生成的部分序列来生成下一个元素；编码器的输出是输入序列的隐藏表示，其中包含了输入序列的上下文信息。
2.根据权利要求1所述一种基于多任务深度学习符号回归的DTCO公式建模方法，其特征在于，在所述步骤S1中，获取器件的工艺参数和电学特性曲线数据通过以下三种子步骤中的其中一种获得：
S11.编写电路网表，利用Spice仿真软件求得器件模型数据集；
或，S12.通过TCAD软件进行器件建模，仿真提取获得器件模型数据集；
或，S13经过测量仪实测半导体器件得到器件模型数据集。
3.根据权利要求1所述一种基于多任务深度学习符号回归的DTCO公式建模方法，其特征在于，在所述步骤S2和/或S6中，所述预处理的子步骤为：
S21.归一化：将工艺参数和电学特性数据进行归一化缩放，消除量纲影响；
归一化采用最小-最大归一化处理，将数据缩放到预设的范围内，公式为：
其中，a是需要缩放的最小范围值，b是需要缩放的最大范围值，X是归一化后的特征值，x是原始特征值，min(x)是特征x在数据集中的最小值，max(x)是特征x在数据集中的最大值；
S22.特征工程：进行特征选择和构造，根据物理属性对变量进行数据增强；
器件几何结构变量的组合形式的特征工程的新集合为：
其中，W为器件的沟道宽度、L为器件的沟道长度、N为器件的元器件数目；NWL为进行特征选择后，由沟道宽度、沟道长度和元器件数目构造的数据增强组合形式；
S23.位置编码：对输入数据进行位置编码，利用位置信息增强模型对数据的建模能力；
首先，生成位置编码矩阵；位置编码维度与输入数据的维度相同，且包含位置信息；位置编码采用正弦和余弦函数，表达式为：
其中，pos表示位置，i表示维度索引，d表示数据维度；
其次，将位置编码矩阵添加到原始特征矩阵中，以将位置信息与原始特征相结合；
最后，将合并后的矩阵输入到一个全连接层中，以进一步处理数据；全连接层学习权衡位置信息和原始特征，使用融合后的数据作为输入，用于训练后续的深度学习模型。
4.根据权利要求1所述一种基于多任务深度学习符号回归的DTCO公式建模方法，其特征在于，所述步骤S4和/或S8中，自适应算法公式如下：
M＝Z(L,H,D,α,β,γ)；
其中，M表示深度学习模型的架构；函数Z表示超参数搜索算法；L代表模型的层数；H代表Transformer模型的头数；D代表模型的隐层维度；α,β,γ表示其他超参数。
5.根据权利要求1所述一种基于多任务深度学习符号回归的DTCO公式建模方法，其特征在于，在所述步骤S5中，Spice Model的数学表达式组成为变量、系数和运算符,表示为：
Y＝F(X1,X2,...Xn；C1,C2,...Cm)；
式中，Y是输出或响应；F是一个函数，表示了输入变量、系数和运算符之间的关系；X1,X2,...Xn是输入变量，以表示不同的物理量；C1,C2,...Cm是系数，也是模型中的参数。
6.根据权利要求1所述一种基于多任务深度学习符号回归的DTCO公式建模方法，其特征在于，在所述步骤S9中，Spice Model公式模型为变量、常数和运算符组成，具有与物理意义相关的形式，表示为：
Ci＝fi(k1,k2,...kl)；
Y＝F(X1,X2,...Xn；f1(k1,k2,...kl),f2(k1,k2,...kl),...fm(k1,k2,...kl))；
式中，X1,X2,...Xn是输入变量，以表示不同的物理量；k1,k2,...kl是设定的各常量，fi是针对Ci系数的函数，表示了常量、系数和运算符之间的关系。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311346381.4A CN117313620B (zh) | 2023-10-17 | 2023-10-17 | 一种基于多任务深度学习符号回归的dtco公式建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311346381.4A CN117313620B (zh) | 2023-10-17 | 2023-10-17 | 一种基于多任务深度学习符号回归的dtco公式建模方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117313620A CN117313620A (zh) | 2023-12-29 |
| CN117313620B true CN117313620B (zh) | 2024-03-15 |
Family
ID=89237127
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311346381.4A Active CN117313620B (zh) | 2023-10-17 | 2023-10-17 | 一种基于多任务深度学习符号回归的dtco公式建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117313620B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117217150B (zh) * | 2023-09-13 | 2024-05-17 | 华南理工大学 | 一种基于遗传算法符号回归的dtco公式建模方法 |
| CN117648890B (zh) * | 2024-01-30 | 2024-04-02 | 江苏上达半导体有限公司 | 一种基于人工智能的半导体器件建模方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114881206A (zh) * | 2022-04-21 | 2022-08-09 | 北京航空航天大学 | 一种通用神经网络蒸馏公式方法 |
| CN116483036A (zh) * | 2023-04-25 | 2023-07-25 | 西北师范大学 | 一种基于Transformer的自编码器软测量建模方法 |
| CN116702678A (zh) * | 2023-08-02 | 2023-09-05 | 华南理工大学 | 一种融合深度学习和群智能算法的dtco优化方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102176215B (zh) * | 2011-03-24 | 2012-06-27 | 中国科学院上海微系统与信息技术研究所 | 一种soi场效应晶体管spice模型系列的建模方法 |
| US10572615B2 (en) * | 2017-04-28 | 2020-02-25 | Synopsys, Inc. | Placement and routing of cells using cell-level layout-dependent stress effects |
| US10678971B2 (en) * | 2018-07-20 | 2020-06-09 | International Business Machines Corporation | Space exploration with Bayesian inference |
| US20220036194A1 (en) * | 2021-10-18 | 2022-02-03 | Intel Corporation | Deep neural network optimization system for machine learning model scaling |
| US20230252139A1 (en) * | 2022-02-10 | 2023-08-10 | Nec Laboratories America, Inc. | Efficient transformer for content-aware anomaly detection in event sequences |
-
2023
- 2023-10-17 CN CN202311346381.4A patent/CN117313620B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114881206A (zh) * | 2022-04-21 | 2022-08-09 | 北京航空航天大学 | 一种通用神经网络蒸馏公式方法 |
| CN116483036A (zh) * | 2023-04-25 | 2023-07-25 | 西北师范大学 | 一种基于Transformer的自编码器软测量建模方法 |
| CN116702678A (zh) * | 2023-08-02 | 2023-09-05 | 华南理工大学 | 一种融合深度学习和群智能算法的dtco优化方法 |
Non-Patent Citations (7)
| Title |
|---|
| Deep Learning and Symbolic Regression for Discovering Parametric Equations;Michael Zhang等;《IEEE transactions on neural networks and learning systems》;20230918;1-13 * |
| DTCO through Design Space Exploration by the Virtual FAB Range Pattern Matching Flow;Liang Zhu等;《Proceedings of 2017 IEEE 12th International Conference on ASIC》;20171025;504-507 * |
| 基于卷积神经网络及易于硬件实现的真实图像去噪算法;李斌等;《微电子学与计算机》;20230407(第02期);87-93 * |
| 基于多目标优化的符号回归泛化性能研究;盛文韬;《中国优秀硕士学位论文全文数据库 (信息科技辑)》;20220115;I140-180 * |
| 基于改进符号回归算法和XGBoost算法的剩余续驶里程预测;田晟等;《广西师范大学学报(自然科学版)》;20210623;第40卷(第02期);27-36 * |
| 基于符号回归的产品评分变化规律研究;熊武兴;《中国优秀硕士学位论文全文数据库 (基础科学辑)》;20220215;A002-464 * |
| 基于符号回归的静电电压测试补偿算法;冯亚辉等;《现代电子技术》;20230412;第46卷(第08期);15-20 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117313620A (zh) | 2023-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117313620B (zh) | 一种基于多任务深度学习符号回归的dtco公式建模方法 | |
| CN109597997B (zh) | 基于评论实体、方面级情感分类方法和装置及其模型训练 | |
| CN113095550B (zh) | 基于变分递归网络和自注意力机制的空气质量预测方法 | |
| Yan et al. | DSTED: A denoising spatial–temporal encoder–decoder framework for multistep prediction of burn-through point in sintering process | |
| Zhang et al. | A conjunction method of wavelet transform-particle swarm optimization-support vector machine for streamflow forecasting | |
| CN117035073B (zh) | 一种基于分层事件发展模式归纳的未来气象事件预测方法 | |
| CN111027681B (zh) | 时序数据处理模型训练方法、数据处理方法、装置及存储介质 | |
| Amouzgar et al. | Metamodel-based multi-objective optimization of a turning process by using finite element simulation | |
| Bi et al. | Hierarchical attention network for multivariate time series long-term forecasting | |
| Gu et al. | Ramp sparse support matrix machine and its application in roller bearing fault diagnosis | |
| Li et al. | Kriging-based unconstrained global optimization through multi-point sampling | |
| Hu et al. | Neural operator with regularity structure for modeling dynamics driven by spdes | |
| Seddik et al. | Multi-variable time series decoding with Long Short-Term Memory and mixture attention | |
| CN116341720A (zh) | 基于动态图卷积和transformer的多风机风速风向预测方法 | |
| CN113887471B (zh) | 基于特征解耦和交叉对比的视频时序定位方法 | |
| CN115330085A (zh) | 基于深度神经网络且无未来信息泄露的风速预测方法 | |
| Wu et al. | A kind of BP neural network algorithm based on grey interval | |
| Schaechtle et al. | Probabilistic programming with gaussian process memoization | |
| CN114897274A (zh) | 一种提升时间序列预测效果的方法和系统 | |
| Alexandridis et al. | Inverse Image Frequency for Long-tailed Image Recognition | |
| Wang et al. | Bert-Pair-Networks for Sentiment Classification | |
| Ma et al. | A CNN-BiLSTM-Attention approach for EHA degradation prediction based on time-series generative adversarial network | |
| Wang | Intelligent Malfunction Identification Method in Mechanical Manufacturing Process Based on Multisensor Data | |
| CN116882538B (zh) | 一种海洋环境预测模型的训练方法及相关装置 | |
| Dhabak et al. | Adaptive sampling algorithm for ANN-based performance modeling of nano-scale CMOS inverter |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |