CN115481570A - 一种基于残差网络的dtco建模方法 - Google Patents

Abstract

本发明公开了一种基于残差网络的DTCO建模方法，属于芯片研发中工艺设计协同优化的技术领域，该方法所建半导体模型可以更快速地表征半导体器件，具有模型精度高、鲁棒性好的特点；包括如下步骤：S1获取神经网络替代模型的器件模型数据集数据，将器件模型数据集数据分割为初始训练集数据和初始测试集数据；S2对S1获得的初始训练集数据和初始测试集数据进行预处理得到预处理训练集和预处理测试集；S3创建神经网络替代模型，对神经网络替代模型中的隐藏层进行残差块堆叠结构处理；S4将S2获得的预处理训练集和预处理测试集放入残差网络结构进行参数的训练，得到器件神经网络替代模型。

Description

一种基于残差网络的DTCO建模方法

技术领域

本发明涉及芯片研发中工艺设计协同优化的技术领域，更具体地说，尤其涉及一种基于残差网络的DTCO建模方法。

背景技术

随着半导体器件的特征尺寸进入深纳米节点，结构从传统的平面结构进化到多栅结构，不断变化的设计方法带动了快速发展的技术需要。设计技术协同优化(DTCO)根据电路设计调整专用器件模型，突破传统的工艺开发(制造公司)和芯片设计(设计公司)之间反馈和迭代慢的限制，使得集成电路制造公司在工艺开发的过程中能充分考虑芯片设计的需求，提升芯片设计效率与芯片性能，充分挖掘工艺潜能，因此该技术得到了工业界和学术界的高度关注。在DTCO流程中，精准SPICE模型在工艺和设计之间起着关键作用。

目前DTCO流程遇到的加速瓶颈在于：工艺厂提供给设计公司的紧凑模型提参周期长且数量有限，不支持设计人员根据芯片设计目标快速调整所需工艺目标的需求。面对紧凑模型不足导致的DTCO开发周期长的现状，需要一种面向数据的替代模型，模型具有泛化能力强、提参周期短且精度高的特点，从而带动产品TTM、PPAC、良率和可靠性的快速评估和优化。在AI技术中，人工神经网络等机器学习算法可以计算多元输入的非线性方程，模拟真实设备中的复杂物理方程，具有高精度模型替代的能力。

神经网络模型可作为DTCO环节中器件标准模型的替代模型原因有四。其一，神经网络模型是一种面向数据的数学模型，训练好的神经网络模型对器件数据进行高维空间的外推预测，替代模型具有泛化能力强、数据重构能力强且精度高的特点；其二，训练得当的神经网络模型可以批量生成替代模型，十分贴合DTCO流程对于大量器件模型在特定设计电路的评估需求；其三，在新技术节点的器件开发早期，其基础物理机理尚未定义。在紧凑模型中，复杂的物理特性需要科研人员花费大量时间转化为公式，这也意味着基于新技术节点的器件难以快速产业化。为了尽早评估新器件，需要神经网络替代模型进行电路性能预测；其四，在器件的高频条件下，基于物理基建模的S参数求解时间长，对于高频条件下的寄生元件很难予以考虑。将测量基建模技术与神经网络相结合得到的替代模型可以有效测量s参数。

但是在实际的器件替代模型中，具有两点问题，其一，数据集中的器件尺寸差异大，从微米级到纳米级，即几何尺寸取值区间e^-6～e^-9；器件的电压偏置为mV、V级别，一般取值0～10；而器件np掺杂浓度的取值大，且取值范围为1e¹⁸～1e²⁰等等；而器件的输出信息为id，gmo，cgs，s参数，取值数值区间也从e^-30至e⁹不等；而实际工程中各参数的量纲取值范围更广，神经网络难以训练。其二，足够宽神经元的浅层神经网络可以做到精准表征模型，然而不够宽的浅层神经网络处理的特征参数不足，即便经训练模型可以达到不错的精度，但是模型泛化能力有限，精度有待提升，模型近似能力不足，容易对训练数据过拟合。因此亟待设计一种能够更好解决传统DTCO建模的器件替代模型存在问题的建模方法。

发明内容

本发明的目的在于提供一种基于残差网络的DTCO建模方法，该方法所建半导体模型可以更快速地表征半导体器件，具有模型精度高、鲁棒性好的特点。

本发明的技术方案如下：

一种基于残差网络的DTCO建模方法，包括如下步骤：

S1获取神经网络替代模型的器件模型数据集数据，将器件模型数据集数据分割为初始训练集数据和初始测试集数据；

S2对S1获得的初始训练集数据和初始测试集数据进行预处理得到预处理训练集和预处理测试集；

S3创建神经网络替代模型，对神经网络替代模型中的隐藏层进行残差块堆叠结构处理；

S4将S2获得的预处理训练集和预处理测试集放入残差网络结构进行参数的训练，得到器件神经网络替代模型。

进一步的，所述的步骤S1中，神经网络替代模型的器件模型数据集可以通过以下三种方法中的其中一种获得，三种方法分别为：

(1)编写电路网表，利用Spice软件求得器件模型数据集；

(2)通过TCAD软件进行器件建模，仿真提取获得器件模型数据集；

(3)经过测量仪实测半导体器件得到器件模型数据集。

进一步的，所述方法(1)的具体操作为：编写电路网表，利用python脚本将电路网表导入Spice软件，结合工业界常用的伯克利大学短沟道绝缘栅场效应晶体管团体的紧凑模型，批量进行电路求解得到各个器件模型数据；

所述方法(2)的具体操作为：利用python脚本，基于IRDS社区发布的模型数据使用TCAD进行器件仿真，批量提取相应的器件模型数据集。

进一步的，所述电路网表中包括半导体器件的V_gs、V_ds、V_bs、沟道长度、鳍高度、鳍宽度、鳍间距、栅极间距、氧化层厚度、掺杂信息，所述标准模型的特征数据包括I-V特性曲线、C-V特性曲线、跨导。

进一步的，所述步骤S2中，预处理为对初始训练集数据和初始测试集数据的偏置条件、几何结构及掺杂信息进行lg&MADZ-score标准化处理，包括数据清洗、归一化操作、添加标签信息、初始化权重和参数特征标准化操作，所述参数特征标准化的函数公式为：

x_i′＝lgx_i；

其中，x_i为训练集或测试集中的原数据，median()为统计量函数，

为数据的中位数，x_i′为训练集或测试集中的替换数据，z_i为训练集或测试集中原数据与替换数据的中位数绝对偏差。

进一步的，所述步骤S3中，残差块堆叠处理为在隐藏层上构建一系列残差块，每个残差块的计算公式为：

X_l+1＝X_l+F(X_l,W_l)；

其中，X_l为上一个阶段隐藏层的直接映射,F(X_l,W_l)为上一个阶段隐藏层经过全连接权重加成的映射。

进一步的，所述残差块内使用BatchRenormalization对参数进行归一化处理，BatchRenormalization的函数公式为：

y_i＝γx_i′+β；

μ′＝μ+α(μ_B-μ)；

σ′＝σ+α(σ_B-σ)；

其中，B为小批量范围，μ_B为小批量范围内的均值，x_i为残差块中的参数，m为小批量范围内的参数，σ_B为小批量范围内的样本标准差，stop_gradient()为停止迭代的梯度，σ为残差块中参数的标准差，r和d为采用小批量处理的迭代次数修正因子，μ为残差块中参数的均值，x_i′为经过小批量修正的残差块中的参数，γ为需要训练的权重，β为需要训练的偏置，α为移动平均更新率，μ′为残差块中参数的均值经过小批量处理后的更新，σ′为残差块中参数的样本标准差经过小批量处理后的更新。

进一步的，所述步骤S4中，具体包括如下步骤：

S4.1将S2获得的预处理训练集的网表信息输入残差网络模型，将残差网络模型的输出结果与预处理训练集的特征数据进行比较，得到MSE损失函数值后进行反向传播，调整神经网络替代模型中的参数权重；

S4.2重复步骤S4.1，将所获得的MSE损失函数值与上一轮MSE损失函数值比较，若MSE损失函数值下降，则继续沿此变化梯度修改网络参数的权重，重复步骤S4.2；

S4.3将预处理测试集数据的网表信息输入步骤S4.1获得的神经网络替代模型，将神经网络替代模型输出结果与预处理测试集的特征数据进行比较，得到R-Squared评价指标值；

S4.4重复步骤S4.1至4.3，将本轮所获得的R-Squared评价指标值与上一轮R-Squared评价指标值比较，若R-Squared评价指标值增大，则继续重复步骤S4.1，若R-Squared评价指标值数轮内没有增大，判断R-Squared评价指标值是否达到预设的模型精度阈值，若没有预设的模型精度阈值则重复步骤S4.1至4.3，若达到预设的模型精度阈值即停止模型训练，得到器件神经网络替代模型。

进一步的，所述的R-Squared评价指标值的函数公式为：

其中，y_i为神经网络替代模型输入的特征数据，f_i为神经网络替代模型的输出结果，R为R-Squared评价指标值。

与现有技术相比，本发明具有的有益效果为：

本发明的一种基于残差网络的DTCO建模方法，通过获取神经网络替代模型的器件模型数据集数据，将器件模型数据集数据分割为初始训练集数据和初始测试集数据；对初始训练集数据和初始测试集数据进行预处理得到预处理训练集和预处理测试集；创建神经网络替代模型，对神经网络替代模型中的隐藏层进行残差块堆叠结构处理；预处理训练集和预处理测试集放入残差网络结构进行参数的训练，得到器件神经网络替代模型。通过在多层神经网络的隐藏层引入残差结构，达到加深隐藏层深度，提升模型拟合能力的作用；引入器件模型专用的标准化预处理、评价标准函数和正则化，解决器件模型量纲取值范围广，神经网络难以训练的问题；利用误差逆向传播算法，经过多轮训练，得到准确表征半导体器件模型的深度残差网络替代模型。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的建模方法流程图；

图2为DTCO流程器件模型作用示意图。

具体实施方式

下面结合具体实施方式，对本发明的技术方案作进一步的详细说明，但不构成对本发明的任何限制。

参照图1和2所示，本发明的一种基于残差网络的DTCO建模方法，包括如下步骤：

S1获取神经网络替代模型的器件模型数据集，将器件模型数据集分割为训练集和测试集。

其中，神经网络替代模型的器件模型数据集可以通过以下三种方法中的其中一种获得，三种方法分别为：

(1)编写电路网表，利用Spice软件求得器件模型数据集；

(2)通过TCAD软件进行器件建模，仿真提取获得器件模型数据集；

(3)经过测量仪实测半导体器件得到器件模型数据集。

所述方法(1)的具体操作为：编写电路网表，利用python脚本将电路网表导入Spice软件，结合工业界常用的伯克利大学短沟道绝缘栅场效应晶体管团体的紧凑模型，批量进行电路求解得到各个器件模型数据；

所述方法(2)的具体操作为：利用python脚本，基于IRDS社区发布的模型数据使用TCAD进行器件仿真，批量提取相应的器件模型数据集。

所述电路网表中包括半导体器件的V_gs、V_ds、V_bs、沟道长度、鳍高度、鳍宽度、鳍间距、栅极间距、氧化层厚度、掺杂信息，所述标准模型的特征数据包括I-V特性曲线、C-V特性曲线、跨导。例如：所述通用输入数据如IRDS社区的5nm技术节点半导体器件，输入信息为Vdd0.7V，EOT1.1nm，栅长18nm，栅间距48nm，鳍高50nm，鳍宽7nm，鳍间距28nm等；输出数据为漏电流漏电压的伏安特性曲线。

S2对S1获得的训练集数据和测试集数据进行预处理得预处理训练集和预处理测试集。

其中，预处理为对训练集数据和测试集数据的偏置条件、几何结构及掺杂信息进行lg&MADZ-score标准化处理，得到专用于神经网络替代模型训练的特征数据，包括数据清洗、归一化操作、添加标签信息、初始化权重和参数特征标准化操作。考虑到器件模型的数据集参数量纲尺寸差异大，如器件沟道尺寸为纳米、微米级，即几何尺寸取值为e^-6～e^-9，但同时，器件的np掺杂浓度取值大，且取值范围为1e¹⁸～1e²⁰等等，因此模型根据器件参数特征改进标准化方式，改为具有高鲁棒性的lg&MADZ-score标准化对数据进行处理。所述参数特征标准化的的函数公式为：

x_i′＝lgx_i；

其中，x_i为训练集或测试集中的原数据，median()为统计量函数，

为数据的中位数，x_i′为训练集或测试集中的替换数据，z_i为训练集或测试集中原数据与替换数据的中位数绝对偏差。式中先对数据集进行lg对数处理，进行标签数据量纲差异缩小，再引入MAD绝对中位差统计量，此统计量函数比标准差函数更能适应器件数据量纲差异大的标准化处理。

S3创建神经网络替代模型，对神经网络替代模型中的隐藏层进行残差块堆叠结构处理。通过对神经网络替代模型中隐藏层采用残差结构进行堆叠，残差块内使用BatchRenormalization对参数进行归一化处理，能够达到加速训练且减小权重值尺度的作用。

其中，残差块堆叠处理为在隐藏层上构建一系列残差块，每个残差块的计算公式为：

X_l+1＝X_l+F(X_l,W_l)；

其中，式中残差块分成两部分直接映射部分和残差部分。X_l为上一个阶段隐藏层的直接映射,F(X_l,W_l)为上一个阶段隐藏层经过全连接权重加成的映射，F(X_l,W_l)为残差部分，由一次全连接操作构成。

所述残差块内使用BatchRenormalization对参数进行归一化处理，以达到加速训练且减小权重值尺度的作用，BatchRenormalization的函数公式为：

y_i＝γx_i′+β；

μ′＝μ+α(μ_B-μ)；

σ′＝σ+α(σ_B-σ)；

其中，B为小批量范围，μ_B为小批量范围内的均值，x_i为残差块中的参数，m为小批量范围内的参数，σ_B为小批量范围内的样本标准差，stop_gradient()为停止迭代的梯度，σ为残差块中参数的标准差，r和d为采用小批量处理的迭代次数修正因子，μ为残差块中参数的均值，x_i′为经过小批量修正的残差块中的参数，γ为需要训练的权重，β为需要训练的偏置，α为移动平均更新率，μ′为残差块中参数的均值经过小批量处理后的更新，σ′为残差块中参数的样本标准差经过小批量处理后的更新。通过训练阶段不断更新的μ′和σ′，消除归一化后激活函数对当前小批量处理的依赖性，从而使得权重尺度不会因为归一化的抵消和数据边界的增加，降低模型的损失函数值，此归一化使模型更具泛化性。

S4将S2获得的预处理训练集和预处理测试集放入残差网络结构进行参数的训练，得到器件神经网络替代模型。

其中，具体包括如下步骤：

S4.1将S2获得的预处理训练集的网表信息输入残差网络模型，将残差网络模型的输出结果与预处理训练集的特征数据进行比较，得到MSE损失函数值后进行反向传播，调整神经网络替代模型中的参数权重。

S4.2重复步骤S4.1，将所获得的MSE损失函数值与上一轮MSE损失函数值比较，若MSE损失函数值下降，则继续沿此变化梯度修改网络参数的权重，重复步骤S4.2。

S4.3将预处理测试集数据的网表信息输入步骤S4.1获得的神经网络替代模型，将神经网络替代模型输出结果与预处理测试集的特征数据进行比较，得到R-Squared评价指标值。

R-Squared评价指标值又叫决定系数，该指标可以消除器件模型数据量纲取值差异打的影响，更方便判断模型的拟合精度。R-Squared评价指标值的函数公式为：

其中，y_i为神经网络替代模型输入的特征数据，f_i为神经网络替代模型的输出结果，R为R-Squared评价指标值。当R越大越接近100％，说明拟合精度高，反之精度低。

采用Uout失活函数对训练中的神经网络替代模型进行正则化处理，输出特征数据如I-V特性曲线、C-V特性曲线、跨导等。Uout失活函数。相较于伯努利分布的Dropout失活函数，Uout失活函数为高斯分布，所有节点都参与训练因此激活值保持不变，因此测试阶段不需要对权重进行缩放，也可以加速训练速度，更适合结合BatchRenormalization一起使用。

用随机梯度下降法，通过将输出误差反向传播，将误差分摊给各层所有单元，从而获得各层单元的误差信号，进而修正各单元的权值，即是对网络的各个权值调整的过程，经过多轮训练，对预处理测试集数据采用EarlyStopping方法防止模型表征过拟合，从而得到可以准确表征半导体器件模型的深度神经网络替代模型。

S4.4重复步骤S4.1至4.3，将本轮所获得的R-Squared评价指标值与上一轮R-Squared评价指标值比较，若R-Squared评价指标值增大，则继续重复步骤S4.1；若R-Squared评价指标值数轮内没有增大，判断R-Squared评价指标值是否达到预设的模型精度阈值，若没有预设的模型精度阈值则重复步骤S4.1至4.3，若达到预设的模型精度阈值即停止模型训练，得到器件神经网络替代模型。

本发明的一种基于残差网络的DTCO建模方法，通过在多层神经网络的隐藏层引入残差结构，达到加深隐藏层深度，提升模型拟合能力的作用。引入器件模型专用的标准化预处理、评价标准函数和正则化，解决量纲取值范围广，神经网络难以训练的问题。通过采用R-Squared评价指标减少量纲差异的干扰，对神经网络替代模型进行训练，采用Uout失活函数对训练中的网络结构进行正则化处理，输出特征数据如I-V特性曲线、C-V特性曲线、跨导等。采用随机梯度下降法，经过多轮训练，对预处理测试集数据采用EarlyStopping方法防止模型表征过拟合，从而得到可以准确表征半导体器件模型的深度神经网络替代模型。

以上所述仅为本发明的较佳实施例，凡在本发明的精神和原则范围内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于残差网络的DTCO建模方法，其特征在于，包括如下步骤：

S1获取神经网络替代模型的器件模型数据集数据，将器件模型数据集数据分割为初始训练集数据和初始测试集数据；

S2对S1获得的初始训练集数据和初始测试集数据进行预处理得到预处理训练集和预处理测试集；

S3创建神经网络替代模型，对神经网络替代模型中的隐藏层进行残差块堆叠结构处理；

S4将S2获得的预处理训练集和预处理测试集放入残差网络结构进行参数的训练，得到器件神经网络替代模型。

2.根据权利要求1所述的一种基于残差网络的DTCO建模方法，其特征在于，所述的步骤S1中，神经网络替代模型的器件模型数据集可以通过以下三种方法中的其中一种获得，三种方法分别为：

(1)编写电路网表，利用Spice软件求得器件模型数据集；

(2)通过TCAD软件进行器件建模，仿真提取获得器件模型数据集；

(3)经过测量仪实测半导体器件得到器件模型数据集。

3.根据权利要求2所述的一种基于残差网络的DTCO建模方法，其特征在于，所述方法(1)的具体操作为：编写电路网表，利用python脚本将电路网表导入Spice软件，结合工业界常用的伯克利大学短沟道绝缘栅场效应晶体管团体的紧凑模型，批量进行电路求解得到各个器件模型数据；

所述方法(2)的具体操作为：利用python脚本，基于IRDS社区发布的模型数据使用TCAD进行器件仿真，批量提取相应的器件模型数据集。

4.根据权利要求3所述的一种基于残差网络的DTCO建模方法，其特征在于，所述电路网表中包括半导体器件的V_gs、V_ds、V_bs、沟道长度、鳍高度、鳍宽度、鳍间距、栅极间距、氧化层厚度、掺杂信息，所述标准模型的特征数据包括I-V特性曲线、C-V特性曲线、跨导。

5.根据权利要求1所述的一种基于残差网络的DTCO建模方法，其特征在于，所述步骤S2中，预处理为对初始训练集数据和初始测试集数据的偏置条件、几何结构及掺杂信息进行lg&MADZ-score标准化处理，包括数据清洗、归一化操作、添加标签信息、初始化权重和参数特征标准化操作，所述参数特征标准化的函数公式为：

x_i′＝lgx_i；

其中，x_i为训练集或测试集中的原数据，median()为统计量函数，

为数据的中位数，x_i′为训练集或测试集中的替换数据，z_i为训练集或测试集中原数据与替换数据的中位数绝对偏差。

6.根据权利要求1所述的一种基于残差网络的DTCO建模方法，其特征在于，所述步骤S3中，残差块堆叠处理为在隐藏层上构建一系列残差块，每个残差块的计算公式为：

X_l+1＝X_l+F(X_l,W_l)；

其中，X_l为上一个阶段隐藏层的直接映射,F(X_l,W_l)为上一个阶段隐藏层经过全连接权重加成的映射。

7.根据权利要求6所述的一种基于残差网络的DTCO建模方法，其特征在于，所述残差块内使用BatchRenormalization对参数进行归一化处理，BatchRenormalization的函数公式为：

y_i＝γx_i′+β；

μ′＝μ+α(μ_B-μ)；

σ′＝σ+α(σ_B-σ)；

其中，B为小批量范围，μ_B为小批量范围内的均值，x_i为残差块中的参数，m为小批量范围内的参数，σ_B为小批量范围内的样本标准差，stop_gradient()为停止迭代的梯度，σ为残差块中参数的标准差，r和d为采用小批量处理的迭代次数修正因子，μ为残差块中参数的均值，x_i′为经过小批量修正的残差块中的参数，γ为需要训练的权重，β为需要训练的偏置，α为移动平均更新率，μ′为残差块中参数的均值经过小批量处理后的更新，σ′为残差块中参数的样本标准差经过小批量处理后的更新。

8.根据权利要求1所述的一种基于残差网络的DTCO建模方法，其特征在于，所述步骤S4中，具体包括如下步骤：

S4.1将S2获得的预处理训练集的网表信息输入残差网络模型，将残差网络模型的输出结果与预处理训练集的特征数据进行比较，得到MSE损失函数值后进行反向传播，调整神经网络替代模型中的参数权重；

S4.2重复步骤S4.1，将所获得的MSE损失函数值与上一轮MSE损失函数值比较，若MSE损失函数值下降，则继续沿此变化梯度修改网络参数的权重，重复步骤S4.2；

S4.3将预处理测试集数据的网表信息输入步骤S4.1获得的神经网络替代模型，将神经网络替代模型输出结果与预处理测试集的特征数据进行比较，得到R-Squared评价指标值；

S4.4重复步骤S4.1至4.3，将本轮所获得的R-Squared评价指标值与上一轮R-Squared评价指标值比较，若R-Squared评价指标值增大，则继续重复步骤S4.1，若R-Squared评价指标值数轮内没有增大，判断R-Squared评价指标值是否达到预设的模型精度阈值，若没有预设的模型精度阈值则重复步骤S4.1至4.3，若达到预设的模型精度阈值即停止模型训练，得到器件神经网络替代模型。

9.根据权利要求8所述的一种基于残差网络的DTCO建模方法，其特征在于，所述的R-Squared评价指标值的函数公式为：

其中，y_i为神经网络替代模型输入的特征数据，f_i为神经网络替代模型的输出结果，R为R-Squared评价指标值。

Images