CN102663495A - 一种用于非线性器件建模的神经网络数据生成方法 - Google Patents

Abstract

本发明属于非线性器件设计技术领域，涉及一种用于非线性器件建模的神经网络数据生成方法，包括：1)获得非线性器件的主要输入输出样本数据；2)确定各个输入参数的取值范围，构造初始训练数据集合和初始测试数据集合；3)计算出所有子空间的有效误差，找出最大有效误差并和标准误差值比较，如果较小，说明得到足够的训练数据，结束，否则，选取具有最大有效误差的子空间，比较该子空间中各个输入参数的维度误差值，确定具有最大维度误差的输入参数；在具有最大有效误差的子空间内，取具有最大维度误差的输入参数维度上的所有中点，获得新的训练数据，进行空间分裂，并转向3)。本发明能够为后续神经网络的训练节约大量的时间和精力。

Description

一种用于非线性器件建模的神经网络数据生成方法

所属技术领域

本发明非线性器件设计技术领域，涉及一种用于非线性器件建模的神经网络训练数据生成方法。 

背景技术

在非线性器件建模里，传统的计算机辅助设计技术(CAD)已经被大量的应用，并且产生了相当数量的各种器件模型。但是，随着新技术、新材料和非传统器件的不断涌现，传统的CAD技术已经很难满足我们的实际要求了。为了充分描述新型非线性器件本身的特性并掌握器件物理和几何特性的变化，近年来，神经网络技术作为一种新型建模技术被越来越多地运用到非线性器件建模领域。 

神经网络技术是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。它是依靠系统的复杂程度，通过调整内部大量节点之间互相连接的关系，从而达到处理信息的目的。神经网络技术具有如下突出的优点：一、可以充分逼近任意复杂的非线性关系；二，所有定量或定性信息都等势分布贮存在网络内的神经元，故有很强的鲁棒性和容错性；三、采用并行分布处理方法，使得快速进行大量运算成为可能；四，可学习和自适应不知道或不确定的系统；五、能够同时处理定量、定性知识。神经网络技术的最大特点是具有保持“学习”状态的数据存储功能和非线性功能，从而具有神奇的学习能力。 

正是由于神经网络技术具有这些突出的优点，近些年来，神经网络技术被大量地运用在器件和电路建模领域。我们根据理论计算或基于实际测量，得到器件或电路的实际测量值，从而得到它们的输入、输出样本数据，进而进行神经网络的训练。神经网络技术能够通过自动的训练过程来学习已有的器件或电路数据，从而生成能够真实地反映器件多维非线性关系的器件模型，这些训练好的神经网络模型能够用于快速准确地设计高级电路和系统。相对于传统建模方法计算量大、经验模型精确性不高等缺点，神经网络建模技术效率和精确性更高，特别是用于构建新型的、非传统的非线性器件模型。这些新型器件模型的构建是后续电路设计的前提，如果没有这些模型，电路设计及优化则无从谈起。同时，对神经网络对应参数的优化，我们可以进一步地优化电路。 

通常情况下，神经网络建模涉及多个方面的内容，包括数据生成、神经网络模型选择、训练和有效性分析等。其中，数据生成模块是神经网络建模的重要组成部分。如果产生的训练数据数量太多，则神经网络训练过程将要付出很大的代价；反之，如果产生的训练数据数量太少，那么构建出来的神经网络模型的准确率将降低。因此，一个有效的数据生成算法必须充分考虑以上两个方面的情况。 

到目前为止，国内外的专家学者们已经提出了一些有效的神经网络数据生成算法。特别是由张齐军教授提出的神经网络数据生成算法的有效性已经在非线性器件建模方面得到充分的验证，该算法原理较为简单，并且与传统的数据生成算法相比，在同样的精度要求下，该算法所耗费的时间更短，所需采集的训练数据更少。但是，即使该算法较传统算法已经有了很大的改进，该算法所耗费的时间仍然很长，这已然成为了神经网络非线性器件建模领域的一个重大障碍。该算法存在的主要缺陷如下：由于该算法对采样空间进行规则分裂，将各个维度上得到的数据都作为训练数据，这样就采集了很多冗余的训练数据，导致整个算法计算量很大，耗费的时间相当长。 

发明内容

本发明的目的是克服现有技术的上述不足，提出一种用于非线性器件建模的神经网络数据生成方法。该方法能够充分考虑所采集到的训练数据的有效性，找到非线性最强的维度并获得该维度上的训练数据，从而大量减少冗余数据，使得整个算法的计算量和耗费时间大为减少，为后续神经网络的训练节约大量的时间和精力。 

一种用于非线性器件建模的神经网络数据生成方法，包括下列步骤： 

第一步：获得非线性器件的主要输入输出样本数据，这些输入输出样本数据可以通过理论计算或实际测量获得； 

第二步：根据获得的样本数据，确定各个输入参数的取值范围，并设定一个标准误差值，利用各个输入参数的取值范围，构造初始训练数据集合和初始测试数据集合，定义初始的训练数据集合和测试数据集合分别是L1＝{输入采样空间的所有顶点}和T1＝{输入采样空间的中心点}，输入参数的个数即为输入采样空间的纬度； 

第二步：定义子空间的有效误差：对于某个子空间，子空间中心点的插值减去中心点的输出值的绝对值；定义输入参数的维度误差：在具有最大有效误差的子空间中，对于某个输入参数，找出该输入参数维度上的所有中点，将这些中点的插值减去各自的输出值，得到的数值相加取绝对值； 

第三步：计算出所有子空间的有效误差，找出最大有效误差并和标准误差值进行比较，如果小于标准误差值，说明得到足够的训练数据，结束流程；反之，说明未得到足够的训练数据，转向步骤四；在首次进行此步骤时，这里的子空间即为初始的输入采样空间； 

第四步：根据步骤三确定具有最大有效误差的子空间，在该子空间中，比较各个输入参数的维度误差值，确定具有最大维度误差的输入参数。 

第五步：在具有最大有效误差的子空间内，取具有最大维度误差的输入参数维度上的所有中点，获得新的训练数据，同时，将这些中点作为新的子空间的顶点，将子空间一分为二，产生两个新的子空间，将子空间一分为二，产生两个新的子空间，然后转向步骤三。 

作为优选实施方式，所述的用于非线性器件建模的神经网络数据生成方法，第二步中，子空间中心点的插值为 

其中，x_l是子空间的中心点， 

是x_l所在子空间的各个顶点，N是对应子空间的顶点个数， 

是指顶点的输出值；输入参数维度上的中点的插值为： 

其中，z_m是选取的中心点； 

是z_m所在的N-1维空间的所有顶点； 

是这些顶点的输出值。 

采用本发明对神经网络非线性器件建模有着很大的帮助，由于对非线性器件建模需要有相当数量的训练数据，而现有的数据生成算法计算量大、耗费时间长，在实际的应用中很不方便。本发明经过仿真测试后，不仅能够得到有效的训练数据，并且大大减少了计算量和训练数据生成的时间，降低了神经网络训练数据获取的成本。 

附图说明

图1为本发明流程框图。 

图2为本实施例的结型场效应管电路示意图。 

图3为训练数据的生成过程，其中○代表训练数据，*代表测试数据。(a)(b)(c)(d)图分别为训练数据的第一次、第二次、第三次、第四次采集示意图，图3(f)为满足误差条件后得到的训练数据采集示意图。 

最佳实施方式 

如图1所示，本发明的主要思路如下：训练数据的获取是通过对采样空间的不断分裂得到的，而采样空间的分裂主要根据以下两个条件进行的。第一，在所有子空间中找出具有最大有效误差的子空间；第二，找出该子空间中具有最大维度误差的维度，从该维度上分裂子空间。在非线性越大的区域，选取的训练数据越多；在非线性越弱的区域，选取的训练数据越少。本发明包括两大主要步骤：找到具有最大有效误差的子空间和分裂子空间并获取训练数据。 

具体方案如下： 

一、找到具有最大有效误差的子空间 

1、利用Advanced Design System(ADS)构建非线性器件电路，设置好参数，得到该器件电路的输入输出关系，通过这些得到的输入输出关系确定采样空间中所有点的输出值。 

2、根据输入的各维度范围，确定一个初始采样空间R0，训练数据的选取就是在这个采样空间内进行的。我们分别定义训练数据集合和测试数据集合为L^k和T^k，其中测试数据主要用于计算有效误差，从而衡量训练数据的选取是否满足了我们的要求，通常情况下我们取每个子空间的中心点作为测试数据。通过不断地分裂输入采样空间及其子空间，得到新的训练数据和测试数据，并将这些新的数据分别加到集合L^k和集合T^k。在算法开始时候，初始的训练数据集合和测试数据集合都被预先定义好了，分别是L¹＝{输入采样空间的所有顶点}和T¹＝{输入采样空间的中心点}。 

3、每个子空间的有效误差用如下公式定义： 

$E_l^k\left(x_l\right)=|P_l^k\left(x_l\right)-y\left(x_l\right)|,x_l\∈T^k---\left(1\right)$

其中l是指整个采样空间的第l个子空间；k是指对采样空间进行分裂的次数；x_l是每个子空间对应的测试数据； 

是相应子空间的有效误差；y(x_l)是相应子空间中测试数据的输出值； 

是相应子空间中测试数据的插值。由于我们选取的测试数据是相应子空间的中心点，因此对测试数据进行插值的公式如下： 

$P_l^k\left(x_l\right)=\frac{1}{2^N}\underset{i=1}{\overset{2^N}{\mathrm{\Σ}}}y\left(x_i^{\′}\right),i=\mathrm{1,2},......,2^N---\left(2\right)$

其中， 

是x_l所对应子空间的各个顶点；N是对应子空间的顶点个数； 

是指顶点的输出值。 

4、利用(3)中提到的有效误差公式，我们可以计算出所有子空间的有效误差。比较这些子空间的有效误差，找出最大有效误差E^k和具有最大有效误差的子空间R^*，该子空间对应的测试数据是x^*。 

5、根据给定的标准误差E_s，比较 

和E_s的大小，如果最大有效误差E^k小于标准误差E_s，则算法停止，已经得到的训练数据即为最终的训练数据；反之，则需要进行以下步骤。对于初始采样空间R₀，由于它没有子空间，因此直接计算它的有效误差并和标准误差进行比较，从而决定是否需要往下分裂空间。 

二、不断分裂子空间并获取训练数据 

1、对于一个N维输入样本空间，它是由2N个N-1维空间组成的，例如：一个二维输入样本空间是由4条边(一维)组成的，一个三维输入样本空间是由6个面(二维)组成的。因此，在每个N-1维空间选取一个中心点，则共有2N个这样的中心点。在2N个这样的中心点中，每个方向上对应其中的(2N-2)个中心点，我们利用这(2N-2)个点来定义维度误差： 

$e_n^k=\frac{1}{2*(N-1)}\underset{m=1}{\overset{2*(N-1)}{\mathrm{\Σ}}}|P_n^k\left(z_m\right)-y_n^k\left(z_m\right)|---\left(3\right)$

其中，n代表子空间的第n个维度； 

是指子空间第n维方向上的维度误差；z_m是第n维方向上对应的中心点，总共有2*(N-1)个； 是这些中心点对应的输出值； 是指这些中心点的插值。由于我们选取的这些中心点都是N-1维空间的中心点，因此每个中心点的插值公式如下： 

$P_n^k\left(z_m\right)=\frac{1}{2^{N-1}}\underset{i=1}{\overset{2^{N-1}}{\mathrm{\Σ}}}y\left(z_m^i\right),i=\mathrm{1,2},......,2^{N-1}---\left(4\right)$

其中，z_m是选取的中心点； 是z_m所在的N-1维空间的所有顶点； 是这些顶点的输出值。 

2、比较由(1)得到的各个方向上的维度误差，维度误差越大，表示非线性越大，因此，我们就找出非线性最大的那个维度n_w，并且将子空间R^*从该维度上一分为二，产生两个新的子空间。 

3、在将子空间一分为二的同时，新的训练数据也能够从中得到。得到新的训练数据的公式如下： 

$x_{\mathrm{new}}=x^{*}+P_i\frac{x_{\max }-x_{\min }}{2},i=\mathrm{1,2},...,n_{\mathrm{new}}---\left(5\right)$

其中，x_new是新增加的训练数据；x_max和x_min是被分裂子空间R^*的上下边界矩阵；x^*是被分裂子空间的测试数据(即中心点)；P_i是一个N*N矩阵，它的n_w行和n_w列是0，而其他的元素从-1、0、+1中选取，不同的P_i对应着不同的训练数据。根据计算，每次新增加的训练数据点数为2^N-1，即n_new＝2^N-1。 

4、完成以上步骤后，便完成了一次空间分裂和神经网络训练数据获取。在每次获得新的训练数据后，重复上述操作，便能实现神经网络训练数据的不断获取，直到满足要求的标准误差。 

下面是本发明的一个具体实施例子： 

此部分以非线性器件结型场效应晶体管(JFET)的神经网络建模作为例子，主要包括以下几个步骤：数据生成、神经网络模型选择、训练和有效性分析；结型场效应管电路示意图如图2所示； 

1)数据生成部分：利用本算法得到训练数据，即JFET的输入输出数据。JFET的输入参数是：栅源电压V_GS和漏源电压V_DS，输出参数是：漏极电流I_D，因此，输入空间是二维的，定义输入参数的范围分别为-0.8V～0V和0V～2.5V，标准误差为E_s＝0.0001。 

①初始训练数据集合为，L¹＝{(-0.8，0)，(-0.8，2.5)，(0，0)，(0，2.5)}，初始测试数据集合为T¹＝{(2，2)}。 

②由于是分裂的是初始空间R₀，所以直接计算该空间的有效误差值并和标准误差值进行比较。R₀的 测试数据是x₁＝(-0.4 1.25)，该测试数据所在子空间对应的顶点分别是  $x_1^{\′}=\left(\begin{array}{cc}-0.8& 0\end{array}\right),$ $x_2^{\′}=\left(\begin{array}{cc}-0.8& 2.5\end{array}\right),$ $x_3^{\′}=\left(\begin{array}{cc}0& 0\end{array}\right),$ $x_4^{\′}=\left(\begin{array}{cc}0& 2.5\end{array}\right),$ 根据(2)式，计算它的插值： 

${P_1}^1\left(x_1\right)=\frac{1}{4}\underset{i=1}{\overset{4}{\mathrm{\Σ}}}y\left(x_i^{\′}\right),i=\mathrm{1,2,3,4}$

接着，根据(1)式，计算空间R₀的有效误差： 比较 

和标准误差E_s的大小，此时假设 

③分别计算V_GS和V_DS两个维度上的维度误差。首先找出V_GS方向上的中心点z₁＝(-0.4 0)和x₁＝(-0.4 2.5)，则对应于z₁的顶点分别为 

和 

对应于z₂的顶点为 

和z₁＝(-0.4 2.5)，根据(4)式分别计算中心点z₁和z₂的插值： 

$P_1^1\left(z_1\right)=\frac{1}{2}\underset{i=1}{\overset{2}{\mathrm{\Σ}}}y\left(z_1^i\right),i=\mathrm{1,2}$ $P_1^1\left(z_2\right)=\frac{1}{2}\underset{i=1}{\overset{2}{\mathrm{\Σ}}}y\left(z_2^i\right),i=\mathrm{1,2}$

则根据(3)式可以得出V_GS方向上的维度误差： 

$e_1^1=\frac{1}{2}\underset{m=1}{\overset{2}{\mathrm{\Σ}}}|P_1^1\left(z_m\right)-y\left(z_m\right)|$

同理，也可以计算出V_DS方向上的维度误差 比较 

和 

的大小，可以确定空间分裂的方向。根据算法运行结果，此时空间从V_DS方向上进行分裂，从而根据公式(5)得到新的训练数据(-0.8 1.25)和(0 1.25)，如图3(a)所示。 

④此时，我们就完成了训练数据的第一次采集，以此类推，如图3(b)和图3(c)所示，我们分别进行第二次、第三次训练数据的采集，直到满足我们的标准误差条件，如图3(f)所示。 

2)神经网络模型选择：对于JFET，我们采用多层感知器(Multilayer Perceptrons，MLP)这种最常用的神经网络模型对训练数据进行训练。 

3)神经网络训练和有效性分析：我们对数据生成模块获得的数据进行充分的训练后，得到神经网络的训练误差和测试误差，并且结合输入输出曲线，可以判断训练数据是否精确。在经过上述步骤后，我们就可以得到JFET的器件模型，运用在实际的电路设计和优化中。 

Claims (2)

1.一种用于非线性器件建模的神经网络数据生成方法，包括下列步骤：

第一步：获得非线性器件的主要输入输出样本数据，这些输入输出样本数据可以通过理论计算或实际测量获得；

第二步：根据获得的样本数据，确定各个输入参数的取值范围，并设定一个标准误差值，利用各个输入参数的取值范围，构造初始训练数据集合和初始测试数据集合，定义初始的训练数据集合和测试数据集合分别是L1＝{输入采样空间的所有顶点}和T1＝{输入采样空间的中心点}，输入参数的个数即为输入采样空间的纬度；

第二步：定义子空间的有效误差：对于某个子空间，子空间中心点的插值减去中心点的输出值的绝对值；定义输入参数的维度误差：在具有最大有效误差的子空间中，对于某个输入参数，找出该输入参数维度上的所有中点，将这些中点的插值减去各自的输出值，得到的数值相加取绝对值；

第三步：计算出所有子空间的有效误差，找出最大有效误差并和标准误差值进行比较，如果小于标准误差值，说明得到足够的训练数据，结束流程；反之，说明未得到足够的训练数据，转向步骤四；在首次进行此步骤时，这里的子空间即为初始的输入采样空间；

第四步：根据步骤三确定具有最大有效误差的子空间，在该子空间中，比较各个输入参数的维度误差值，确定具有最大维度误差的输入参数。

第五步：在具有最大有效误差的子空间内，取具有最大维度误差的输入参数维度上的所有中点，获得新的训练数据，同时，将这些中点作为新的子空间的顶点，将子空间一分为二，产生两个新的子空间，将子空间一分为二，产生两个新的子空间，然后转向步骤三。

2.根据权利要求1所述的用于非线性器件建模的神经网络数据生成方法，其特征在于，第二步中，子空间中心点的插值为 其中，x_l是子空间的中心点， 

是x_l所在子空间的各个顶点，N是对应子空间的顶点个数， 

是指顶点的输出值；输入参数维度上的中点的插值为： 

其中，z_m是选取的中心点； 是z_m所在的N-1维空间的所有顶点； 

是这些顶点的输出值。 

Images