CN102663495B - 一种用于非线性器件建模的神经网络数据生成方法 - Google Patents
一种用于非线性器件建模的神经网络数据生成方法 Download PDFInfo
- Publication number
- CN102663495B CN102663495B CN201210044012.5A CN201210044012A CN102663495B CN 102663495 B CN102663495 B CN 102663495B CN 201210044012 A CN201210044012 A CN 201210044012A CN 102663495 B CN102663495 B CN 102663495B
- Authority
- CN
- China
- Prior art keywords
- subspace
- error
- input parameter
- dimension
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Complex Calculations (AREA)
Abstract
本发明属于非线性器件设计技术领域,涉及一种用于非线性器件建模的神经网络数据生成方法,包括:1)获得非线性器件的主要输入输出样本数据;2)确定各个输入参数的取值范围,构造初始训练数据集合和初始测试数据集合;3)计算出所有子空间的有效误差,找出最大有效误差并和标准误差值比较,如果较小,说明得到足够的训练数据,结束,否则,选取具有最大有效误差的子空间,比较该子空间中各个输入参数的维度误差值,确定具有最大维度误差的输入参数;在具有最大有效误差的子空间内,取具有最大维度误差的输入参数维度上的所有中点,获得新的训练数据,进行空间分裂,并转向3)。本发明能够为后续神经网络的训练节约大量的时间和精力。
Description
所属技术领域
本发明非线性器件设计技术领域,涉及一种用于非线性器件建模的神经网络训练数据生成方法。
背景技术
在非线性器件建模里,传统的计算机辅助设计技术(CAD)已经被大量的应用,并且产生了相当数量的各种器件模型。但是,随着新技术、新材料和非传统器件的不断涌现,传统的CAD技术已经很难满足我们的实际要求了。为了充分描述新型非线性器件本身的特性并掌握器件物理和几何特性的变化,近年来,神经网络技术作为一种新型建模技术被越来越多地运用到非线性器件建模领域。
神经网络技术是一种模仿动物神经网络行为特征,进行分布式并行信息处理的算法数学模型。它是依靠系统的复杂程度,通过调整内部大量节点之间互相连接的关系,从而达到处理信息的目的。神经网络技术具有如下突出的优点:一、可以充分逼近任意复杂的非线性关系;二,所有定量或定性信息都等势分布贮存在网络内的神经元,故有很强的鲁棒性和容错性;三、采用并行分布处理方法,使得快速进行大量运算成为可能;四,可学习和自适应不知道或不确定的系统;五、能够同时处理定量、定性知识。神经网络技术的最大特点是具有保持“学习”状态的数据存储功能和非线性功能,从而具有神奇的学习能力。
正是由于神经网络技术具有这些突出的优点,近些年来,神经网络技术被大量地运用在器件和电路建模领域。我们根据理论计算或基于实际测量,得到器件或电路的实际测量值,从而得到它们的输入、输出样本数据,进而进行神经网络的训练。神经网络技术能够通过自动的训练过程来学习已有的器件或电路数据,从而生成能够真实地反映器件多维非线性关系的器件模型,这些训练好的神经网络模型能够用于快速准确地设计高级电路和系统。相对于传统建模方法计算量大、经验模型精确性不高等缺点,神经网络建模技术效率和精确性更高,特别是用于构建新型的、非传统的非线性器件模型。这些新型器件模型的构建是后续电路设计的前提,如果没有这些模型,电路设计及优化则无从谈起。同时,对神经网络对应参数的优化,我们可以进一步地优化电路。
通常情况下,神经网络建模涉及多个方面的内容,包括数据生成、神经网络模型选择、训练和有效性分析等。其中,数据生成模块是神经网络建模的重要组成部分。如果产生的训练数据数量太多,则神经网络训练过程将要付出很大的代价;反之,如果产生的训练数据数量太少,那么构建出来的神经网络模型的准确率将降低。因此,一个有效的数据生成算法必须充分考虑以上两个方面的情况。
到目前为止,国内外的专家学者们已经提出了一些有效的神经网络数据生成算法。特别是由张齐军教授提出的神经网络数据生成算法的有效性已经在非线性器件建模方面得到充分的验证,该算法原理较为简单,并且与传统的数据生成算法相比,在同样的精度要求下,该算法所耗费的时间更短,所需采集的训练数据更少。但是,即使该算法较传统算法已经有了很大的改进,该算法所耗费的时间仍然很长,这已然成为了神经网络非线性器件建模领域的一个重大障碍。该算法存在的主要缺陷如下:由于该算法对采样空间进行规则分裂,将各个维度上得到的数据都作为训练数据,这样就采集了很多冗余的训练数据,导致整个算法计算量很大,耗费的时间相当长。
发明内容
本发明的目的是克服现有技术的上述不足,提出一种用于非线性器件建模的神经网络数据生成方法。该方法能够充分考虑所采集到的训练数据的有效性,找到非线性最强的维度并获得该维度上的训练数据,从而大量减少冗余数据,使得整个算法的计算量和耗费时间大为减少,为后续神经网络的训练节约大量的时间和精力。
一种用于非线性器件建模的神经网络数据生成方法,包括下列步骤:
第一步:获得非线性器件的主要输入输出样本数据,这些输入输出样本数据可以通过理论计算或实际测量获得;
第二步:根据获得的样本数据,确定各个输入参数的取值范围,并设定一个标准误差值,利用各个输入参数的取值范围,构造初始训练数据集合和初始测试数据集合,定义初始的训练数据集合和测试数据集合分别是L1={输入采样空间的所有顶点}和T1={输入采样空间的中心点},输入参数的个数即为输入采样空间的纬度;
第二步:定义子空间的有效误差:对于某个子空间,子空间中心点的插值减去中心点的输出值的绝对值;定义输入参数的维度误差:在具有最大有效误差的子空间中,对于某个输入参数,找出该输入参数维度上的所有中点,将这些中点的插值减去各自的输出值,得到的数值相加取绝对值;
第三步:计算出所有子空间的有效误差,找出最大有效误差并和标准误差值进行比较,如果小于标准误差值,说明得到足够的训练数据,结束流程;反之,说明未得到足够的训练数据,转向步骤四;在首次进行此步骤时,这里的子空间即为初始的输入采样空间;
第四步:根据步骤三确定具有最大有效误差的子空间,在该子空间中,比较各个输入参数的维度误差值,确定具有最大维度误差的输入参数。
第五步:在具有最大有效误差的子空间内,取具有最大维度误差的输入参数维度上的所有中点,获得新的训练数据,同时,将这些中点作为新的子空间的顶点,将子空间一分为二,产生两个新的子空间,将子空间一分为二,产生两个新的子空间,然后转向步骤三。
作为优选实施方式,所述的用于非线性器件建模的神经网络数据生成方法,第二步中,子空间中心点的插值为其中,xl是子空间的中心点,x′i是xl所在子空间的各个顶点,N是对应子空间的顶点个数,y(xi')是指顶点的输出值;输入参数维度上的中点的插值为:其中,zm是选取的中心点;是zm所在的N-1维空间的所有顶点;y(zi')是这些顶点的输出值。
采用本发明对神经网络非线性器件建模有着很大的帮助,由于对非线性器件建模需要有相当数量的训练数据,而现有的数据生成算法计算量大、耗费时间长,在实际的应用中很不方便。本发明经过仿真测试后,不仅能够得到有效的训练数据,并且大大减少了计算量和训练数据生成的时间,降低了神经网络训练数据获取的成本。
附图说明
图1为本发明流程框图。
图2为本实施例的结型场效应管电路示意图。
图3为训练数据的生成过程,其中○代表训练数据,*代表测试数据。(a)(b)(c)(d)图分别为训练数据的第一次、第二次、第三次、第四次采集示意图,图3(f)为满足误差条件后得到的训练数据采集示意图。
具体实施方式
如图1所示,本发明的主要思路如下:训练数据的获取是通过对采样空间的不断分裂得到的,而采样空间的分裂主要根据以下两个条件进行的。第一,在所有子空间中找出具有最大有效误差的子空间;第二,找出该子空间中具有最大维度误差的维度,从该维度上分裂子空间。在非线性越大的区域,选取的训练数据越多;在非线性越弱的区域,选取的训练数据越少。本发明包括两大主要步骤:找到具有最大有效误差的子空间和分裂子空间并获取训练数据。
具体方案如下:
一、找到具有最大有效误差的子空间
1、利用Advanced Design System(ADS)构建非线性器件电路,设置好参数,得到该器件电路的输入输出关系,通过这些得到的输入输出关系确定采样空间中所有点的输出值。
2、根据输入的各维度范围,确定一个初始采样空间R0,训练数据的选取就是在这个采样空间内进行的。我们分别定义训练数据集合和测试数据集合为Lk和Tk,其中测试数据主要用于计算有效误差,从而衡量训练数据的选取是否满足了我们的要求,通常情况下我们取每个子空间的中心点作为测试数据。通过不断地分裂输入采样空间及其子空间,得到新的训练数据和测试数据,并将这些新的数据分别加到集合Lk和集合Tk。在算法开始时候,初始的训练数据集合和测试数据集合都被预先定义好了,分别是L1={输入采样空间的所有顶点}和T1={输入采样空间的中心点}。
3、每个子空间的有效误差用如下公式定义:
其中l是指整个采样空间的第l个子空间;k是指对采样空间进行分裂的次数;xl是每个子空间对应的测试数据;是相应子空间的有效误差;y(xl)是相应子空间中测试数据的输出值;是相应子空间中测试数据的插值。由于我们选取的测试数据是相应子空间的中心点,因此对测试数据进行插值的公式如下:
其中,xi'是xl所对应子空间的各个顶点;N是对应子空间的顶点个数;y(xi')是指顶点的输出值。
4、利用(3)中提到的有效误差公式,我们可以计算出所有子空间的有效误差。比较这些子空间的有效误差,找出最大有效误差Ek和具有最大有效误差的子空间R*,该子空间对应的测试数据是x*。
5、根据给定的标准误差Es,比较和Es的大小,如果最大有效误差Ek小于标准误差Es,则算法停止,已经得到的训练数据即为最终的训练数据;反之,则需要进行以下步骤。对于初始采样空间R0,由于它没有子空间,因此直接计算它的有效误差并和标准误差进行比较,从而决定是否需要往下分裂空间。
二、不断分裂子空间并获取训练数据
1、对于一个N维输入样本空间,它是由2N个N-1维空间组成的,例如:一个二维输入样本空间是由4条边(一维)组成的,一个三维输入样本空间是由6个面(二维)组成的。因此,在每个N-1维空间选取一个中心点,则共有2N个这样的中心点。在2N个这样的中心点中,每个方向上对应其中的(2N-2)个中心点,我们利用这(2N-2)个点来定义维度误差:
其中,n代表子空间的第n个维度;是指子空间第n维方向上的维度误差;zm是第n维方向上对应的中心点,总共有2*(N-1)个;是这些中心点对应的输出值;是指这些中心点的插值。由于我们选取的这些中心点都是N-1维空间的中心点,因此每个中心点的插值公式如下:
其中,zm是选取的中心点;是zm所在的N-1维空间的所有顶点;y(zi')是这些顶点的输出值。
2、比较由(1)得到的各个方向上的维度误差,维度误差越大,表示非线性越大,因此,我们就找出非线性最大的那个维度nw,并且将子空间R*从该维度上一分为二,产生两个新的子空间。
3、在将子空间一分为二的同时,新的训练数据也能够从中得到。得到新的训练数据的公式如下:
其中,xnew是新增加的训练数据;xmax和xmin是被分裂子空间R*的上下边界矩阵;x*是被分裂子空间的测试数据(即中心点);Pi是一个N*N矩阵,它的nw行和nw列是0,而其他的元素从-1、0、+1中选取,不同的Pi对应着不同的训练数据。根据计算,每次新增加的训练数据点数为2N-1,即nnew=2N-1。
4、完成以上步骤后,便完成了一次空间分裂和神经网络训练数据获取。在每次获得新的训练数据后,重复上述操作,便能实现神经网络训练数据的不断获取,直到满足要求的标准误差。
下面是本发明的一个具体实施例子:
此部分以非线性器件结型场效应晶体管(JFET)的神经网络建模作为例子,主要包括以下几个步骤:数据生成、神经网络模型选择、训练和有效性分析;结型场效应管电路示意图如图2所示;
1)数据生成部分:利用本算法得到训练数据,即JFET的输入输出数据。
JFET的输入参数是:栅源电压VGS和漏源电压VDS,输出参数是:漏极电流ID,因此,输入空间是二维的,定义输入参数的范围分别为-0.8V~0V和0V~2.5V,标准误差为Es=0.0001。
①初始训练数据集合为L1={(-0.8,0),(-0.8,2.5),(0,0),(0,2.5)},初始测试数据集合为T1={(2,2)}。
②由于是分裂的是初始空间R0,所以直接计算该空间的有效误差值并和标准误差值进行比较。R0的测试数据是x1=(-0.4 1.25),该测试数据所在子空间对应的顶点分别是x1'=(-0.8 0),x'2=(-0.8 2.5),x'3=(0 0),x'4=(0 2.5),根据(2)式,计算它的插值:
接着,根据(1)式,计算空间R0的有效误差:比较和标准误差Es的大小,此时假设
③分别计算VGS和VDS两个维度上的维度误差。首先找出VGS方向上的中心点z1=(-0.4 0)和x1=(-0.4 2.5),则对应于z1的顶点分别为 和 对应于z2的顶点为 和 根据(4)式分别计算中心点z1和z2的插值:
则根据(3)式可以得出VGS方向上的维度误差:
同理,也可以计算出VDS方向上的维度误差比较和的大小,可以确定空间分裂的方向。根据算法运行结果,此时空间从VDS方向上进行分裂,从而根据公式(5)得到新的训练数据(-0.8 1.25)和(0 1.25),如图3(a)所示。
④此时,我们就完成了训练数据的第一次采集,以此类推,如图3(b)和图3(c)所示,我们分别进行第二次、第三次训练数据的采集,直到满足我们的标准误差条件,如图3(f)所示。
2)神经网络模型选择:对于JFET,我们采用多层感知器(Multilayer Perceptrons,MLP)这种最常用的神经网络模型对训练数据进行训练。
3)神经网络训练和有效性分析:我们对数据生成模块获得的数据进行充分的训练后,得到神经网络的训练误差和测试误差,并且结合输入输出曲线,可以判断训练数据是否精确。在经过上述步骤后,我们就可以得到JFET的器件模型,运用在实际的电路设计和优化中。
Claims (1)
1.一种用于非线性器件建模的神经网络数据生成方法,包括下列步骤:
第一步:获得非线性器件的主要输入输出样本数据,这些输入输出样本数据可以通过理论计算或实际测量获得,根据获得的样本数据,确定各个输入参数的取值范围,并设定一个标准误差值,利用各个输入参数的取值范围,构造初始训练数据集合和初始测试数据集合,定义初始的训练数据集合和测试数据集合分别是L1={输入采样空间的所有顶点}和T1={输入采样空间的中心点},输入参数的个数即为输入采样空间的纬度;
第二步:定义子空间的有效误差:对于某个子空间,子空间中心点的插值减去中心点的输出值的绝对值;定义输入参数的维度误差:在具有最大有效误差的子空间中,对于某个输入参数,找出该输入参数维度上的所有中点,将这些中点的插值减去各自的输出值,得到的数值相加取绝对值,其中,子空间中心点的插值为式中,l是指整个采样空间的第l个子空间,k是指对采样空间进行分裂的次数,xl是子空间的中心点,初始的子空间即为所述的输入采样空间,x′i是xl所在子空间的各个顶点,N是对应子空间的顶点个数,y(x′i)是指顶点的输出值;输入参数维度上的中点的插值为:式中,zm是选取的中心点;是zm所在的N-1维空间的所有顶点;y(z′i)是这些顶点的输出值;
第三步:计算出所有子空间的有效误差,找出最大有效误差并和标准误差值进行比较,如果小于标准误差值,说明得到足够的训练数据,结束流程;反之,说明未得到足够的训练数据,转向步骤四;在首次进行此步骤时,这里的子空间即为初始的输入采样空间;
第四步:根据步骤三确定具有最大有效误差的子空间,在该子空间中,比较各个输入参数的维度误差值,确定具有最大维度误差的输入参数。
第五步:在具有最大有效误差的子空间内,取具有最大维度误差的输入参数维度上的所有中点,获得新的训练数据,同时,将这些中点作为新的子空间的顶点,将子空间一分为二,产生两个新的子空间,然后转向步骤三。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210044012.5A CN102663495B (zh) | 2012-02-22 | 2012-02-22 | 一种用于非线性器件建模的神经网络数据生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210044012.5A CN102663495B (zh) | 2012-02-22 | 2012-02-22 | 一种用于非线性器件建模的神经网络数据生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102663495A CN102663495A (zh) | 2012-09-12 |
CN102663495B true CN102663495B (zh) | 2014-12-10 |
Family
ID=46772976
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210044012.5A Expired - Fee Related CN102663495B (zh) | 2012-02-22 | 2012-02-22 | 一种用于非线性器件建模的神经网络数据生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102663495B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104915515A (zh) * | 2015-06-26 | 2015-09-16 | 武汉大学 | 一种基于bp神经网络的gfet建模方法 |
CN106446405B (zh) * | 2016-09-23 | 2018-12-18 | 北京大学深圳研究生院 | 一种集成电路器件神经网络建模样本选择方法及装置 |
CN106777620A (zh) * | 2016-12-05 | 2017-05-31 | 天津工业大学 | 一种用于功率晶体管的神经网络空间映射建模方法 |
CN110291539A (zh) * | 2017-02-24 | 2019-09-27 | 欧姆龙株式会社 | 用于生成学习数据的处理方法、系统、程序和存储介质、以及生成学习数据的方法和系统 |
CN108549767B (zh) * | 2018-04-13 | 2020-06-16 | 天津工业大学 | 一种用于大信号功率晶体管的神经网络空间映射建模方法 |
CN109791627B (zh) * | 2018-06-19 | 2022-10-21 | 香港应用科技研究院有限公司 | 使用输入预处理和转换目标用于训练深度神经网络的半导体器件建模 |
CN111460734A (zh) * | 2020-04-02 | 2020-07-28 | 北京工业大学 | 一种结合先进自适应采样和人工神经网络的微波器件自动建模方法 |
CN112613146B (zh) * | 2020-12-29 | 2023-05-05 | 西安交通大学 | 一种校直自适应优化方法、系统、存储介质及计算设备 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5359699A (en) * | 1991-12-02 | 1994-10-25 | General Electric Company | Method for using a feed forward neural network to perform classification with highly biased data |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002520719A (ja) * | 1998-07-08 | 2002-07-09 | シーメンス アクチエンゲゼルシヤフト | ニューラルネット及びニューラルネットのトレーニング方法及び装置 |
-
2012
- 2012-02-22 CN CN201210044012.5A patent/CN102663495B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5359699A (en) * | 1991-12-02 | 1994-10-25 | General Electric Company | Method for using a feed forward neural network to perform classification with highly biased data |
Non-Patent Citations (5)
Title |
---|
JP特表2002-520719A 2002.07.09 * |
人工神经网络在电子线路建模中的应用;马永涛等;《2007年全国高等学校电子信息科学与工程类专业教学习作会议论文集》;20071026;113-118 * |
田毅贞等.知识型神经网络的射频/微波器件建模方法.《电子科技大学学报》.2011,第40卷(第6期),815-824. * |
知识型神经网络的射频/微波器件建模方法;田毅贞等;《电子科技大学学报》;20111130;第40卷(第6期);815-824 * |
马永涛等.人工神经网络在电子线路建模中的应用.《2007年全国高等学校电子信息科学与工程类专业教学习作会议论文集》.2007,113-118. * |
Also Published As
Publication number | Publication date |
---|---|
CN102663495A (zh) | 2012-09-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102663495B (zh) | 一种用于非线性器件建模的神经网络数据生成方法 | |
Aly | An intelligent hybrid model of neuro Wavelet, time series and Recurrent Kalman Filter for wind speed forecasting | |
Wilkinson | Bayesian calibration of expensive multivariate computer experiments | |
CN105548862A (zh) | 一种基于广义多核支持向量机的模拟电路故障诊断方法 | |
CN102222313B (zh) | 基于核主成分分析的城市演化模拟元胞模型处理方法 | |
CN104155574A (zh) | 基于自适应神经模糊推理系统的配电网故障分类方法 | |
CN114944053A (zh) | 一种基于时空超图神经网络的交通流预测方法 | |
CN106199174A (zh) | 基于迁移学习的挤压机能耗异常预测方法 | |
CN112100911A (zh) | 一种基于深度bisltm的太阳辐射预测方法 | |
CN102254105A (zh) | 一种基于云模型元胞自动机的城市扩展预测方法 | |
Wang et al. | A remaining useful life prediction model based on hybrid long-short sequences for engines | |
Zhou et al. | Functional networks and applications: A survey | |
Gu et al. | Quantifying the effects of different data streams on the calibration of building energy simulation | |
Chen et al. | Machine learning forecasts of Scandinavian numerical weather prediction wind model residuals with control theory for wind energy | |
Weihong et al. | Optimization of BP neural network classifier using genetic algorithm | |
CN101609411B (zh) | 一种基于复杂度的嵌入式软件功耗bp神经网络建模方法 | |
Tangrand | Some new contributions to neural networks and wavelets with applications | |
CN105787265A (zh) | 基于综合集成赋权法的原子自旋陀螺随机误差建模方法 | |
CN103279030A (zh) | 基于贝叶斯框架的动态软测量建模方法及装置 | |
Arida et al. | building energy modeling using artificial Neural Networks | |
KR102583178B1 (ko) | 발전량 예측 방법 및 장치 | |
CN116090390A (zh) | 基于深度学习的finfet器件直流特性预测方法 | |
CN115374709A (zh) | 一种基于深度森林模型和flus模型的土地分析方法及系统 | |
CN110829434B (zh) | 一种提高深度神经网络潮流模型扩展性的方法 | |
CN112651183A (zh) | 一种量子分布式对抗统一深度哈希网络的可靠性评估方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20141210 Termination date: 20210222 |