CN108229026A - 一种基于动态内核极限学习机的电磁场建模仿真方法 - Google Patents

Abstract

本发明提供了一种基于动态内核极限学习机的电磁场建模仿真方法，属于电磁场建模仿真技术领域。本发明所述方法通过增加学习、减少学习或混合学习，可以在当前训练精度不满足要求时，无需进行大规模的重新训练，因此动态内核极限学习机可以仅用少量的训练样本即可达到训练要求的精度。

Description

一种基于动态内核极限学习机的电磁场建模仿真方法

技术领域

本发明属于电磁场建模仿真技术领域，具体涉及一种基于动态内核极限学习机的电磁场建模仿真方法。

背景技术

近些年来，基于神经网络的计算机辅助设计方法被认为是一种高效的电磁场仿真建模技术。一旦完成训练过程，训练成熟的神经网络能替代耗时的电磁场仿真而明显的加快电磁场仿真建模和设计。将神经网络和传递函数构建为神经网络-传递函数模型被认为是一种先进的设计方法。

文献“A new training approach for parametric modeling of microwavepassive components using combined neural networks and transfer functions”公开了一种解决传递函数不连续性问题的神经网络-传递函数的方法；文献“High-dimensionalneural-network technique and applications to microwave filter modeling”公开了一种分解高维器件并对每一个低维部分进行建模仿真的神经网络-传递函数的方法；文献“Parametric modeling of EM behavior of microwave components using combinedneural networks and pole-residue-based transfer functions”公开了一种基于新型传递函数的神经网络-传递函数的方法。当训练精度无法满足要求时，目前所公开的方法只有对神经网络进行重新训练，这种方式费时费力，而且并没有用到之前的训练结果，造成计算资源的浪费。

在神经网络-传递函数模型建立的过程中，最耗时的地方是需要反复收集训练数据。训练样本的个数对神经网络-传递函数模型的精度有着很大的影响。通常，在最初建立神经网络-传递函数模型时，训练样本的个数的确定一般基于经验或者试验。从测试误差可以看出，当训练样本不足的时候会因为欠训练而导致模型不精确。相反，当训练样本过多时，会因过拟合同样导致模型不精确。后来，实验设计方法被用于确定训练和测试样本。在实验设计方法中，训练样本的个数根据实验设计方法的阶数而确定，但是不同阶数的实验设计方法所对应的训练个数是不连续的。比如说，7阶的样本个数为49，8阶的样本个数为64。由于不连续性，很难确定一个准确的训练样本个数。因此如何选择一个合适数量的训练样本来提高模型的精度并且节约时间是一个尚未量化解决的问题。

发明内容

本发明的目的是提供一种基于动态内核极限学习机的电磁场建模仿真方法，以解决现有的在神经网络-传递函数模型时，不能准确地建立合适数量的训练样本，从而造成浪费时间的问题。

本发明所提出的技术问题是这样解决的：

本发明提供一种基于动态内核极限学习机的电磁场仿真方法，当训练精度不能满足要求时，动态内核极限学习机可以在不用进行大规模重新训练的基础上，仅用少量的训练样本即可达到训练要求的精度，具体包括以下步骤：

步骤1：用一个初始的样本数量建立一个初始的训练数集；

步骤2：用得到的训练数集对动态内核极限学习机进行训练并且评估训练后动态内核极限学习机的精度是否达到要求；若没有达到精度要求则转至步骤3，若达到精度要求则转至步骤4；

步骤3：重新训练动态内核极限学习机，包括如下三种情形：

当动态内核极限学习机处于欠训练状态时，增加学习；

当动态内核极限学习机处于过拟合状态时，减法学习；

当动态内核极限学习机的训练数据集需要被延伸或者平移时，混合学习；

步骤3完成后返回步骤2；

步骤4：结束训练。

步骤2中训练动态内核极限学习机的具体步骤如下：

步骤1中的训练数集被表示为G＝(X,T)，为输入集合，为输出集合，N为集合G、N、T中元素的个数。内核极限学习机的训练误差为：

其中K为隐含层的输出矩阵，C是用户设定参数，提供模型复杂度和训练误差的权衡，β是连接隐含层神经元和输出层神经元的权重。

内核极限学习机的最优解为：

将U＝K^TK和V＝K^TT代入到式(2)，可得

其中I为单位矩阵，μ为一个很小的正值，如10^-8。

U和V的元素可分别表示为

其中，为高斯核函数，γ为核参数，u_ij为U的第i行第j列元素，v_ij为V的第i行第j列元素，k_in为K的第i行第n列元素，k_nj为K的第n行第j列元素，k_ni为K的第n行第i列元素，t_nj为t_l的第n个元素；

基于式(3)，内核极限学习机为：

其中是的第l个元素。

步骤3中重新训练动态内核极限学习机的第一种情形增加学习的具体步骤如下：

需要增加的训练数集为其中ΔN为增加的训练数集的个数。

增加训练数集后，新的训练数集为 其中ΔX为增加的训练数集的输入集合，ΔT为增加的训练数集的输出集合。新的隐含层输出矩阵K⁺由K和ΔK组成，新的输出集合T⁺由T和ΔK组成，其中然后，根据矩阵乘法可得

K^+TK⁺＝K^TK+ΔK^TΔK (7)

K^+TT⁺＝K^TT+ΔK^TΔT (8)

令U⁺＝K^+TK⁺，ΔU＝ΔK^TΔK，可得U⁺＝U+ΔU。和式(4)类似，ΔU的元素为：

令V⁺＝K^+TT⁺，ΔV＝ΔK^TΔT，可得到V⁺＝V+ΔV。和式(5)类似，ΔV的元素为：

根据式(3)，得到新的输出权重为

最后将新的输出权重带入式(6)中得到训练好的内核极限学习机。

步骤3中重新训练动态内核极限学习机的第二种情形减法学习的具体步骤如下：

与增加学习相似，减少训练数集后剩下的训练集为 其中为减少的训练数集的个数，为减少的训练数集的输入集合，为减少的训练数集的输出集合。其中为减少训练数集的隐含层的输出矩阵，K^-是新的隐含层输出矩阵，T^-为减少训练数集后的训练数集的输出集合；进一步可以得到，

令U^-＝K^-TK^-，可以得到其中的元素为：

令V^-＝K^-TT^-，可以得到其中的元素为：

根据式(3)，新的输出权重矩阵为

最后将新的输出权重带入式(6)中得到训练好的内核极限学习机。

步骤3中重新训练动态内核极限学习机的第三种情形混合学习的具体步骤如下：

在混合学习中，包含了增加学习和减法学习。需要被减少的训练数集为需要增加的训练数集为

增加和减少后，新的训练数集为 进而可以得到新的隐含层输出矩阵K'和新的输出集合T'：

其中，为减少训练数集的隐含层的输出矩阵，K^-为减少训练数集后的隐含层输出矩阵，为减少的训练数集的输出集合，T^-为减少训练数集后的训练数集的输出集合；为增加的训练数集的隐含层的输出矩阵，为增加的训练数集的输出集合。

根据矩阵的乘法，可得：

因此有：

进而可得：

令U'＝K'^TK'，可以得到和的元素为：

使V'＝K'^TT'，可以得到和的元素为：

新的输出权重矩阵为

最后将新的输出权重带入式(6)中得到训练好的内核极限学习机。

发明的有益效果：

本发明所述方法通过增加学习、减少学习或混合学习，可以在当前训练精度不满足要求时，无需进行大规模的重新训练，因此动态内核极限学习机可以仅用少量的训练样本即可达到训练要求的精度。

附图说明

图1为本发明所述方法训练步骤的流程图；

图2为垂直微带线转换器结构图，其中(a)俯视图，(b)侧视图；

图3为样本在训练数据范围内，本发明的输出和电磁仿真软件的对比图；

图4为样本在训练数据范围外，本发明的输出和电磁仿真软件的对比图；

图5为提出模型S₁₁参数的优化结果图。

具体实施方式

下面结合附图和实施例对本发明进行进一步说明。

本实施例提供了一种基于动态内核极限学习机的电磁场仿真方法，当训练精度不能满足要求时，动态内核极限学习机可以而仅用少量的训练样本即可达到训练要求的精度，而不用再进行大规模重新训练，，本发明所述方法训练步骤的流程图如图1所示。具体包括以下步骤：

步骤1：用一个初始的样本数量建立一个初始的训练数集；

步骤2：用得到的训练数集对动态内核极限学习机进行训练并且评估训练后动态内核极限学习机的精度是否达到要求；若没有达到精度要求则转至步骤3，若达到精度要求则转至步骤4；

步骤3：重新训练动态内核极限学习机，包括如下三种情形：

当动态内核极限学习机处于欠训练状态时，增加学习；

当动态内核极限学习机处于过拟合状态时，减法学习；

当动态内核极限学习机的训练数据集需要被延伸或者平移时，混合学习；

步骤3完成后返回步骤2；

步骤4：结束训练。

本实施例所采用的垂直微带线转换器结构如图2所示，其中(a)俯视图，(b)侧视图，参数设置为W＝20mm,L＝30mm、H＝0.813mm。基于此垂直微带线转换器结构，模型共有6个输入x＝[L_m W_m W_s L_s1 L_s2 L_s3]^T，同时1-15GHz的频率作为一个附加的输入参数。模型有两个输出，y＝[R_S11 I_S11]^T，R_S11是S参数的实部，I_S11是S参数的虚部。利用电磁仿真软件HFSS15.0对垂直微带线转换器结构进行电磁场全波仿真，并产生建模所用的训练和测试数据。

首先，如上表所示，基于五层的实验设计方法，产生了25个训练样本对模型进行了训练，并根据七层的实验设计方法确定了49个测试样本对模型进行测试。在25个训练样本下，动态内核极限学习机达到了2.4554％的训练误差和4.9541％的测试误差。显然当前的模型精度无法满足要求。因此，基于六层的实验设计方法，有11个额外增加的训练样本对动态内核极限学习机进行了重新训练，如下表所示。最后得到的训练和测试误差降至0.6614％和0.8697％。这表明，当动态内核极限学习机模型处于欠训练状态时，增加学习可以有效地提高模型精度。

为了验证动态内核极限学习机模型减法学习的表现，由七层的实验设计方法所确定的49个训练样本首先被用于模型训练，如上表所示。最后分别得到0.8214％和0.9566％的训练和测试误差。然后，利用减法学习将5个训练样本从训练集合中减去，分别得到0.6914％和0.7144％的训练和测试误差。与之前相比，当前的精度有所提高。因此，当动态内核极限学习机模型处于过拟合状态时，减法学习可以立即提高模型的精度而避免模型重新学习。

当训练数据集需要扩展或平移时，可以用混合学习。为了验证混合学习的表现，随机选出5个和8个训练样本分别进行减法和增加学习。如下表所示，训练和测试误差为0.6134％和0.6497％。

同时，上表也记录了计算时间。内核极限学习机模型被选为了比较模型，也分别用了25，36，49，44和41个样本进行训练。由于具有动态调整能力，动态内核极限学习机相较于内核极限学习机，可以在达到相同的精度水平的基础上用更少的时间。

图3展示了对两个不同的垂直微带线转换器测试样本，本发明所提出的动态内核极限学习机模型和HFSS仿真结果。两个几何变量的样本x₁＝[6.05 2.58 0.57 11.19 1.672.42]^T和x₂＝[6.21 1.82 0.31 10.02 1.33 2.24]^T都在训练数据分范围内。可以看出本发明所提出的仿真模型可以实现较高精度仿真的，即便这些数据未出现在训练样本中。

同时，另外两个在训练数据范围之外的几何样本x'₁＝[4.75 1.28 0.14 9.451.18 2.03]^T和x'₂＝[6.65 3.12 0.78 12.1 1.82 2.68]^T被选为测试本仿真模型。从图4看出，尽管这些数据在训练数据之外，但是本仿真模型依然达到了较高的仿真精度。

当模型训练成熟后，它可替代费时的电磁场仿真应用于优化中。通过花授粉优化算法不断调用训练好的仿真模型即可得到最后的优化结果。变量的初始值设为x_initial＝[62 0.5 11 1.5 2.3]^T。优化过程仅用了30秒，即可实现每个指标最后的优化结果，如图5所示。两个达到优化目标的几何尺寸为x_opt1＝[6.4012 2.7916 0.5994 10.6031 1.69972.4978]^T和x_opt2＝[6.4001 1.9714 0.2997 11.4964 1.2869 2.4968]^T。如下表所示，和直接调用电磁场仿真优化相比，本发明节约了大量了优化时间。

Claims (5)

1.一种基于动态内核极限学习机的电磁场建模仿真方法，其特征在于，包括以下步骤：

步骤1：用一个初始的样本数量建立一个初始的训练数集；

步骤2：用得到的训练数集对动态内核极限学习机进行训练并且评估训练后动态内核极限学习机的精度是否达到要求；若没有达到精度要求则转至步骤3，若达到精度要求则转至步骤4；

步骤3：重新训练动态内核极限学习机，包括如下三种情形：

当动态内核极限学习机处于欠训练状态时，增加学习；

当动态内核极限学习机处于过拟合状态时，减法学习；

当动态内核极限学习机的训练数据集需要被延伸或者平移时，混合学习；

步骤3完成后返回步骤2；

步骤4：结束训练。

2.根据权利要求1所述的基于动态内核极限学习机的电磁场建模仿真方法，其特征在于，步骤2中训练动态内核极限学习机的具体步骤如下：

步骤1中的训练数集被表示为G＝(X,T)，为输入集合，为输出集合，N为集合G、N、T中元素的个数；内核极限学习机的训练误差为：

其中K为隐含层的输出矩阵，C是用户设定参数，提供模型复杂度和训练误差的权衡，β是连接隐含层神经元和输出层神经元的权重；

内核极限学习机的最优解为：

将U＝K^TK和V＝K^TT代入到式(2)，可得

其中I为单位矩阵，μ为一个很小的正值；

U和V的元素可分别表示为

其中，为高斯核函数，γ为核参数，u_ij为U的第i行第j列元素，v_ij为V的第i行第j列元素，k_in为K的第i行第n列元素，k_nj为K的第n行第j列元素，k_ni为K的第n行第i列元素，t_nj为t_l的第n个元素；

基于式(3)，内核极限学习机为：

其中是的第l个元素。

3.根据权利要求1所述的基于动态内核极限学习机的电磁场建模仿真方法，其特征在于，增加学习的具体步骤如下：

需要增加的训练数集为其中ΔN为增加的训练数集的个数；

增加训练数集后，新的训练数集为 其中ΔX为增加的训练数集的输入集合，ΔT为增加的训练数集的输出集合；新的隐含层输出矩阵K⁺由K和ΔK组成，新的输出集合T⁺由T和ΔK组成，其中然后，根据矩阵乘法可得：

K^+TK⁺＝K^T K+ΔK^TΔK (7)

K^+T T⁺＝K^T T+ΔK^TΔT (8)

令U⁺＝K^+T K⁺，ΔU＝ΔK^TΔK，可得U⁺＝U+ΔU；和式(4)类似，ΔU的元素为：

令V⁺＝K^+TT⁺，ΔV＝ΔK^TΔT，可得到V⁺＝V+ΔV；和式(5)类似，ΔV的元素为：

根据式(3)，得到新的输出权重为

最后将新的输出权重带入式(6)中得到训练好的内核极限学习机。

4.根据权利要求1所述的基于动态内核极限学习机的电磁场建模仿真方法，其特征在于，减法学习的具体步骤如下：

与增加学习相似，减少训练数集后剩下的训练集为 其中为减少的训练数集的个数，为减少的训练数集的输入集合，为减少的训练数集的输出集合；其中为减少训练数集的隐含层的输出矩阵，K^-是新的隐含层输出矩阵，T^-为减少训练数集后的训练数集的输出集合；进一步可以得到，

令U^-＝K^-T K^-，可以得到其中的元素为：

令V^-＝K^-T T^-，可以得到其中的元素为：

根据式(3)，新的输出权重矩阵为

最后将新的输出权重带入式(6)中得到训练好的内核极限学习机。

5.根据权利要求1至4任一项所述的基于动态内核极限学习机的电磁场建模仿真方法，其特征在于，混合学习的具体步骤如下：

在混合学习中，包含了增加学习和减法学习；需要被减少的训练数集为需要增加的训练数集为

增加和减少后，新的训练数集为 进而可以得到新的隐含层输出矩阵K'和新的输出集合T'：

其中，为减少训练数集的隐含层的输出矩阵，K^-为减少训练数集后的隐含层输出矩阵，为减少的训练数集的输出集合，T^-为减少训练数集后的训练数集的输出集合；为增加的训练数集的隐含层的输出矩阵，为增加的训练数集的输出集合；

根据矩阵的乘法，可得：

因此有：

进而可得：

令U'＝K'^T K'，可以得到 和的元素为：

使V'＝K'^T T'，可以得到 和的元素为：

新的输出权重矩阵为

最后将新的输出权重带入式(6)中得到训练好的内核极限学习机。