CN112347704B - 一种高效的基于贝叶斯理论的人工神经网络微波器件建模方法 - Google Patents

一种高效的基于贝叶斯理论的人工神经网络微波器件建模方法 Download PDF

Info

Publication number
CN112347704B
CN112347704B CN202011414317.1A CN202011414317A CN112347704B CN 112347704 B CN112347704 B CN 112347704B CN 202011414317 A CN202011414317 A CN 202011414317A CN 112347704 B CN112347704 B CN 112347704B
Authority
CN
China
Prior art keywords
neural network
modeling
optimal
microwave device
hidden layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011414317.1A
Other languages
English (en)
Other versions
CN112347704A (zh
Inventor
那伟聪
刘可
张万荣
谢红云
金冬月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202011414317.1A priority Critical patent/CN112347704B/zh
Publication of CN112347704A publication Critical patent/CN112347704A/zh
Application granted granted Critical
Publication of CN112347704B publication Critical patent/CN112347704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/17—Mechanical parametric or variational design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/10—Numerical modelling

Abstract

本发明涉及一种高效的基于贝叶斯理论的人工神经网络微波器件建模方法，用于解决目前的微波器件神经网络建模方法繁琐耗时，难以满足日益提高的缩短微波器件和电路设计周期要求的问题。本方法首先找到对应的神经网络模型所需的最优的有效参数个数，然后通过这个最优的有效参数个数，计算得出所对应的神经网络模型的最优的隐藏层神经元个数，从而得到每个微波器件的神经网络模型的最优结构。此外，该方法可以直接嵌入到神经网络自动模型生成算法中，无论初始设置的隐藏层神经元个数是否接近最优值，均可以非常快速地找到对于当前微波器件建模问题来说最优的神经网络模型结构。该方法与现有技术相比，大大缩短了建模时间，提高了建模效率。

Description

一种高效的基于贝叶斯理论的人工神经网络微波器件建模 方法
技术领域
本发明涉及微波器件建模领域，尤其涉及人工神经网络技术在微波器件建模领域的应用。
背景技术
近些年，人工神经网络技术已被公认为是微波器件建模和设计领域中的有效工具之一，被应用于各种微波器件及电路的建模设计中，如非线性器件建模、微波器件参数化建模、电磁优化和成品率优化等。神经网络模型不但能精确表示微波器件的非线性输入输出关系，而且从输入到输出的计算速度极快，能大大缩短微波电路的仿真设计周期。
随着微波技术的不断发展，器件结构越来越复杂，性能指标要求越来越高，因此对微波器件模型的精度和设计周期等要求也不断提高。微波器件的人工神经网络建模过程主要包括数据采样、生成数据、确定神经网络结构、训练神经网络训练模型和验证神经网络模型等环节。其中，调整与确定神经网络模型的结构(即确定神经网络模型中隐藏层神经元的数目)是一个十分关键的环节。一方面，过少的隐藏层神经元会导致神经网络的学习能力不足，无法准确地表示微波器件的复杂且高度非线性的输入输出关系。另一方面，过多的隐藏层神经元则会使神经网络处于过度学习状态，导致最终的模型精度无法满足用户要求。而且，针对不同的微波器件建模问题，其模型中隐藏层神经元数目的定量决策是事先未知的。目前的微波器件神经网络建模方法都是需要通过反复多次地训练和验证含有不同数目隐藏层神经元的神经网络，来最终决定合适的模型结构。这种方法比较繁琐耗时，难以满足日益提高的缩短微波器件和电路设计周期的要求。因此，如何快速高效地调整与确定人工神经网络模型的结构成为一个亟待解决的问题。
发明内容
本发明用于解决目前的微波器件神经网络建模方法繁琐耗时，难以满足日益提高的缩短微波器件和电路设计周期要求的问题，具体提出了一种高效的基于贝叶斯理论的人工神经网络微波器件建模方法。该建模方法基于贝叶斯理论，能够通过确定神经网络模型中的有效参数个数来快速找到神经网络模型的最优结构。对于每个微波器件的神经网络建模问题，该方法都能在满足用户要求的模型精度前提下，找到对应的神经网络模型所需的最优的有效参数个数，然后通过这个最优的有效参数个数，能够计算得出所对应的神经网络模型的最优的隐藏层神经元个数，从而得到每个微波器件的神经网络模型的最优结构。此外，该方法可以直接嵌入到神经网络自动模型生成(Automated Model Generation,AMG)算法中。用户在使用AMG算法程序自动生成微波器件神经网络模型时，无论初始设置的隐藏层神经元个数是否接近最优值，通过本发明提出的方法，均可以非常快速地找到对于当前微波器件建模问题来说最优的神经网络模型结构。该方法与现有技术相比，能够大大缩短建模时间，提高建模效率。
本发明提出的一种高效的基于贝叶斯理论的微波器件人工神经网络建模方法，主要包括以下步骤：
步骤1：对于实际的微波建模问题，生成训练数据和验证数据，其中训练数据个数记为Nd；初始化模型结构调整阶段计数k＝1；初始化神经网络中隐藏层神经元的数目，记为Sk；根据实际微波建模问题中输入层神经元数目nx、输出层神经元个数ny，以及隐藏层神经元数目Sk，计算当前神经网络中权重参数的总数Nk＝(nx+ny+1)·Sk+ny。
步骤2：采用Gauss-Newton-Bayesian正则化方法，通过γk＝Nk-2αtr(H)-1计算得到当前神经网络模型中有效参数的个数γk，其中α为正则参数(建议取值范围为0～1)，H为神经网络训练误差函数的Hessian矩阵，tr(·)为矩阵的迹。
步骤3：如果当前阶段满足γk<RNk,(k≥1,R＝0.6～0.9)或者|γk-γk-1|<Cγk-1,(k≥2,C＝0.02～0.05)，那么对于该微波器件建模问题，神经网络模型的最优的有效参数个数γ*＝γk＝Nk-2αtr(H)-1，最优的权重参数个数N*＝Nk，然后算法执行步骤4；否则，需要通过来更新N的值，然后设置k＝k+1，并返回步骤2。
步骤4：根据步骤3中得到的最优的神经网络权重参数个数N*，通过计算得到所对应的最优的神经网络隐藏层神经元个数S*，其中/>为向上取整运算。这样，就得到了该微波器件神经网络模型的最优结构。
步骤5：采用步骤1中生成的训练数据和验证数据来训练和验证含有S*个隐藏层神经元的神经网络，最终得到满足用户要求精度的微波器件人工神经网络模型。该模型可代替原始器件进行后续电路或系统的仿真与设计。
进一步的，所述步骤1-步骤5嵌入AMG算法程序中，用于自动得到满足用户所需精度的微波器件的最优神经网络模型。
本发明区别于现有技术的发明点为：
1.本发明步骤1至步骤5提出了一种全新且高效的基于贝叶斯理论的微波神经网络模型结构优化方法。在传统的手动神经网络建模方法和自动神经网络建模(AMG)方法中，需要通过反复多次地训练和验证含有不同数目隐藏层神经元的神经网络，来最终确定合适的神经网络模型结构。这一过程既繁琐又耗时，建模效率较低。本发明区别于传统方法，通过步骤1至步骤5的计算方法，根据神经网络模型中有效参数个数与最优结构之间的定量关系，直接快速得到微波器件神经网络模型的最优结构。从而在保证模型精度的同时，大大缩短了建模时间，提高了建模效率。
2.本发明还可以将步骤1至步骤5的算法直接嵌入到了AMG算法程序中，这使得用户在使用AMG算法程序自动生成微波器件神经网络模型时，能够更加灵活地设置初始的隐藏层神经元个数，无论其是否接近最优值，结合本发明的AMG算法程序都能自动且快速地得到满足用户所需精度的最优神经网络模型。
有益效果
综上所述，本发明提出的高效的基于贝叶斯理论的微波器件人工神经网络建模方法主要具有两个明显的优势。第一，与现有神经网络建模方法相比，本发明可以在较短时间内找到微波器件最优化的模型结构；第二，本发明使得用户在使用微波器件神经网络建模技术时更加灵活方便，这是因为本发明不要求用户对于当前建模问题的复杂程度及人工神经网络技术十分了解，无论用户初始设置的神经网络隐藏层神经元数目接近或远离最优数目，本发明都能在较短时间内快速确定最优的隐藏层神经元数目，从而缩短微波器件和电路设计周期。
附图说明
图1是本发明提出的高效的基于贝叶斯理论的微波器件人工神经网络建模方法流程图；
图2是本发明实施例(微波带阻滤波器)的器件结构示意图；
图3是本发明实施例(微波带阻滤波器)的建模结果与现有方法建模结果的对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明确，下面将结合附图对本发明的实施例(微波带阻滤波器)作详细描述。
实施例是对如图2所示的微波带阻滤波器进行参数化建模，神经网络模型的输入变量是滤波器的几何参数W1，W2，L0，L1，L2和频率ω，记为[W1 W2 L0 L1 L2ω]T，模型的输出变量是滤波器正向传输系数的幅值，即|S21|，神经网络的训练误差为模型输出与训练数据的实际输出间的均方误差，模型精度要求达到99％。为了比较建模结果，分别采用如图1所示本发明提出的基于贝叶斯理论的神经网络建模方法和传统神经网络建模方法对该带阻滤波器进行建模，建模结果如图3所示。
首先，当训练数据个数为2121(即Nd＝2121)时，我们设置初始的神经网络隐藏层神经元数目分别为1，44和89，从图3中可以看出，相比于传统的神经网络建模方法，本发明提出的建模方法在较少的迭代次数(分别为4，3和2)和较短的时间(分别为1.70mins，1.67mins和1.32mins)内，就能得到满足用户要求精度的最优神经网络模型结构(即最优的隐藏层神经元数目S*＝40)。
此外，为了证明本发明的有效性和普适性，我们还设计了第二个实验来证明本发明提出的方法适用于不同的训练数据集。对于该滤波器建模问题，当训练数据个数为4242(即Nd＝4242)时，我们设置初始的神经网络隐藏层神经元数目分别为1，88和175。本发明提出的建模方法分别经过4，3和5次迭代就找到了最优的神经网络模型结构(即最优的隐藏层神经元数目S*＝62)，建模时间分别为3.72mins，3.65mins和15.47mins。从图3中可以看出，相比于传统的神经网络建模方法，本发明提出的建模方法所需迭代次数更少，建模时间更短。
本发明是对现有的微波器件神经网络建模方法的进一步改进。在确定神经网络结构的环节，我们提出了一种基于贝叶斯理论的高效模型结构优化方法，通过给出神经网络模型中有效参数个数(即能有效影响模型精度的神经网络权重参数的个数)与最优结构(即最优隐藏层神经元数目)之间的定量关系，从而快速高效地确定微波器件建模问题中的神经网络最优结构。此外，该方法直接嵌入到神经网络自动模型生成(Automated ModelGeneration,AMG)算法中，使得人工神经网络建模所涉及的所有环节整合成一个统一的可自动运行的计算机程序，最终自动且快速地得到一个能够满足用户要求精度的神经网络模型，从而实现基于神经网络的微波器件建模自动化，进一步缩短微波器件神经网络建模时间，提高建模效率。

Claims (2)

1.一种高效的基于贝叶斯理论的人工神经网络微波器件建模方法，所要建立的微波器件的人工神经网络模型包括输入层、隐藏层、输出层，其中，输入变量根据实际情况确定，隐藏层神经元数目待优化，输出变量根据实际情况确定，其特征在于，包括以下步骤：
步骤1：对于实际的微波建模问题，生成训练数据和验证数据，其中训练数据个数记为Nd；初始化模型结构调整阶段计数k＝1；初始化神经网络中隐藏层神经元的数目，记为Sk；根据实际微波建模问题中输入层神经元数目nx、输出层神经元个数ny，以及隐藏层神经元数目Sk，计算当前神经网络中权重参数的总数Nk＝(nx+ny+1)·Sk+ny；
步骤2：采用Gauss-Newton-Bayesian正则化方法，通过γk＝Nk-2αtr(H)-1计算得到当前神经网络模型中有效参数的个数γk，其中α为正则参数，H为神经网络训练误差函数的Hessian矩阵，tr(·)为矩阵的迹；
步骤3：如果当前阶段满足γk<RNk,k≥1,R＝0.6～0.9，或者|γk-γk-1|<Cγk-1,k≥2,C＝0.02～0.05，那么对于该微波器件建模问题，神经网络模型的最优的有效参数个数γ*＝γk＝Nk-2αtr(H)-1，最优的权重参数个数N*＝Nk，然后算法执行步骤4；否则，需要通过来更新N的值，然后设置k＝k+1，并返回步骤2；
步骤4：根据步骤3中得到的最优的神经网络权重参数个数N*，通过计算得到所对应的最优的神经网络隐藏层神经元个数S*，其中/>为向上取整运算，这样，就得到了该微波器件神经网络模型的最优结构；
步骤5：采用步骤1中生成的训练数据和验证数据来训练和验证含有S*个隐藏层神经元的神经网络，最终得到满足用户要求精度的微波器件人工神经网络模型，该模型代替原始器件进行后续电路或系统的仿真与设计。
2.根据权利要求1所述的一种高效的基于贝叶斯理论的人工神经网络微波器件建模方法，其特征在于：将所述建模方法嵌入AMG算法程序中，用于自动得到满足用户所需精度的微波器件的最优神经网络模型。
CN202011414317.1A 2020-12-03 2020-12-03 一种高效的基于贝叶斯理论的人工神经网络微波器件建模方法 Active CN112347704B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011414317.1A CN112347704B (zh) 2020-12-03 2020-12-03 一种高效的基于贝叶斯理论的人工神经网络微波器件建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011414317.1A CN112347704B (zh) 2020-12-03 2020-12-03 一种高效的基于贝叶斯理论的人工神经网络微波器件建模方法

Publications (2)

Publication Number Publication Date
CN112347704A CN112347704A (zh) 2021-02-09
CN112347704B true CN112347704B (zh) 2023-10-20

Family

ID=74427524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011414317.1A Active CN112347704B (zh) 2020-12-03 2020-12-03 一种高效的基于贝叶斯理论的人工神经网络微波器件建模方法

Country Status (1)

Country Link
CN (1) CN112347704B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113449423B (zh) * 2021-06-30 2023-11-24 北京工业大学 一种高效的结合并行局部采样和贝叶斯优化的微波器件设计方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765704A (zh) * 2019-11-28 2020-02-07 北京工业大学 一种应用于微波器件的新型深层神经网络自动建模方法
CN111415010A (zh) * 2020-03-20 2020-07-14 广东电网有限责任公司阳江供电局 一种基于贝叶斯神经网络的风电机组参数辨识方法
CN111460734A (zh) * 2020-04-02 2020-07-28 北京工业大学 一种结合先进自适应采样和人工神经网络的微波器件自动建模方法
CN111967186A (zh) * 2020-08-19 2020-11-20 天津城建大学 一种用于功率晶体管大信号建模的神经网络空间映射方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190099381A (ko) * 2019-08-07 2019-08-27 엘지전자 주식회사 가열 장치 및 가열 장치의 제어 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110765704A (zh) * 2019-11-28 2020-02-07 北京工业大学 一种应用于微波器件的新型深层神经网络自动建模方法
CN111415010A (zh) * 2020-03-20 2020-07-14 广东电网有限责任公司阳江供电局 一种基于贝叶斯神经网络的风电机组参数辨识方法
CN111460734A (zh) * 2020-04-02 2020-07-28 北京工业大学 一种结合先进自适应采样和人工神经网络的微波器件自动建模方法
CN111967186A (zh) * 2020-08-19 2020-11-20 天津城建大学 一种用于功率晶体管大信号建模的神经网络空间映射方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Automated parametric modeling of microwave components using combined neural network and interpolation tech- niques;W. Na 等;IEEE MTT-S Int;全文 *
Automated_Neural_Network-Based_Multiphysics_Parametric_Modeling_of_Microwave_Components;WEICONG NA等;Digital Object Identifier;全文 *
Efficient Calculation of the Gauss-Newton Approximation of the Hessian Matrix in Neural Networks;Michael Fairbank等;Neural Computation;全文 *
基于动态神经网络类型的微波器件建模;刘文远;知网;全文 *
基于解决"复杂工程问题"能力培养的半导体器件设计课程教学反思;胡冬青等;知网;全文 *

Also Published As

Publication number Publication date
CN112347704A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
CN110244557B (zh) 一种工业过程多阶惯性闭环系统的闭环建模方法
CN112508243B (zh) 电力信息系统多故障预测网络模型的训练方法及装置
CN111597631B (zh) 基于自适应代理模型的汽车风阻系数优化方法
CN108182316B (zh) 一种基于人工智能的电磁仿真方法及其电磁大脑
CN110852417B (zh) 面向物联网应用的单深度神经网络模型鲁棒性提升方法
CN112347704B (zh) 一种高效的基于贝叶斯理论的人工神经网络微波器件建模方法
CN109858616A (zh) 基于神经网络的功率放大器行为级建模系统及方法
Yang et al. Logic synthesis optimization sequence tuning using RL-based LSTM and graph isomorphism network
CN111460734A (zh) 一种结合先进自适应采样和人工神经网络的微波器件自动建模方法
CN110533533A (zh) 一种场外交易智能合约的形式验证方法
CN111709585A (zh) 一种空调负荷预测方法、装置及存储介质
CN116303786B (zh) 一种基于多维数据融合算法的区块链金融大数据管理系统
TW201322149A (zh) 結合沃特拉系統的系統等效模型建立方法及其電腦程式產品
US11959950B2 (en) Method and apparatus for power measurement in electronic circuit design and analysis
CN111652384B (zh) 一种数据量分布的平衡方法及数据处理方法
CN111414724B (zh) 电路仿真优化的方法
CN114202106A (zh) 一种基于深度学习的空调系统负荷预测方法
CN110766144B (zh) 基于多层分解模糊神经网络的原子之间标量耦合常数预测系统
CN112667957A (zh) 一种基于深度神经网络的智能电能表失效率预测方法
US20220076125A1 (en) Neural network learning device, method, and program
CN115796244B (zh) 一种超非线性输入输出系统基于cff的参数辨识方法
CN117313560B (zh) 基于机器学习的igbt模块封装的多目标优化方法
CN111310907A (zh) 一种微波组件故障诊断方法、装置及设备
CN116244894B (zh) 一种基于大步长的电力系统暂态仿真方法及系统
CN111695230B (zh) 一种用于微波无源器件的神经网络空间映射多物理建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant