CN112347704A - 一种高效的基于贝叶斯理论的人工神经网络微波器件建模方法 - Google Patents
一种高效的基于贝叶斯理论的人工神经网络微波器件建模方法 Download PDFInfo
- Publication number
- CN112347704A CN112347704A CN202011414317.1A CN202011414317A CN112347704A CN 112347704 A CN112347704 A CN 112347704A CN 202011414317 A CN202011414317 A CN 202011414317A CN 112347704 A CN112347704 A CN 112347704A
- Authority
- CN
- China
- Prior art keywords
- neural network
- microwave device
- optimal
- modeling
- microwave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/10—Geometric CAD
- G06F30/17—Mechanical parametric or variational design
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2111/00—Details relating to CAD techniques
- G06F2111/10—Numerical modelling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Biophysics (AREA)
- Mathematical Optimization (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Medical Informatics (AREA)
- Feedback Control In General (AREA)
Abstract
本发明涉及一种高效的基于贝叶斯理论的人工神经网络微波器件建模方法,用于解决目前的微波器件神经网络建模方法繁琐耗时,难以满足日益提高的缩短微波器件和电路设计周期要求的问题。本方法首先找到对应的神经网络模型所需的最优的有效参数个数,然后通过这个最优的有效参数个数,计算得出所对应的神经网络模型的最优的隐藏层神经元个数,从而得到每个微波器件的神经网络模型的最优结构。此外,该方法可以直接嵌入到神经网络自动模型生成算法中,无论初始设置的隐藏层神经元个数是否接近最优值,均可以非常快速地找到对于当前微波器件建模问题来说最优的神经网络模型结构。该方法与现有技术相比,大大缩短了建模时间,提高了建模效率。
Description
技术领域
本发明涉及微波器件建模领域,尤其涉及人工神经网络技术在微波器件建模领域的应用。
背景技术
近些年,人工神经网络技术已被公认为是微波器件建模和设计领域中的有效工具之一[1]-[2],被应用于各种微波器件及电路的建模设计中,如非线性器件建模[3]、微波器件参数化建模[4]、电磁优化[5]和成品率优化[6]等。神经网络模型不但能精确表示微波器件的非线性输入输出关系,而且从输入到输出的计算速度极快,能大大缩短微波电路的仿真设计周期。
随着微波技术的不断发展,器件结构越来越复杂,性能指标要求越来越高,因此对微波器件模型的精度和设计周期等要求也不断提高。微波器件的人工神经网络建模过程主要包括数据采样、生成数据、确定神经网络结构、训练神经网络训练模型和验证神经网络模型等环节。其中,调整与确定神经网络模型的结构(即确定神经网络模型中隐藏层神经元的数目)是一个十分关键的环节。一方面,过少的隐藏层神经元会导致神经网络的学习能力不足,无法准确地表示微波器件的复杂且高度非线性的输入输出关系。另一方面,过多的隐藏层神经元则会使神经网络处于过度学习状态,导致最终的模型精度无法满足用户要求。而且,针对不同的微波器件建模问题,其模型中隐藏层神经元数目的定量决策是事先未知的。目前的微波器件神经网络建模方法都是需要通过反复多次地训练和验证含有不同数目隐藏层神经元的神经网络,来最终决定合适的模型结构[3]。这种方法比较繁琐耗时,难以满足日益提高的缩短微波器件和电路设计周期的要求。因此,如何快速高效地调整与确定人工神经网络模型的结构成为一个亟待解决的问题。
参考文献:
[1]H.Kabir,L.Zhang,M.Yu,et al.Smart modeling of microwave devices[J].IEEE Microwave Magazine,2010,11(3):105-118.
[2]Q.J.Zhang,K.C.Kupta.Neural networks for RF and microwave design[M].Norwood,MA:Artech House,2000.
[3]W.Na,F.Feng,C.Zhang,et al.A unified automated parametric modelingalgorithm using knowledge-based neural network and l1 optimization[J].IEEETransactions on Microwave Theory and Techniques,2017,65(3):729-745.
[4]J.Jin,C.Zhang,F.Feng,et al.Deep neural network technique for high-dimensional microwave modeling and applications to parameter extraction ofmicrowave filters[J].IEEE Transactions on Microwave Theory and Techniques,2019,67(10):4140-4155.
[5]F.Feng,W.Na,W.Liu,et al.Parallel gradient-based EM optimizationfor microwave components using adjoint-sensitivity-based neuro-transferfunction surrogate[J].IEEE Transactions on Microwave Theory and Techniques,2020,68(9):3606-3619.
[6]J.Zhang,C.Zhang,F.Feng,et al.Polynomial chaos-based approach toyield-driven EM optimization[J].IEEE Transactions on Microwave Theory andTechniques,2018,66(7):3186-3199.
[7]W.Na,Q.J.Zhang.Automated parametric modeling of microwavecomponents using combined neural network and interpolation techniques[C].IEEEMTT-S International Microwave Symposium,Seattle,WA,2013.
发明内容
本发明用于解决目前的微波器件神经网络建模方法繁琐耗时,难以满足日益提高的缩短微波器件和电路设计周期要求的问题,具体提出了一种高效的基于贝叶斯理论的人工神经网络微波器件建模方法。该建模方法基于贝叶斯理论,能够通过确定神经网络模型中的有效参数个数来快速找到神经网络模型的最优结构。对于每个微波器件的神经网络建模问题,该方法都能在满足用户要求的模型精度前提下,找到对应的神经网络模型所需的最优的有效参数个数,然后通过这个最优的有效参数个数,能够计算得出所对应的神经网络模型的最优的隐藏层神经元个数,从而得到每个微波器件的神经网络模型的最优结构。此外,该方法可以直接嵌入到神经网络自动模型生成(Automated Model Generation,AMG)算法中。用户在使用AMG算法程序自动生成微波器件神经网络模型时,无论初始设置的隐藏层神经元个数是否接近最优值,通过本发明提出的方法,均可以非常快速地找到对于当前微波器件建模问题来说最优的神经网络模型结构。该方法与现有技术相比,能够大大缩短建模时间,提高建模效率。
本发明提出的一种高效的基于贝叶斯理论的人工神经网络微波器件建模方法,主要包括以下步骤:
步骤1:对于实际的微波建模问题,生成训练数据和验证数据,其中训练数据个数记为Nd;初始化模型结构调整阶段计数k=1;初始化神经网络中隐藏层神经元的数目,记为Sk;根据实际微波建模问题中输入层神经元数目nx、输出层神经元个数ny,以及隐藏层神经元数目Sk,计算当前神经网络中权重参数的总数Nk=(nx+ny+1)·Sk+ny。
步骤2:采用Gauss-Newton-Bayesian正则化方法,通过γk=Nk-2αtr(H)-1计算得到当前神经网络模型中有效参数的个数γk,其中α为正则参数(建议取值范围为0~1),H为神经网络训练误差函数的Hessian矩阵,tr(·)为矩阵的迹。
步骤3:如果当前阶段满足γk<RNk,(k≥1,R=0.6~0.9)或者|γk-γk-1|<Cγk-1,(k≥2,C=0.02~0.05),那么对于该微波器件建模问题,神经网络模型的最优的有效参数个数γ*=γk=Nk-2αtr(H)-1,最优的权重参数个数N*=Nk,然后算法执行步骤4;否则,需要通过来更新N的值,然后设置k=k+1,并返回步骤2。
步骤5:采用步骤1中生成的训练数据和验证数据来训练和验证含有S*个隐藏层神经元的神经网络,最终得到满足用户要求精度的微波器件人工神经网络模型。该模型可代替原始器件进行后续电路或系统的仿真与设计。
进一步地,所述步骤1-步骤5嵌入AMG算法程序中,用于自动得到满足用户所需精度的微波器件的最优神经网络模型。
本发明区别于现有技术的发明点为:
1.本发明步骤1至步骤5提出了一种全新且高效的基于贝叶斯理论的微波神经网络模型结构优化方法。在传统的手动神经网络建模方法和自动神经网络建模(AMG)方法中,需要通过反复多次地训练和验证含有不同数目隐藏层神经元的神经网络,来最终确定合适的神经网络模型结构。这一过程既繁琐又耗时,建模效率较低。本发明区别于传统方法,通过步骤1至步骤5的计算方法,根据神经网络模型中有效参数个数与最优结构之间的定量关系,直接快速得到微波器件神经网络模型的最优结构。从而在保证模型精度的同时,大大缩短了建模时间,提高了建模效率。
2.本发明还可以将步骤1至步骤5的算法直接嵌入到了AMG算法程序中,这使得用户在使用AMG算法程序自动生成微波器件神经网络模型时,能够更加灵活地设置初始的隐藏层神经元个数,无论其是否接近最优值,结合本发明的AMG算法程序都能自动且快速地得到满足用户所需精度的最优神经网络模型。
有益效果
综上所述,本发明提出的高效的基于贝叶斯理论的人工神经网络微波器件建模方法主要具有两个明显的优势。第一,与现有神经网络建模方法相比,本发明可以在较短时间内找到微波器件最优化的模型结构;第二,本发明使得用户在使用微波器件神经网络建模技术时更加灵活方便,这是因为本发明不要求用户对于当前建模问题的复杂程度及人工神经网络技术十分了解,无论用户初始设置的神经网络隐藏层神经元数目接近或远离最优数目,本发明都能在较短时间内快速确定最优的隐藏层神经元数目,从而缩短微波器件和电路设计周期。
附图说明
图1是本发明提出的高效的基于贝叶斯理论的人工神经网络微波器件建模方法流程图;
图2是本发明实施例(微波带阻滤波器)的器件结构示意图;
图3是本发明实施例(微波带阻滤波器)的建模结果与现有方法建模结果的对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明确,下面将结合附图对本发明的实施例(微波带阻滤波器)作详细描述。
实施例是对如图2所示的微波带阻滤波器进行参数化建模,神经网络模型的输入变量是滤波器的几何参数W1,W2,L0,L1,L2和频率ω,记为[W1 W2 L0 L1 L2 ω]T,模型的输出变量是滤波器正向传输系数的幅值,即|S21|,神经网络的训练误差为模型输出与训练数据的实际输出间的均方误差,本例中模型精度要求达到99%。为了比较建模结果,分别采用如图1所示本发明提出的基于贝叶斯理论的神经网络建模方法和传统神经网络建模方法对该带阻滤波器进行建模,建模结果如图3所示。
首先,当训练数据个数为2121(即Nd=2121)时,我们设置初始的神经网络隐藏层神经元数目分别为1,44和89,从图3中可以看出,相比于传统的神经网络建模方法,本发明提出的建模方法在较少的迭代次数(分别为4,3和2)和较短的时间(分别为1.70mins,1.67mins和1.32mins)内,就能得到满足用户要求精度的最优神经网络模型结构(即最优的隐藏层神经元数目S*=40)。
此外,为了证明本发明的有效性和普适性,我们还设计了第二个实验来证明本发明提出的方法适用于不同的训练数据集。对于该滤波器建模问题,当训练数据个数为4242(即Nd=4242)时,我们设置初始的神经网络隐藏层神经元数目分别为1,88和175。本发明提出的建模方法分别经过4,3和5次迭代就找到了最优的神经网络模型结构(即最优的隐藏层神经元数目S*=62),建模时间分别为3.72mins,3.65mins和15.47mins。从图3中可以看出,相比于传统的神经网络建模方法,本发明提出的建模方法所需迭代次数更少,建模时间更短。
本发明是对现有的微波器件神经网络建模方法的进一步改进。在确定神经网络结构的环节,我们提出了一种基于贝叶斯理论的高效模型结构优化方法,通过给出神经网络模型中有效参数个数(即能有效影响模型精度的神经网络权重参数的个数)与最优结构(即最优隐藏层神经元数目)之间的定量关系,从而快速高效地确定微波器件建模问题中的神经网络最优结构。此外,该方法直接嵌入到神经网络自动模型生成(Automated ModelGeneration,AMG)算法中[7],使得人工神经网络建模所涉及的所有环节整合成一个统一的可自动运行的计算机程序,最终自动且快速地得到一个能够满足用户要求精度的神经网络模型,从而实现基于神经网络的微波器件建模自动化,进一步缩短微波器件神经网络建模时间,提高建模效率。
Claims (2)
1.一种高效的基于贝叶斯理论的人工神经网络微波器件建模方法,所要建立的微波器件的人工神经网络模型包括输入层、隐藏层、输出层,其中,输入变量根据实际情况确定,隐藏层神经元数目待优化,输出变量根据实际情况确定,其特征在于包括以下步骤:
步骤1:对于实际的微波建模问题,生成训练数据和验证数据,其中训练数据个数记为Nd;初始化模型结构调整阶段计数k=1;初始化神经网络中隐藏层神经元的数目,记为Sk;根据实际微波建模问题中输入层神经元数目nx、输出层神经元个数ny,以及隐藏层神经元数目Sk,计算当前神经网络中权重参数的总数Nk=(nx+ny+1)·Sk+ny;
步骤2:采用Gauss-Newton-Bayesian正则化方法,通过γk=Nk-2αtr(H)-1计算得到当前神经网络模型中有效参数的个数γk,其中α为正则参数,H为神经网络训练误差函数的Hessian矩阵,tr(·)为矩阵的迹;
步骤3:如果当前阶段满足γk<RNk,(k≥1,R=0.6~0.9)或者|γk-γk-1|<Cγk-1,(k≥2,C=0.02~0.05),那么对于该微波器件建模问题,神经网络模型的最优的有效参数个数γ*=γk=Nk-2αtr(H)-1,最优的权重参数个数N*=Nk,然后算法执行步骤4;否则,需要通过来更新N的值,然后设置k=k+1,并返回步骤2;
步骤5:采用步骤1中生成的训练数据和验证数据来训练和验证含有S*个隐藏层神经元的神经网络,最终得到满足用户要求精度的微波器件人工神经网络模型,该模型代替原始器件进行后续电路或系统的仿真与设计。
2.根据权利要求1所述的一种高效的基于贝叶斯理论的人工神经网络微波器件建模方法,其特征在于:所述步骤1-步骤5嵌入AMG算法程序中,用于自动得到满足用户所需精度的微波器件的最优神经网络模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011414317.1A CN112347704B (zh) | 2020-12-03 | 2020-12-03 | 一种高效的基于贝叶斯理论的人工神经网络微波器件建模方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011414317.1A CN112347704B (zh) | 2020-12-03 | 2020-12-03 | 一种高效的基于贝叶斯理论的人工神经网络微波器件建模方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112347704A true CN112347704A (zh) | 2021-02-09 |
CN112347704B CN112347704B (zh) | 2023-10-20 |
Family
ID=74427524
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011414317.1A Active CN112347704B (zh) | 2020-12-03 | 2020-12-03 | 一种高效的基于贝叶斯理论的人工神经网络微波器件建模方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112347704B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113449423A (zh) * | 2021-06-30 | 2021-09-28 | 北京工业大学 | 一种高效的结合并行局部采样和贝叶斯优化的微波器件设计方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200011534A1 (en) * | 2019-08-07 | 2020-01-09 | Lg Electronics Inc. | Heating apparatus and method for controlling the same |
CN110765704A (zh) * | 2019-11-28 | 2020-02-07 | 北京工业大学 | 一种应用于微波器件的新型深层神经网络自动建模方法 |
CN111415010A (zh) * | 2020-03-20 | 2020-07-14 | 广东电网有限责任公司阳江供电局 | 一种基于贝叶斯神经网络的风电机组参数辨识方法 |
CN111460734A (zh) * | 2020-04-02 | 2020-07-28 | 北京工业大学 | 一种结合先进自适应采样和人工神经网络的微波器件自动建模方法 |
CN111967186A (zh) * | 2020-08-19 | 2020-11-20 | 天津城建大学 | 一种用于功率晶体管大信号建模的神经网络空间映射方法 |
-
2020
- 2020-12-03 CN CN202011414317.1A patent/CN112347704B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20200011534A1 (en) * | 2019-08-07 | 2020-01-09 | Lg Electronics Inc. | Heating apparatus and method for controlling the same |
CN110765704A (zh) * | 2019-11-28 | 2020-02-07 | 北京工业大学 | 一种应用于微波器件的新型深层神经网络自动建模方法 |
CN111415010A (zh) * | 2020-03-20 | 2020-07-14 | 广东电网有限责任公司阳江供电局 | 一种基于贝叶斯神经网络的风电机组参数辨识方法 |
CN111460734A (zh) * | 2020-04-02 | 2020-07-28 | 北京工业大学 | 一种结合先进自适应采样和人工神经网络的微波器件自动建模方法 |
CN111967186A (zh) * | 2020-08-19 | 2020-11-20 | 天津城建大学 | 一种用于功率晶体管大信号建模的神经网络空间映射方法 |
Non-Patent Citations (5)
Title |
---|
MICHAEL FAIRBANK等: "Efficient Calculation of the Gauss-Newton Approximation of the Hessian Matrix in Neural Networks", NEURAL COMPUTATION * |
W. NA 等: "Automated parametric modeling of microwave components using combined neural network and interpolation tech- niques", IEEE MTT-S INT * |
WEICONG NA等: "Automated_Neural_Network-Based_Multiphysics_Parametric_Modeling_of_Microwave_Components", DIGITAL OBJECT IDENTIFIER * |
刘文远: "基于动态神经网络类型的微波器件建模", 知网 * |
胡冬青等: "基于解决"复杂工程问题"能力培养的半导体器件设计课程教学反思", 知网 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113449423A (zh) * | 2021-06-30 | 2021-09-28 | 北京工业大学 | 一种高效的结合并行局部采样和贝叶斯优化的微波器件设计方法 |
CN113449423B (zh) * | 2021-06-30 | 2023-11-24 | 北京工业大学 | 一种高效的结合并行局部采样和贝叶斯优化的微波器件设计方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112347704B (zh) | 2023-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Circuit-GNN: Graph neural networks for distributed circuit design | |
Mirhoseini et al. | Chip placement with deep reinforcement learning | |
CN113221500B (zh) | 一种基于人工智能算法的芯片打线布局自动化设计方法 | |
CN114930336A (zh) | 用于估计仿真的计算成本的方法和系统 | |
CN110244557B (zh) | 一种工业过程多阶惯性闭环系统的闭环建模方法 | |
Ren | Learning fuzzy cognitive maps by a hybrid method using nonlinear Hebbian learning and extended great deluge algorithm | |
Peng et al. | Towards sparsification of graph neural networks | |
JP2003502736A (ja) | 動的なパーティショニングおよびオンデマンド評価を使用した回路シミュレーション | |
CN109858616A (zh) | 基于神经网络的功率放大器行为级建模系统及方法 | |
CN109344969B (zh) | 神经网络系统及其训练方法以及计算机可读介质 | |
CN112257751A (zh) | 神经网络剪枝方法 | |
Yang et al. | Logic synthesis optimization sequence tuning using RL-based LSTM and graph isomorphism network | |
CN112347704A (zh) | 一种高效的基于贝叶斯理论的人工神经网络微波器件建模方法 | |
Glatt et al. | Deep Symbolic Optimization for Electric Component Sizingin Fixed Topology Power Converters | |
CN111460734A (zh) | 一种结合先进自适应采样和人工神经网络的微波器件自动建模方法 | |
WO2020137090A1 (ja) | ニューラルネットワーク学習装置、方法およびプログラム | |
CN105893667A (zh) | 一种异构仿真数据的统一集成可视方法 | |
CN115879412A (zh) | 一种基于迁移学习的版图层级电路图尺寸参数优化方法 | |
Xu et al. | Conv-Reluplex: A Verification Framework For Convolution Neural Networks (S). | |
Cao et al. | An analysis and solution of ill-conditioning in physics-informed neural networks | |
CN118350166B (zh) | 基于马尔科夫扩散核的图神经网络模型及应用与框架扩展 | |
WO2023027128A1 (ja) | 情報処理装置、及び記録媒体 | |
Xie | [Retracted] Application Model of Public Health Visual Art Creation Concept Based on Artificial Intelligence Technology in Venice Biennale | |
CN118504606A (zh) | 对求解偏微分方程的神经网络算法进行评价的方法 | |
Tuntas | The modelling and analysis of nonlinear systems using a new expert system approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |