CN110765704B - 一种应用于微波器件的新型深层神经网络自动建模方法 - Google Patents
一种应用于微波器件的新型深层神经网络自动建模方法 Download PDFInfo
- Publication number
- CN110765704B CN110765704B CN201911210240.3A CN201911210240A CN110765704B CN 110765704 B CN110765704 B CN 110765704B CN 201911210240 A CN201911210240 A CN 201911210240A CN 110765704 B CN110765704 B CN 110765704B
- Authority
- CN
- China
- Prior art keywords
- neural network
- layer
- deep neural
- sigmoid
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 88
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000012549 training Methods 0.000 claims abstract description 50
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 238000003062 neural network model Methods 0.000 claims abstract description 14
- 238000010606 normalization Methods 0.000 claims abstract description 13
- 238000013461 design Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 7
- 210000002569 neuron Anatomy 0.000 claims description 34
- 238000012360 testing method Methods 0.000 claims description 18
- 238000012795 verification Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 238000004088 simulation Methods 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 230000008030 elimination Effects 0.000 abstract 1
- 238000003379 elimination reaction Methods 0.000 abstract 1
- 230000002265 prevention Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000000354 decomposition reaction Methods 0.000 description 5
- 230000008034 disappearance Effects 0.000 description 4
- 238000013400 design of experiment Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000011960 computer-aided design Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明涉及一种应用于微波器件的新型深层神经网络自动建模方法，属于微波器件建模领域，用于解决现有的浅层神经网络建模方法不能满足微波器件建模领域面临的模型维度高、工作范围大、可靠性高等新需求的问题。本发明具体提出了一种新型的包含Batch Normalization(BN，批量归一化)层和Sigmoid隐藏层的混合型深层神经网络结构及其训练方法，能够解决由于神经网络层数增多而引起的梯度消失和训练被阻止的问题；并采用自适应算法自动确定深层神经网络中BN层和Sigmoid隐藏层的层数，实现训练过程自动化。采用本发明得到的深层神经网络模型能够精确表示微波器件复杂、连续、高度非线性的器件特性，计算速度快，能有效代替原始器件进行后续电路或系统的仿真与设计。
Description
技术领域
本发明涉及微波器件建模领域，尤其涉及人工神经网络技术在微波器件建模领域的应用。
背景技术
随着通讯技术的快速发展，微波电路的设计越来越依赖于计算机辅助设计技术，精确高效的微波器件模型在微波电路仿真和设计中至关重要。基于人工神经网络的建模方法被公认为是一种代替传统建模技术的有效方法[1]。神经网络模型不但能精确表示微波器件的非线性输入输出关系，而且从输入到输出的计算速度极快，能大大缩短微波电路或系统的仿真周期。
然而近几年随着微波技术的不断发展，电路规模、性能指标和工作频段不断提高，新工艺、新材料、新结构的电子器件不断涌现，现有的浅层神经网络建模方法已不能满足微波器件建模领域面临的模型维度高、工作范围大、可靠性高等新需求。目前，国内外科研人员普遍采用分解建模法来解决这类复杂的建模问题。分解建模法主要包括对器件复杂结构的分解[2]、对模型输入变量的分解[3]和对建模区域的分解[4]，生成多个子模型，从而把单个复杂建模问题转化成多个简单建模问题。但是，分解建模法具有一定的应用局限性，采用该方法建立的神经网络模型普遍无法有效地保证各个子模型之间的数值连续和导数连续，导致模型在后续的电路设计和仿真优化过程中的可靠性降低。因此，仍需要开发新的神经网络建模方法来解决这类复杂的建模问题。
近年来，在浅层神经网络的基础上，含有更多(三个及三个以上)隐藏层的深层神经网络和深度学习概念已经逐渐引起学术界和工业界的关注。深层神经网络被认为在大数据、复杂关系建模等方面非常有效[5]，已经在许多具有挑战性的领域获得了成功，例如图像识别[6]、语音识别[7]、语言处理[8]等。实验表明[9]，在具有相同数目的神经网络训练参数的情况下，深层神经网络比浅层神经网络具有更高的精确度和更好的预测性能，更适合处理具有高复杂度的非线性建模问题。因此，深层神经网络技术为解决微波器件建模领域高维度、大范围、高度非线性的微波器件建模问题提供了一种可行性方案。
本发明结合深层神经网络的优点和微波器件建模问题的特点，提出一种新型的包含Batch Normalization(BN，批量归一化)层和Sigmoid隐藏层的混合型深层神经网络结构及其训练方法，并采用自适应算法自动确定深层神经网络中BN层和Sigmoid隐藏层的层数，实现训练过程自动化。训练好的深层神经网络模型精度高，计算速度快，能有效代替原始器件进行后续电路或系统的仿真与设计。
参考文献：
[1]Q.J.Zhang,K.C.Kupta.Neural networks for RF and microwave design[M].Norwood,MA:Artech House,2000.
[2]Y.Cao,S.Reitzinger,Q.J.Zhang.Simple and efficient high-dimensionalparametric modeling for microwave cavity filters using modular neural network[J].IEEE Microwave Wireless Component Letters,2011,21(5):258-260.
[3]V.M.R.Gongal-Reddy,F.Feng,C.Zhang,et al.Parallel decompositionapproach to gradient-based EM optimization[J].IEEE Transactions on MicrowaveTheory and Techniques,2016,64(11):3380-3399.
[4]W.Zhang,F.Feng,J.Zhang,et al.Space mapping approach toelectromagnetic centric Multiphysics parametric modeling of microwavecomponents[J].IEEE Transactions on Microwave Theory and Techniques,2018,66(7):3169-3185.
[5]Y.LeCun,Y.Bengio,G.Hinton.Deep learning[J].Nature,2015,521:436-444.
[6]C.Farabet,C.Couprie,L.Najman,et al.Learning hierarchical featuresfor scene labeling[J].IEEE Transactions on Pattern Analysis and MachineIntelligence,2013,35(8):1915-1929.
[7]D.Chen,B.K.Mak.Multitasking learning of deep neural networks forlow-resource speech recognition[J].IEEE Transactions on Audio,Speech,andLanguage Processing,2015,23(7):1172-1183.
[8]R.Collobert,J.Weston.A unified architecture for natural languageprocessing:Deep neural networks with multitask learning[C].InternationalConference on Machine Learning.2008:160-167.
[9]F.Seide,G.Li,D.Yu.Conversational speech transcription usingcontext-dependent deep neural networks[C].Conference of the InternationalSpeech Communication Association.2011:437-440.
发明内容
本发明提出一种应用于微波器件的结合批量归一化的新型深层神经网络自动建模方法。具体包括提出了一种新型的包含Batch Normalization(BN，批量归一化)层和Sigmoid隐藏层的混合型深层神经网络结构及其训练方法，并采用自适应算法自动确定深层神经网络中BN层和Sigmoid隐藏层的层数，实现训练过程自动化。本发明能够满足微波器件建模领域面临的模型维度高、工作范围大、可靠性高等新需求，同时有效解决现有的深层神经网络结构及神经元激活函数在微波器件建模过程中存在的以下问题：(1)在图像处理领域深层神经网络常用的Rectified Linear Unit(ReLU)激活函数及其一阶导数不连续，无法被直接用来表示微波器件建模问题中连续的输入输出响应；(2)浅层神经网络常用的Sigmoid激活函数在深层神经网络训练中会出现梯度消失的现象，导致训练被阻止。本发明所提出的建模方法能够有效解决以上问题，得到的深层神经网络模型能够精确表示微波器件复杂、连续、高度非线性的器件特性，计算速度快，能有效代替原始器件进行后续电路或系统的仿真与设计。
本发明提出的一种应用于微波器件的结合批量归一化的新型深层神经网络自动建模方法，主要包括以下步骤：
步骤1：根据实际的微波建模问题，确定深层神经网络模型中输入变量x和输出变量y的数目，构建结合批量归一化的混合型深层神经网络结构。该深层神经网络包含1个输入层，L个BN层，L个Sigmoid隐藏层(L≥3)和1个输出层，其中每个Sigmoid隐藏层前均连接一个BN层，该BN层相当于一个归一化器，用于对其后连接的Sigmoid隐藏层的输入数值进行归一化处理。每个BN层和Sigmoid隐藏层中神经元的数目是根据建模问题的难易程度预先确定的，且在训练过程中固定不变：如果建模范围大、输入变量多，则每层神经元的数目大；反之，则每层神经元的数目小；建议其数量范围在50到150之间。
步骤2：初始化计数k＝1。通过测量或者仿真，获取建模所需的训练数据和验证数据，分别用于深层神经网络的训练和验证。
步骤3：k＝k+1。初始化深层神经网络的权重参数，采用结合BN层和Sigmoid隐藏层的混合型神经网络反向传播算法，分别输入训练数据和验证数据对深层神经网络进行训练和验证，得到当前阶段(即第k个阶段)神经网络的训练误差和验证误差/>
步骤4：采用自适应算法确定深层神经网络中BN层和Sigmoid隐藏层的层数：如果当前深层神经网络的训练误差大于用户期望的测试误差阈值Ed，说明当前深层神经网络欠学习，在原有深层神经网络结构中增加一个BN层和一个Sigmoid隐藏层，然后返回步骤3；如果当前深层神经网络的训练误差/>小于等于用户期望的测试误差阈值Ed，但测试误差/>大于用户期望的测试误差阈值Ed，说明当前深层神经网络过度学习，增加训练数据，然后返回步骤3；如果当前深层神经网络的训练误差/>小于等于用户期望的测试误差阈值Ed，且测试误差/>小于等于用户期望的测试误差阈值Ed，说明当前深层神经网络良好学习，训练结束。
该过程为自适应训练算法，自动确定深层神经网络中BN层和Sigmoid隐藏层的层数，实现训练过程自动化。
步骤5：得到模型，训练好的深层神经网络模型可代替原始器件进行后续电路或系统的仿真与设计。
本发明区别于现有技术的发明点有以下几点：
1.本发明步骤1中，提出了一种全新的包含BN层和Sigmoid隐藏层的混合型深层神经网络结构，该结构是首次应用在微波器件建模领域。本发明在传统的全连接Sigmoid隐藏层中加入BN层，每个BN层相当于一个归一化器，对每个Sigmoid隐藏层的输入进行归一化处理，从而解决了传统的全连接Sigmoid隐藏层的深层神经网络在使用反向传播算法进行训练过程中会出现梯度消失的问题，使深层神经网络模型能够准确反映微波器件的特性。
该结构中第l个BN层的第i个神经元输出第l个Sigmoid隐藏层的第i个神经元输出/>以及输出层的第i个神经元输出yi分别为
其中n表示输入变量的个数，Nl-1表示第l-1个Sigmoid隐藏层神经元的个数(l＝2,3,…,L)，f(·)表示Sigmoid激活函数，表示深层神经网络第l个Sigmoid隐藏层中第j个神经元与第l+1个BN层中第i个神经元之间的权值，/>表示第l个Sigmoid隐藏层中第j个神经元的偏差，/>和/>分别表示第l个BN层中i个神经元输出的缩放量和平移量，/>和/>分别表示通过所有训练数据计算得到的第l个BN层中第i个神经元输出的期望值和方差。
2.本发明步骤3中，将传统的基于梯度的反向传播算法推广到本发明提出的混合型深层神经网络训练中，具体的发明点如下：
误差函数相对于神经网络的第i个输出yi的局部梯度以及误差函数相对于第l个BN层中第i个神经元的局部梯度/>的计算公式分别为
其中yi表示深层神经网络对训练数据x的第i个输出的预测值，di表示训练数据中x对应的第i个输出的实际值。由于批量归一化是一种可微变换，本发明保证了基于梯度反向传播的深层神经网络训练能够顺利进行，并通过批量归一化使Sigmoid激活函数的输入分布趋近于Sigmoid函数的非线性饱和区域，从而有效解决深层神经网络梯度消失的问题。
3.本发明步骤4中，提出了适用于微波器件深层神经网络模型的自适应算法，自动确定深层神经网络中BN层和Sigmoid隐藏层的层数，自动调用深层神经网络训练工具，从而实现训练过程自动化。本发明的自适应算法中，深层神经网络的BN层和Sigmoid隐藏层的初始层数L≥3。根据微波器件建模问题的复杂程度，每个BN层和Sigmoid隐藏层的神经元数目是预先确定的。微波器件建模问题复杂度高，每个BN层和Sigmoid隐藏层的神经元数目大；微波器件建模问题复杂度高，每个BN层和Sigmoid隐藏层的神经元数目少；建议每个BN层和Sigmoid隐藏层的神经元数目的取值在50至150之间。
有益效果
综上所述，本发明提出的应用于微波器件的结合批量归一化的新型深层神经网络自动建模方法能够有效解决微波器件建模领域不断涌现的高复杂度的建模问题，在避免深层神经网络训练中梯度消失问题的同时，自动确定模型结构，最终得到的深层神经网络模型能够精确表示微波器件复杂、连续、高度非线性的器件特性，计算速度快，能有效代替原始器件进行后续电路或系统的仿真与设计。
附图说明
图1是本发明提出的结合批量归一化的混合型深层神经网络结构图；
图2是本发明提出的应用于微波器件的深层神经网络自动建模算法流程图；
图3是本发明实施例(波导滤波器)的器件结构；
图4是本发明实施例(波导滤波器)的验证数据和模型输出特性曲线。
具体实施方式
本发明提出的新型深层神经网络自动建模方法可应用于各种微波器件的建模与设计，如微波滤波器的参数化建模、天线的电磁优化设计、晶体管建模等。为使本发明的目的、技术方案和优点更加清楚明确，下面将结合附图对本发明的实施例(波导滤波器建模)作详细描述。
如图1所示，本发明提出一种新型的包含BN层和Sigmoid隐藏层的混合型深层神经网络结构。采用该结构对如图3所示的波导滤波器建模时，深层神经网络的输入变量x是滤波器的几何参数h1，h2，h3，hc1，hc2和频率ω，记为x＝[h1 h2 h3 hc1 hc2ω]T；输出变量y是S11的实部和虚部，记为y＝[RS11 IS11]T。
采用如图2所示的深层神经网络自动建模算法对该波导滤波器进行建模，建模范围是h1＝3.08～3.824mm，h2＝3.96～4.704mm，h3＝3.63～4.374mm，hc1＝2.82～3.564mm，hc2＝2.65～3.394mm，ω＝10.5～11.5GHz，训练数据和验证数据是在该建模范围中通过Design of Experiment(DoE，试验设计)采样方法获得的两组不同的数据集，其中训练数据用于训练模型，验证数据用于检验模型。该建模问题由于建模范围较大，如果采用只包含一个或两个隐藏层的浅层神经网络进行建模，无法得到能够满足用户期望的测试误差阈值的模型。因此，需要采用本发明提出的深层神经网络建模方法。此实施例中用户期望的测试误差阈值为1％到2％。在模型开发过程中，利用各阶段的模型训练误差和测试误差与用户期望的测试误差阈值之间的关系，来确定深层神经网络中BN层和Sigmoid隐藏层的层数。通过自适应算法，最终得到该实施例的深层神经网络模型包含1个输入层、9个BN层、9个Sigmoid隐藏层和1个输出层，其中每个BN层和Sigmoid隐藏层均包含100个神经元。
图4为利用本发明建模方法建立模型输出特性(|S11|)曲线与验证数据比较图，可以看出深层神经网络模型的输出曲线与验证数据拟合度良好。
Claims (3)
1.一种应用于微波器件的新型深层神经网络自动建模方法，其特征在于：
步骤1：根据实际的微波建模问题，确定深层神经网络模型中输入变量x和输出变量y的数目，构建混合型深层神经网络结构，所述的混合型深层神经网络结构包含1个输入层，L个Batch Normalization层，L个Sigmoid隐藏层，L≥3，和1个输出层，Batch Normalization层即BN层；其中每个Sigmoid隐藏层前均连接一个BN层，该BN层相当于一个归一化器，用于对其后连接的Sigmoid隐藏层的输入数值进行归一化处理，每个BN层和Sigmoid隐藏层中神经元的数目是根据建模问题的难易程度预先确定的，且在训练过程中固定不变，其数量范围在50到150之间；
步骤2：初始化计数k＝1，通过测量或者仿真，获取建模所需的训练数据和验证数据，分别用于深层神经网络的训练和验证；
步骤3：k＝k+1，初始化深层神经网络的权重参数，采用结合BN层和Sigmoid隐藏层的混合型神经网络反向传播算法，分别输入训练数据和验证数据对深层神经网络进行训练和验证，得到当前第k个阶段神经网络的训练误差和验证误差/>
步骤4：采用自适应算法确定深层神经网络中BN层和Sigmoid隐藏层的层数：
如果系统训练过程中，当前深层神经网络的训练误差大于用户期望的测试误差阈值Ed，则在原有深层神经网络结构中增加一个BN层和一个Sigmoid隐藏层，然后返回步骤3；
如果当前深层神经网络的训练误差小于等于用户期望的测试误差阈值Ed，但测试误差/>大于用户期望的测试误差阈值Ed，增加训练数据，然后返回步骤3；
如果当前深层神经网络的训练误差小于等于用户期望的测试误差阈值Ed，且测试误差/>小于等于用户期望的测试误差阈值Ed，训练结束；
步骤5：得到模型，训练好的深层神经网络模型可代替原始器件进行后续电路或系统的仿真与设计。
2.根据权利要求1所述的一种应用于微波器件的新型深层神经网络自动建模方法，其特征在于：
所述的混合型深层神经网络结构中第l个BN层的第i个神经元输出第l个Sigmoid隐藏层的第i个神经元输出/>以及输出层的第i个神经元输出yi分别为
其中n表示输入变量的个数，Nl-1表示第l-1个Sigmoid隐藏层神经元的个数，l＝2,3,…,L，f(·)表示Sigmoid激活函数，表示深层神经网络第l个Sigmoid隐藏层中第j个神经元与第l+1个BN层中第i个神经元之间的权值，/>表示深层神经网络第l个Sigmoid隐藏层中第j个神经元的偏差，/>和/>分别表示第l个BN层中i个神经元输出的缩放量和平移量，/>和/>分别表示通过所有训练数据计算得到的第l个BN层中第i个神经元输出的期望值和方差。
3.根据权利要求1所述的一种应用于微波器件的新型深层神经网络自动建模方法，其特征在于：所述的结合BN层和Sigmoid隐藏层的混合型神经网络反向传播算法中，误差函数相对于神经网络的第i个输出yi的局部梯度以及误差函数相对于第l个BN层中第i个神经元的局部梯度/>的计算公式分别为
其中，yi表示深层神经网络对训练数据x的第i个输出的预测值，di表示训练数据中x对应的第i个输出的实际值，Nl表示第l个Sigmoid隐藏层神经元的个数，l＝1,2,…,L-1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911210240.3A CN110765704B (zh) | 2019-11-28 | 2019-11-28 | 一种应用于微波器件的新型深层神经网络自动建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911210240.3A CN110765704B (zh) | 2019-11-28 | 2019-11-28 | 一种应用于微波器件的新型深层神经网络自动建模方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110765704A CN110765704A (zh) | 2020-02-07 |
| CN110765704B true CN110765704B (zh) | 2024-02-06 |
Family
ID=69340595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911210240.3A Active CN110765704B (zh) | 2019-11-28 | 2019-11-28 | 一种应用于微波器件的新型深层神经网络自动建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110765704B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111460734A (zh) * | 2020-04-02 | 2020-07-28 | 北京工业大学 | 一种结合先进自适应采样和人工神经网络的微波器件自动建模方法 |
| CN112149351B (zh) * | 2020-09-22 | 2023-04-18 | 吉林大学 | 一种基于深度学习的微波电路物理尺寸估算方法 |
| CN112347704B (zh) * | 2020-12-03 | 2023-10-20 | 北京工业大学 | 一种高效的基于贝叶斯理论的人工神经网络微波器件建模方法 |
| CN112734008A (zh) * | 2020-12-31 | 2021-04-30 | 平安科技（深圳）有限公司 | 分类网络构建方法以及基于分类网络的分类方法 |
| CN116226779A (zh) * | 2021-11-29 | 2023-06-06 | 新智我来网络科技有限公司 | 一种联合学习参数聚合方法、装置及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109284541A (zh) * | 2018-08-31 | 2019-01-29 | 天津工业大学 | 一种用于微波无源器件的神经网络多物理建模方法 |
-
2019
- 2019-11-28 CN CN201911210240.3A patent/CN110765704B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109284541A (zh) * | 2018-08-31 | 2019-01-29 | 天津工业大学 | 一种用于微波无源器件的神经网络多物理建模方法 |
Non-Patent Citations (3)
| Title |
|---|
| Diminishing Batch Normalization;Yintai Ma等;arXiv;第1-23页 * |
| Generalized Batch Normalization: Towards Accelerating Deep Neural Networks;Xiaoyong Yuan等;arXiv;第1-9页 * |
| 深度神经网络训练中适用于小批次的归一化算法;王岩等;计算机科学;第46卷(第11A期);第273-276, 308页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110765704A (zh) | 2020-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110765704B (zh) | 一种应用于微波器件的新型深层神经网络自动建模方法 | |
| Shi | [Retracted] Knowledge Graph Question and Answer System for Mechanical Intelligent Manufacturing Based on Deep Learning | |
| Zhang et al. | Intelligent feature recognition for STEP-NC-compliant manufacturing based on artificial bee colony algorithm and back propagation neural network | |
| CN104331635B (zh) | 电力光纤通信光功率预测的方法 | |
| Jong et al. | Automatic process planning of mold components with integration of feature recognition and group technology | |
| CN112464713A (zh) | 一种基于深度学习的通信辐射源射频指纹识别方法 | |
| CN109711283A (zh) | 一种联合双字典和误差矩阵的遮挡表情识别算法 | |
| CN113706151A (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
| CN112115242A (zh) | 一种基于朴素贝叶斯分类算法的智能客服问答系统 | |
| Lou et al. | Development of an integrated knowledge-based system for mold-base design | |
| CN113361636A (zh) | 一种图像分类方法、系统、介质及电子设备 | |
| Zhang et al. | A deep learning-based approach for machining process route generation | |
| CN116564355A (zh) | 一种基于自注意力机制融合的多模态情感识别方法、系统、设备及介质 | |
| CN108628908A (zh) | 分类用户提问-回答界限的方法、装置和电子设备 | |
| CN116010581A (zh) | 一种基于电网隐患排查场景的知识图谱问答方法及系统 | |
| CN115906303A (zh) | 一种基于机器学习的平面微波滤波器设计方法及装置 | |
| CN108198268A (zh) | 一种生产设备数据标定方法 | |
| CN111382581A (zh) | 一种机器翻译中的一次剪枝压缩方法 | |
| Zhang et al. | A novel method based on deep reinforcement learning for machining process route planning | |
| CN114398893A (zh) | 一种基于对比学习的临床数据处理模型的训练方法及装置 | |
| CN113807040A (zh) | 一种面向微波电路的优化设计方法 | |
| CN113469338A (zh) | 模型训练方法、模型训练装置、终端设备及存储介质 | |
| Li et al. | Research on textile defect detection based on improved cascade R-CNN | |
| Astawa et al. | Face Images Classification using VGG-CNN. | |
| Li et al. | Development of an intelligent jig and fixture design system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |