CN111950711A - 复值前向神经网络的二阶混合构建方法及系统 - Google Patents
复值前向神经网络的二阶混合构建方法及系统 Download PDFInfo
- Publication number
- CN111950711A CN111950711A CN202010820498.1A CN202010820498A CN111950711A CN 111950711 A CN111950711 A CN 111950711A CN 202010820498 A CN202010820498 A CN 202010820498A CN 111950711 A CN111950711 A CN 111950711A
- Authority
- CN
- China
- Prior art keywords
- complex
- neural network
- valued
- hidden layer
- order hybrid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 104
- 238000010276 construction Methods 0.000 title claims abstract description 56
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 70
- 210000002569 neuron Anatomy 0.000 claims abstract description 66
- 238000005457 optimization Methods 0.000 claims abstract description 39
- 238000012549 training Methods 0.000 claims abstract description 36
- 239000011159 matrix material Substances 0.000 claims abstract description 25
- 238000003062 neural network model Methods 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims abstract description 23
- 230000007246 mechanism Effects 0.000 claims abstract description 12
- 238000012795 verification Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 230000003111 delayed effect Effects 0.000 claims description 4
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 36
- 238000010586 diagram Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 11
- 238000012360 testing method Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000005284 excitation Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000013016 damping Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Feedback Control In General (AREA)
Abstract
本发明涉及一种复值前向神经网络的二阶混合构建方法及系统,包括：根据给定的任务对复值神经网络的结构与参数进行初始化；利用复值二阶混合优化算法调整所述复值神经网络中的参数，判断是否满足构建终止条件；验证所述复值神经网络的泛化性能，保存当前隐层神经元的个数以及所述复值神经网络的所有参数值，判断是否满足所述隐层神经元的添加标准，若满足，利用复值增量构建机制，向当前模型添加一个隐层神经元，在当前训练的基础上计算新的隐层输出矩阵和误差函数，返回至上一步；若不满足，直接返回至上一步；利用所述复值二阶混合优化算法进一步微调所述参数，得到最优的复值神经网络模型。本发明有利于自动构建结构合理的复值神经网络模型。
Description
技术领域
本发明涉及人工智能与模式识别的技术领域，尤其是指一种复值前向神经网络的二阶混合构建方法及系统。
背景技术
人工神经网络具有强大的自学习、自组织、自适应及非线性函数逼近能力，能够从看似杂乱无章的海量数据中学习规则与知识。近年来，实值神经网络的研究已经取得了十分丰硕的成果。然而，在一些工程领域中，往往需要对复信号进行分析与处理。复值神经网络凭借其强大的计算能力与良好的泛化性能,已经受到了越来越多的关注，并在各种工业领域中得到了广泛的应用,如雷达信号处理、医学图像处理、信道状态预测、模式识别等。
复值神经网络的学习主要包括两个方面:搜索最优参数和确定最优网络结构。前向神经网络学习算法的研究一直是一个非常热门的研究课题，只有设计了合适的学习算法才能使神经网络既高效又准确地解决实际问题。研究发现，复值神经网络有着与实值神经网络相似的结构，其学习算法也大都是从实数域中推广而来的。比如，最常见的学习算法便是复值梯度下降算法。然而，一阶复值优化算法存在收敛速度慢、易陷入局部极小值等缺点。
复值神经网络的结构对其性能有着显著影响。因此，在复值神经网络的构建过程中，不仅要考虑参数优化算法的选择，如何设计和优化模型结构也是至关重要的。一个理想的复值神经网络的学习算法应该同时具备搜索最优参数和确定最优网络拓扑结构的能力。
发明内容
为此，本发明所要解决的技术问题在于如何提供一种结构合理、泛化性能强的复值前向神经网络的二阶混合构建方法及系统。
为解决上述技术问题，本发明的一种复值前向神经网络的二阶混合构建方法，包括如下步骤：步骤S1：根据给定的任务对复值神经网络的结构与参数进行初始化；步骤S2：利用复值二阶混合优化算法调整所述复值神经网络中的参数，判断是否满足构建终止条件，若不满足，进入步骤S3，若满足，则进入步骤S4；步骤S3：验证所述复值神经网络的泛化性能，保存当前隐层神经元的个数以及所述复值神经网络的所有参数值，判断是否满足所述隐层神经元的添加标准，若满足，利用复值增量构建机制，向当前模型添加一个隐层神经元，在当前训练的基础上计算新的隐层输出矩阵和误差函数，返回步骤S2；若不满足，直接返回步骤S2；步骤S4：利用所述复值二阶混合优化算法进一步微调所述参数，得到最优的复值神经网络模型。
在本发明的一个实施例中，所述复值神经网络是初始的三层复值前向神经网络模型。
在本发明的一个实施例中，利用复值二阶混合优化算法调整所述复值神经网络中的参数的方法为：利用复值二阶混合优化算法在训练集上对所述复值神经网络进行训练。
在本发明的一个实施例中，对所述复值神经网络进行训练时，先计算隐层输出矩阵和模型的实际输出，运用复值最小二乘算法经计算得到输出层与隐层神经元之间的权值调整量；再经计算得到稀疏矩阵，计算当前的代价函数值，利用复值LM算法计算网络输入层与隐层神经元之间权值的修正量，并对其进行更新。
在本发明的一个实施例中，所述复值二阶混合优化算法包括复值LM算法与复值最小二乘算法。
在本发明的一个实施例中，判断是否满足构建终止条件的方法为：判断代价函数是否小于设定的误差阈值或者是否达到最大迭代次数。
在本发明的一个实施例中，所述代价函数是复变量均方误差函数。
在本发明的一个实施例中，判断是否满足所述隐层神经元的添加标准的方法为：根据代价函数在当前迭代与延迟迭代时的变化关系，判断复值神经网络是否满足隐层神经元添加标准。
在本发明的一个实施例中，利用所述复值二阶混合优化算法进一步微调所述参数时，将经训练得到的复值网络模型的参数作为初始值，使用复值二阶混合优化算法对其进行微调，获得最终的最优复值神经网络模型，并测试其性能。
本发明还提供了一种复值前向神经网络的二阶混合构建系统，包括：
初始化模块，用于根据给定的任务对复值神经网络的结构与参数进行初始化；
训练模块，用于利用复值二阶混合优化算法调整所述复值神经网络中的参数，判断是否满足构建终止条件，若不满足，进入验证更新模块，若满足，则进入微调模块；
验证更新模块，用于验证所述复值神经网络的泛化性能，保存当前隐层神经元的个数以及所述复值神经网络的所有参数值，判断是否满足所述隐层神经元的添加标准，若满足，利用复值增量构建机制，向当前模型添加一个隐层神经元，在当前训练的基础上计算新的隐层输出矩阵和误差函数，返回至所述训练模块；若不满足，直接返回至所述训练模块；
微调模块，用于利用所述复值二阶混合优化算法进一步微调所述参数，得到最优的复值神经网络模型。
本发明的上述技术方案相比现有技术具有以下优点：
本发明所述的复值前向神经网络的二阶混合构建方法及系统，采用复值混合优化算法分别对复值神经网络的输入层和隐层神经元之间的非线性参数以及隐层神经元和网络输出层之间的线性参数进行更新，通过利用复值增量构建机制实现对复值神经网络的结构优化，不但能够同时实现模型参数的优化和网络结构的自适应设计，二阶混合算法的使用减少了迭代时涉及Wi rt i nger微分计算的参数个数，加快了学习的收敛速度；而且在网络结构发生变化后，后续的学习完全是在之前学习的基础上继续进行的，极大地提高了学习效率；另外，本发明设计的复值增量构建机制能够在多个不同结构的复值神经网络模型中选择最优的模型，避免了耗时的试错过程，同时有利于自动构建结构合理的复值神经网络模型，提高了复值神经网络的泛化性能。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中
图1是本发明复值前向神经网络的二阶混合构建方法流程图；
图2是本发明二阶混合构造算法设计复值前向神经网络的框图；
图3是本发明复数值前向神经网络结构拓扑图；
图4是本发明实施例提供复数值神经网络单次训练过程；
图5a是复值ELM算法的效果图；
图5b是复值梯度下降算法的效果图；
图5c是复值LM算法的效果图；
图5d是采用spiltTanh激励函数的复值二阶混合构建方法的效果图；
图5e是采用Tanh激励函数的复值二阶混合构建方法的效果图；
图6a是复值ELM算法的效果图；
图6b是复值梯度下降算法的效果图；
图6c是复值LM算法的效果图；
图6d是采用spiltTanh激励函数的复值二阶混合构建方法的效果图；
图6e是采用Tanh激励函数的复值二阶混合构建方法的效果图。
具体实施方式
实施例一
如图1所示，本实施例提供一种复值前向神经网络的二阶混合构建方法，包括如下步骤：步骤S1：根据给定的任务对复值神经网络的结构与参数进行初始化；步骤S2：利用复值二阶混合优化算法调整所述复值神经网络中的参数，判断是否满足构建终止条件，若不满足，进入步骤S3，若满足，则进入步骤S4；步骤S3：验证所述复值神经网络的泛化性能，保存当前隐层神经元的个数以及所述复值神经网络的所有参数值，判断是否满足所述隐层神经元的添加标准，若满足，利用复值增量构建机制，向当前模型添加一个隐层神经元，在当前训练的基础上计算新的隐层输出矩阵和误差函数，返回步骤S2；若不满足，直接返回步骤S2；步骤S4：利用所述复值二阶混合优化算法进一步微调所述参数，得到最优的复值神经网络模型。
本实施例所述复值前向神经网络的二阶混合构建方法，所述步骤S1中，根据给定的任务对复值神经网络的结构与参数进行初始化，有利于后续进行结构与参数的调整；所述步骤S2中，利用复值二阶混合优化算法调整所述复值神经网络中的参数，判断是否满足构建终止条件，若不满足，进入步骤S3，若满足，则进入步骤S4，从而有利于确定最优的模型结构；所述步骤S3中，验证所述复值神经网络的泛化性能，保存当前隐层神经元的个数以及所述复值神经网络的所有参数值，判断是否满足所述隐层神经元的添加标准，若满足，表示训练陷入局部极小值，此时利用复值增量构建机制，向当前模型添加一个隐层神经元，在当前训练的基础上计算新的隐层输出矩阵和误差函数，返回至步骤S2；若不满足，直接返回至步骤S2，由于改变了网络结构，当网络结构发生变化后，后续的学习完全是在之前学习的基础上继续进行，因此有利于提高学习效率；所述步骤S4中，利用所述复值二阶混合优化算法进一步微调所述参数，得到最优的复值神经网络模型，本发明能够在优化复值神经网络参数的同时自适应地确定最优的模型结构，提升了复值神经网络的性能。
所述复值二阶混合优化算法包括复值Levenberg-Marquardt(LM)算法与复值最小二乘算法(Least Squares，简称LS)，本发明通过所述复值LM算法以及复值LS算法分别训练网络输入层与隐层神经元之间的权值以及隐层神经元与网络输出层之间的权值。
所述步骤S1中，所述复值神经网络是初始的三层复值前向神经网络模型。
如图2所示，所述三层复值前向神经网络模型中，复值信号输入为zp＝[zp,1,...,zp,l,...,zp,L]T∈CL(p＝1,2,...P)，其中P为样本总数，L表示网络输入层神经元的个数。
所述步骤S2中，利用复值二阶混合优化算法调整所述复值神经网络中的参数的方法为：利用复值二阶混合优化算法在训练集上对所述复值神经网络进行训练。
对所述复值神经网络进行训练时，先计算隐层输出矩阵和模型的实际输出，运用复值最小二乘算法经计算得到输出层与隐层神经元之间的权值调整量；再经计算得到稀疏矩阵，计算当前的代价函数值，利用复值LM算法计算输入层与隐层神经元之间权值的修正量，并更新网络输入层与隐层神经元之间的权值。
具体地，假设隐层神经元到网络输出层之间的线性参数为：V＝[v0,v1,...,vm,...,vM]T∈C(M+1)×1,其中v0表示偏置，vm表示第m个隐层神经元与网络输出层之间的权值，上标T表示矩阵或向量的转置运算。
根据
利用复值LS算法直接计算隐层神经元与网络输出层之间的权值与偏置V，得到网络输出层参数的最优解，其中(·)H表示矩阵的Hermitian转置，(·)-1表示矩阵的求逆运算，(·)*表示矩阵的复数值共轭，D为复值神经网络的期望输出，H为隐层输出矩阵。
隐层输出矩阵的计算方法为：根据
正向计算第p个样本的第m个隐层神经元的复数值输出，其中p＝1,2,...,P，m＝1,2,...,M，得到隐层神经元的复数值输出矩阵H＝[1,h1,...,hm,...,hM]，其中1表示元素全为1的向量。
假设输入层到隐层神经元之间的复连接权值为：W＝[w1,...,wm,...,wM]∈CL×M,其中wm∈CL为第m个隐层神经元与所有输入层神经元的连接权值所构成的向量，L和M分别表示网络输入层神经元的个数和所述隐层神经元的个数。
计算当前的代价函数值。
所述代价函数是复变量均方误差函数。具体地，选择复变量均方误差函数(MSE)作为代价函数：
根据Y＝HV和Y*＝(HV)*分别计算所述复值神经网络的实际输出与其对应的复共轭。定义期望输出与实际输出之间的误差向量e∈CP×1与其复共轭e*∈CP×1分别为：
e＝[d1-y1,d2-y2,...,dp-yp...,dP-yP]T
e*＝[(d1)*-(y1)*,(d2)*-(y2)*,...,(dp)*-(yp)*...,(dP)*-(yP)*]T
其中dp和yp分别表示对应第p个样本的复值神经网络的期望输出和实际输出。
经计算得到稀疏矩阵，所述稀疏矩阵S和SC分别表示为：
所述网络输入层与隐层神经元之间权值的修正量的计算方法为：
利用Wirtinger微分算子，根据下述公式计算网络输入层与隐层神经元之间权值的修正量
其中,μ表示阻尼因子，I为单位矩阵,
判断是否满足构建终止条件的方法为：判断代价函数是否小于设定的误差阈值或者是否达到最大迭代次数。具体地，代价函数是否小于设定的误差阈值(即E＜ε)或者是否达到最大迭代次数k＞K。
所述步骤S3中，判断是否满足所述隐层神经元的添加标准的方法为：根据代价函数在当前迭代与延迟迭代时的变化关系，判断复值神经网络是否满足隐层神经元添加标准。
具体地，根据公式
判断是否满足添加隐层神经元的条件，其中参数k、τ和ξ分别表示迭代次数、迭代延迟和误差缩减阈值。
若满足，利用复值增量构建机制，向当前模型添加一个隐层神经元，在当前训练的基础上计算新的隐层输出矩阵和误差函数，继而采用复值混合优化算法更新网络中的参数。由于复值神经网络的结构发生变化后，后续学习完全是在之前学习的基础上继续进行的，不需要重新开始，因此有利于提高效率。
具体地，根据公式
得到新的隐层神经元输出矩阵，然后利用下述公式
更新结构变化后的隐层神经元与网络输出层之间的参数，其中M表示结构变化前隐层神经元的个数，M+1为结构变化后隐层神经元的个数，再利用公式：
根据
计算新的误差矩阵，其中
从而新的参数VM+1、AM+1及eM+1可以通过之前已优化的值进行更新计算。
所述步骤S4中，利用所述复值二阶混合优化算法进一步微调所述参数时，将经训练得到的复值网络模型的参数作为初始值，使用复值二阶混合优化算法对其进行微调，获得最终的最优复值神经网络模型，并在测试集上测试性能。
最优的复值神经网络的确认方法为：结合赤池准则，在验证集上对经复值增量构建机制得到的复值神经网络进行验证，选择在验证集上表现最好的模型为最优的复值神经网络。
为了便于理解本发明的内容，下面详细说明复值前向神经网络的二阶混合构建方法：
其中试验条件设为：最大迭代次数K为1000，代价函数的阈值要求ε为0.01，迭代延迟τ＝10，误差下降的阈值ξ＝0.001以及阻尼系数μ＝0.01，并设置缩放因子β＝10，如果新一次迭代更新后计算的代价函数值与上一次迭代时的代价函数值相比降低了，则令μ＝μ/β；否则μ＝μ×β。
如图2和图3所示，具体地试验步骤为：
第一步：建立一个初始的三层复值前向神经网络模型，复值神经网络模型中的所有参数和变量均为复数的形式，zp为复值输入信号，L和M分别表示网络输入层和隐层神经元的神经元个数，hm表示第m个隐层神经元的输出，y表示网络的实际输出，e为误差；
第二步：将数据集划分为训练集、验证集和测试集三部分，设置误差阈值ε、算法的最大迭代次数K、阻尼因子μ以及迭代延迟参数τ和误差缩减阈值参数ξ，并且初始化迭代计数器k＝0；
第三步：使用复值二阶混合优化算法在训练集上对固定结构的复值神经网络进行训练，首先通过复值最小二乘算法直接计算隐层神经元与网络输出层之间的参数V；计算当前的代价函数值
再计算Jn、JCn、
及
从而得到Gn，再经计算得到稀疏矩阵
进而计算得到网络输入层与隐层神经元之间权值的修正量
并对其进行更新，迭代计数器k＝k+1；
第四步：检查训练是否满足终止条件，即代价函数是否小于设定的误差阈值(即E＜ε)或者是否达到最大迭代次数k＞K。若满足，则转至第八步，否则，转至第五步；
第五步：采用验证集验证当前复值神经网络的性能，并保存参数
以及
第六步：根据代价函数在当前迭代与延迟迭代时的变化关系，判断复值神经网络是否满足隐层神经元添加标准，若满足，转至第七步，否则转至第三步；
第七步：添加一个隐层神经元，新的网络参数
以及
可以在已优化参数的基础上进行更新计算，转至第三步；
第八步：将经训练得到的较优的复值网络模型的参数作为初始值，使用复值二阶混合优化算法对其进行微调，获得最终的复值神经网络模型，并在测试集上测试其性能。
本实施例中，所述网络输入层是指复值神经网络的输入层；所述网络输出层是复值神经网络的输出层。
本发明的试验结果为：
如图4所示，为复值神经网络模拟非线性信道均衡器时的单次训练情况，曲线为MSE的收敛曲线，竖线表示添加隐层神经元的时刻，长短不一表示在不同网络结构下验证集上的MSE值。加粗的竖线为最终选择出的最优网络结构，此刻表示训练后的网络能够使得验证集上的MSE达到最小。
图5a-图5e以及图6a-图6e所示，分别给出了复值神经网络的不同设计方法在训练数据和测试数据上的性能表现，其中横轴表示输出值的实部，纵轴表示输出值的虚部。对本发明提出的复值二阶混合构建方法，分别选择了splitTanh和Tanh两种激励函数来验证该方法的性能。通过比较，发现本发明提出的方法比复值ELM算法、复值梯度下降算法以及复值LM算法取得了更好的效果。
实施例二
基于同一发明构思，本实施例提供了一种复值前向神经网络的二阶混合构建系统，其解决问题的原理与所述复值前向神经网络的二阶混合构建方法类似，重复之处不再赘述。
本实施例提供一种复值前向神经网络的二阶混合构建系统，包括：
初始化模块，用于根据给定的任务对复值神经网络的结构与参数进行初始化；
训练模块，用于利用复值二阶混合优化算法调整所述复值神经网络中的参数，判断是否满足构建终止条件，若不满足，进入验证更新模块，若满足，则进入微调模块；
验证更新模块，用于验证所述复值神经网络的泛化性能，保存当前隐层神经元的个数以及所述复值神经网络的所有参数值，判断是否满足所述隐层神经元的添加标准，若满足，利用复值增量构建机制，向当前模型添加一个隐层神经元，在当前训练的基础上计算新的隐层输出矩阵和误差函数，返回至所述训练模块；若不满足，直接返回至所述判断模块；
微调模块，用于利用所述复值二阶混合优化算法进一步微调所述参数，得到最优的复值神经网络模型。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种复值前向神经网络的二阶混合构建方法，其特征在于，包括如下步骤：
步骤S1：根据给定的任务对复值神经网络的结构与参数进行初始化；
步骤S2：利用复值二阶混合优化算法调整所述复值神经网络的参数，判断是否满足构建终止条件，若不满足，进入步骤S3，若满足，则进入步骤S4；
步骤S3：验证所述复值神经网络的泛化性能，保存当前隐层神经元的个数以及所述复值神经网络的所有参数值，判断是否满足所述隐层神经元的添加标准，若满足，利用复值增量构建机制，向当前模型添加一个隐层神经元，在当前训练的基础上计算新的隐层输出矩阵和误差函数，返回步骤S2；若不满足，直接返回步骤S2；
步骤S4：利用所述复值二阶混合优化算法进一步微调所述参数，得到最优的复值神经网络模型。
2.根据权利要求1所述的复值前向神经网络的二阶混合构建方法，其特征在于：所述复值神经网络是初始的三层复值前向神经网络模型。
3.根据权利要求1所述的复值前向神经网络的二阶混合构建方法，其特征在于：利用复值二阶混合优化算法调整所述复值神经网络中的参数的方法为：利用复值二阶混合优化算法在训练集上对所述复值神经网络进行训练。
4.根据权利要求3所述的复值前向神经网络的二阶混合构建方法，其特征在于：对所述复值神经网络进行训练时，先计算隐层输出矩阵和模型的实际输出，运用复值最小二乘算法计算得到输出层与隐层神经元之间的权值调整量；再经计算得到稀疏矩阵，计算当前的代价函数值，并对其进行更新，利用复值LM算法得到输入层与隐层神经元之间权值的修正量，并对其进行更新。
5.根据权利要求1或3所述的复值前向神经网络的二阶混合构建方法，其特征在于：所述复值二阶混合优化算法包括复值LM算法与复值最小二乘算法。
6.根据权利要求1所述的复值前向神经网络的二阶混合构建方法，其特征在于：判断是否满足构建终止条件的方法为：判断代价函数是否小于设定的误差阈值或者是否达到最大迭代次数。
7.根据权利要求6所述的复值前向神经网络的二阶混合构建方法，其特征在于：所述代价函数是复变量均方误差函数。
8.根据权利要求1所述的复值前向神经网络的二阶混合构建方法，其特征在于：判断是否满足所述隐层神经元的添加标准的方法为：根据代价函数在当前迭代与延迟迭代时的变化关系，判断复值神经网络是否满足隐层神经元添加标准。
9.根据权利要求1所述的复值前向神经网络的二阶混合构建方法，其特征在于：利用所述复值二阶混合优化算法进一步微调所述参数时，将经训练得到的复值网络模型的参数作为初始值，使用复值二阶混合优化算法对其进行微调，获得最终的最优复值神经网络模型，并测试其性能。
10.一种复值前向神经网络的二阶混合构建系统，其特征在于，包括：
初始化模块，用于根据给定的任务对复值神经网络的结构与参数进行初始化；
训练模块，用于利用复值二阶混合优化算法调整所述复值神经网络中的参数，判断是否满足构建终止条件，若不满足，进入验证更新模块，若满足，则进入微调模块；
验证更新模块，用于验证所述复值神经网络的泛化性能，保存当前隐层神经元的个数以及所述复值神经网络的所有参数值，判断是否满足所述隐层神经元的添加标准，若满足，利用复值增量构建机制，向当前模型添加一个隐层神经元，在当前训练的基础上计算新的隐层输出矩阵和误差函数，返回至所述训练模块；若不满足，直接返回至所述训练模块；
微调模块，用于利用所述复值二阶混合优化算法进一步微调所述参数，得到最优的复值神经网络模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010820498.1A CN111950711A (zh) | 2020-08-14 | 2020-08-14 | 复值前向神经网络的二阶混合构建方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010820498.1A CN111950711A (zh) | 2020-08-14 | 2020-08-14 | 复值前向神经网络的二阶混合构建方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111950711A true CN111950711A (zh) | 2020-11-17 |
Family
ID=73342319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010820498.1A Pending CN111950711A (zh) | 2020-08-14 | 2020-08-14 | 复值前向神经网络的二阶混合构建方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111950711A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112422462A (zh) * | 2020-11-20 | 2021-02-26 | 苏州大学 | 复值信道均衡器的设计方法 |
| CN113095294A (zh) * | 2021-05-08 | 2021-07-09 | 苏州大学 | 自适应数字调制信号解调器及其解调方法 |
| CN113158582A (zh) * | 2021-05-24 | 2021-07-23 | 苏州大学 | 基于复数值前向神经网络的风速预测方法 |
| CN113642653A (zh) * | 2021-08-16 | 2021-11-12 | 苏州大学 | 基于结构优化算法的复值神经网络的信号调制识别方法 |
| CN113705724A (zh) * | 2021-09-13 | 2021-11-26 | 苏州大学 | 基于自适应l-bfgs算法的深度神经网络的批量学习方法 |
| CN115270891A (zh) * | 2022-08-22 | 2022-11-01 | 苏州大学 | 一种信号对抗样本的生成方法、装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104486271A (zh) * | 2014-11-04 | 2015-04-01 | 荆楚理工学院 | 基于激活函数可调的复值bp神经网络盲均衡方法 |
| CN104504441A (zh) * | 2014-12-09 | 2015-04-08 | 河海大学 | 基于敏感性的madaline神经网络构建方法及其装置 |
| CN106875002A (zh) * | 2017-02-20 | 2017-06-20 | 中国石油大学(华东) | 基于梯度下降法与广义逆的复值神经网络训练方法 |
-
2020
- 2020-08-14 CN CN202010820498.1A patent/CN111950711A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104486271A (zh) * | 2014-11-04 | 2015-04-01 | 荆楚理工学院 | 基于激活函数可调的复值bp神经网络盲均衡方法 |
| CN104504441A (zh) * | 2014-12-09 | 2015-04-08 | 河海大学 | 基于敏感性的madaline神经网络构建方法及其装置 |
| CN106875002A (zh) * | 2017-02-20 | 2017-06-20 | 中国石油大学(华东) | 基于梯度下降法与广义逆的复值神经网络训练方法 |
Non-Patent Citations (2)
| Title |
|---|
| SHUFANG ZHANG ET AL: "An Efficient Hybrid Incremental Algorithm for Complex-Valued Feedforward Neural Networks", 9TH INTERNATIONAL CONFERENCE ON INFORMATION SCIENCE AND TECHNOLOGY (ICIST), 2 August 2019 (2019-08-02), pages 327 - 332, XP033617016, DOI: 10.1109/ICIST.2019.8836950 * |
| SHUFANG ZHANG: "A Levenberg-Marquardt Algorithm Based Incremental Scheme for Complex-Valued Neural Networks", 2019 IEEE SYMPOSIUM SERIES ON COMPUTATIONAL INTELLIGENCE (SSCI), 9 December 2019 (2019-12-09), pages 1479 - 1485, XP033717419, DOI: 10.1109/SSCI44817.2019.9003091 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112422462A (zh) * | 2020-11-20 | 2021-02-26 | 苏州大学 | 复值信道均衡器的设计方法 |
| CN112422462B (zh) * | 2020-11-20 | 2021-08-31 | 苏州大学 | 复值信道均衡器的设计方法 |
| WO2022105058A1 (zh) * | 2020-11-20 | 2022-05-27 | 苏州大学 | 复值信道均衡器的设计方法 |
| US11909566B2 (en) | 2020-11-20 | 2024-02-20 | Soochow University | Method for designing complex-valued channel equalizer |
| CN113095294A (zh) * | 2021-05-08 | 2021-07-09 | 苏州大学 | 自适应数字调制信号解调器及其解调方法 |
| CN113158582A (zh) * | 2021-05-24 | 2021-07-23 | 苏州大学 | 基于复数值前向神经网络的风速预测方法 |
| WO2022247049A1 (zh) * | 2021-05-24 | 2022-12-01 | 苏州大学 | 基于复数值前向神经网络的风速预测方法 |
| CN113642653A (zh) * | 2021-08-16 | 2021-11-12 | 苏州大学 | 基于结构优化算法的复值神经网络的信号调制识别方法 |
| CN113642653B (zh) * | 2021-08-16 | 2023-02-07 | 苏州大学 | 基于结构优化算法的复值神经网络的信号调制识别方法 |
| WO2023019601A1 (zh) * | 2021-08-16 | 2023-02-23 | 苏州大学 | 基于结构优化算法的复值神经网络的信号调制识别方法 |
| CN113705724A (zh) * | 2021-09-13 | 2021-11-26 | 苏州大学 | 基于自适应l-bfgs算法的深度神经网络的批量学习方法 |
| CN115270891A (zh) * | 2022-08-22 | 2022-11-01 | 苏州大学 | 一种信号对抗样本的生成方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111950711A (zh) | 复值前向神经网络的二阶混合构建方法及系统 | |
| CN111241952B (zh) | 一种离散制造场景中的强化学习奖励自学习方法 | |
| CN109948029B (zh) | 基于神经网络自适应的深度哈希图像搜索方法 | |
| WO2023019601A1 (zh) | 基于结构优化算法的复值神经网络的信号调制识别方法 | |
| Liang et al. | A fast and accurate online sequential learning algorithm for feedforward networks | |
| CN110334580A (zh) | 基于集成增量的动态权重组合的设备故障分类方法 | |
| CN111176327A (zh) | 一种多智能体系统合围控制方法及系统 | |
| CN111260124A (zh) | 一种基于注意力机制深度学习的混沌时间序列预测方法 | |
| CN104598972A (zh) | 一种大规模数据回归神经网络快速训练方法 | |
| CN106254330A (zh) | 一种基于bp神经网络的软件定义网络入侵检测方法 | |
| CN107832789B (zh) | 基于平均影响值数据变换的特征加权k近邻故障诊断方法 | |
| CN107958287A (zh) | 面向跨界大数据分析的对抗迁移学习方法及系统 | |
| CN112766603B (zh) | 一种交通流量预测方法、系统、计算机设备及存储介质 | |
| CN114897144A (zh) | 基于复值神经网络的复值时序信号预测方法 | |
| CN113469891A (zh) | 一种神经网络架构搜索方法、训练方法、图像补全方法 | |
| CN104915566A (zh) | 一种支持增量更新的深度计算模型设计方法 | |
| TWI452529B (zh) | Combined with the system equivalent model of the system and its computer program products | |
| CN115167150B (zh) | 具有未知系统动态的批次过程二维离轨策略交错q学习最优跟踪控制方法 | |
| CN115796244A (zh) | 一种超非线性输入输出系统基于cff的参数辨识方法 | |
| CN115640845A (zh) | 基于生成对抗网络的图神经网络少数类别样本生成方法 | |
| CN111416595B (zh) | 一种基于多核融合的大数据滤波方法 | |
| JP2002042107A (ja) | ニューラルネットワークの学習方法 | |
| CN109474258B (zh) | 基于核极化策略的随机傅立叶特征核lms的核参数优化方法 | |
| CN115293334B (zh) | 基于模型的高样本率深度强化学习的无人设备控制方法 | |
| Gunaseeli et al. | A constructive approach of modified standard backpropagation algorithm with optimum initialization for feedforward neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |