CN111950711A - 复值前向神经网络的二阶混合构建方法及系统 - Google Patents

复值前向神经网络的二阶混合构建方法及系统 Download PDF

Info

Publication number
CN111950711A
CN111950711A CN202010820498.1A CN202010820498A CN111950711A CN 111950711 A CN111950711 A CN 111950711A CN 202010820498 A CN202010820498 A CN 202010820498A CN 111950711 A CN111950711 A CN 111950711A
Authority
CN
China
Prior art keywords
complex
neural network
valued
hidden layer
order hybrid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010820498.1A
Other languages
English (en)
Inventor
黄鹤
张书芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202010820498.1A priority Critical patent/CN111950711A/zh
Publication of CN111950711A publication Critical patent/CN111950711A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明涉及一种复值前向神经网络的二阶混合构建方法及系统,包括：根据给定的任务对复值神经网络的结构与参数进行初始化；利用复值二阶混合优化算法调整所述复值神经网络中的参数，判断是否满足构建终止条件；验证所述复值神经网络的泛化性能，保存当前隐层神经元的个数以及所述复值神经网络的所有参数值，判断是否满足所述隐层神经元的添加标准，若满足，利用复值增量构建机制，向当前模型添加一个隐层神经元，在当前训练的基础上计算新的隐层输出矩阵和误差函数，返回至上一步；若不满足，直接返回至上一步；利用所述复值二阶混合优化算法进一步微调所述参数，得到最优的复值神经网络模型。本发明有利于自动构建结构合理的复值神经网络模型。

Description

复值前向神经网络的二阶混合构建方法及系统
技术领域
本发明涉及人工智能与模式识别的技术领域，尤其是指一种复值前向神经网络的二阶混合构建方法及系统。
背景技术
人工神经网络具有强大的自学习、自组织、自适应及非线性函数逼近能力，能够从看似杂乱无章的海量数据中学习规则与知识。近年来，实值神经网络的研究已经取得了十分丰硕的成果。然而，在一些工程领域中，往往需要对复信号进行分析与处理。复值神经网络凭借其强大的计算能力与良好的泛化性能,已经受到了越来越多的关注，并在各种工业领域中得到了广泛的应用,如雷达信号处理、医学图像处理、信道状态预测、模式识别等。
复值神经网络的学习主要包括两个方面:搜索最优参数和确定最优网络结构。前向神经网络学习算法的研究一直是一个非常热门的研究课题，只有设计了合适的学习算法才能使神经网络既高效又准确地解决实际问题。研究发现，复值神经网络有着与实值神经网络相似的结构，其学习算法也大都是从实数域中推广而来的。比如，最常见的学习算法便是复值梯度下降算法。然而，一阶复值优化算法存在收敛速度慢、易陷入局部极小值等缺点。
复值神经网络的结构对其性能有着显著影响。因此，在复值神经网络的构建过程中，不仅要考虑参数优化算法的选择，如何设计和优化模型结构也是至关重要的。一个理想的复值神经网络的学习算法应该同时具备搜索最优参数和确定最优网络拓扑结构的能力。
发明内容
为此，本发明所要解决的技术问题在于如何提供一种结构合理、泛化性能强的复值前向神经网络的二阶混合构建方法及系统。
为解决上述技术问题，本发明的一种复值前向神经网络的二阶混合构建方法，包括如下步骤：步骤S1：根据给定的任务对复值神经网络的结构与参数进行初始化；步骤S2：利用复值二阶混合优化算法调整所述复值神经网络中的参数，判断是否满足构建终止条件，若不满足，进入步骤S3，若满足，则进入步骤S4；步骤S3：验证所述复值神经网络的泛化性能，保存当前隐层神经元的个数以及所述复值神经网络的所有参数值，判断是否满足所述隐层神经元的添加标准，若满足，利用复值增量构建机制，向当前模型添加一个隐层神经元，在当前训练的基础上计算新的隐层输出矩阵和误差函数，返回步骤S2；若不满足，直接返回步骤S2；步骤S4：利用所述复值二阶混合优化算法进一步微调所述参数，得到最优的复值神经网络模型。
在本发明的一个实施例中，所述复值神经网络是初始的三层复值前向神经网络模型。
在本发明的一个实施例中，利用复值二阶混合优化算法调整所述复值神经网络中的参数的方法为：利用复值二阶混合优化算法在训练集上对所述复值神经网络进行训练。
在本发明的一个实施例中，对所述复值神经网络进行训练时，先计算隐层输出矩阵和模型的实际输出，运用复值最小二乘算法经计算得到输出层与隐层神经元之间的权值调整量；再经计算得到稀疏矩阵，计算当前的代价函数值，利用复值LM算法计算网络输入层与隐层神经元之间权值的修正量，并对其进行更新。
在本发明的一个实施例中，所述复值二阶混合优化算法包括复值LM算法与复值最小二乘算法。
在本发明的一个实施例中，判断是否满足构建终止条件的方法为：判断代价函数是否小于设定的误差阈值或者是否达到最大迭代次数。
在本发明的一个实施例中，所述代价函数是复变量均方误差函数。
在本发明的一个实施例中，判断是否满足所述隐层神经元的添加标准的方法为：根据代价函数在当前迭代与延迟迭代时的变化关系，判断复值神经网络是否满足隐层神经元添加标准。
在本发明的一个实施例中，利用所述复值二阶混合优化算法进一步微调所述参数时，将经训练得到的复值网络模型的参数作为初始值，使用复值二阶混合优化算法对其进行微调，获得最终的最优复值神经网络模型，并测试其性能。
本发明还提供了一种复值前向神经网络的二阶混合构建系统，包括：
初始化模块，用于根据给定的任务对复值神经网络的结构与参数进行初始化；
训练模块，用于利用复值二阶混合优化算法调整所述复值神经网络中的参数，判断是否满足构建终止条件，若不满足，进入验证更新模块，若满足，则进入微调模块；
验证更新模块，用于验证所述复值神经网络的泛化性能，保存当前隐层神经元的个数以及所述复值神经网络的所有参数值，判断是否满足所述隐层神经元的添加标准，若满足，利用复值增量构建机制，向当前模型添加一个隐层神经元，在当前训练的基础上计算新的隐层输出矩阵和误差函数，返回至所述训练模块；若不满足，直接返回至所述训练模块；
微调模块，用于利用所述复值二阶混合优化算法进一步微调所述参数，得到最优的复值神经网络模型。
本发明的上述技术方案相比现有技术具有以下优点：
本发明所述的复值前向神经网络的二阶混合构建方法及系统，采用复值混合优化算法分别对复值神经网络的输入层和隐层神经元之间的非线性参数以及隐层神经元和网络输出层之间的线性参数进行更新，通过利用复值增量构建机制实现对复值神经网络的结构优化，不但能够同时实现模型参数的优化和网络结构的自适应设计，二阶混合算法的使用减少了迭代时涉及Wi rt i nger微分计算的参数个数，加快了学习的收敛速度；而且在网络结构发生变化后，后续的学习完全是在之前学习的基础上继续进行的，极大地提高了学习效率；另外，本发明设计的复值增量构建机制能够在多个不同结构的复值神经网络模型中选择最优的模型，避免了耗时的试错过程，同时有利于自动构建结构合理的复值神经网络模型，提高了复值神经网络的泛化性能。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中
图1是本发明复值前向神经网络的二阶混合构建方法流程图；
图2是本发明二阶混合构造算法设计复值前向神经网络的框图；
图3是本发明复数值前向神经网络结构拓扑图；
图4是本发明实施例提供复数值神经网络单次训练过程；
图5a是复值ELM算法的效果图；
图5b是复值梯度下降算法的效果图；
图5c是复值LM算法的效果图；
图5d是采用spiltTanh激励函数的复值二阶混合构建方法的效果图；
图5e是采用Tanh激励函数的复值二阶混合构建方法的效果图；
图6a是复值ELM算法的效果图；
图6b是复值梯度下降算法的效果图；
图6c是复值LM算法的效果图；
图6d是采用spiltTanh激励函数的复值二阶混合构建方法的效果图；
图6e是采用Tanh激励函数的复值二阶混合构建方法的效果图。
具体实施方式
实施例一
如图1所示，本实施例提供一种复值前向神经网络的二阶混合构建方法，包括如下步骤：步骤S1：根据给定的任务对复值神经网络的结构与参数进行初始化；步骤S2：利用复值二阶混合优化算法调整所述复值神经网络中的参数，判断是否满足构建终止条件，若不满足，进入步骤S3，若满足，则进入步骤S4；步骤S3：验证所述复值神经网络的泛化性能，保存当前隐层神经元的个数以及所述复值神经网络的所有参数值，判断是否满足所述隐层神经元的添加标准，若满足，利用复值增量构建机制，向当前模型添加一个隐层神经元，在当前训练的基础上计算新的隐层输出矩阵和误差函数，返回步骤S2；若不满足，直接返回步骤S2；步骤S4：利用所述复值二阶混合优化算法进一步微调所述参数，得到最优的复值神经网络模型。
本实施例所述复值前向神经网络的二阶混合构建方法，所述步骤S1中，根据给定的任务对复值神经网络的结构与参数进行初始化，有利于后续进行结构与参数的调整；所述步骤S2中，利用复值二阶混合优化算法调整所述复值神经网络中的参数，判断是否满足构建终止条件，若不满足，进入步骤S3，若满足，则进入步骤S4，从而有利于确定最优的模型结构；所述步骤S3中，验证所述复值神经网络的泛化性能，保存当前隐层神经元的个数以及所述复值神经网络的所有参数值，判断是否满足所述隐层神经元的添加标准，若满足，表示训练陷入局部极小值，此时利用复值增量构建机制，向当前模型添加一个隐层神经元，在当前训练的基础上计算新的隐层输出矩阵和误差函数，返回至步骤S2；若不满足，直接返回至步骤S2，由于改变了网络结构，当网络结构发生变化后，后续的学习完全是在之前学习的基础上继续进行，因此有利于提高学习效率；所述步骤S4中，利用所述复值二阶混合优化算法进一步微调所述参数，得到最优的复值神经网络模型，本发明能够在优化复值神经网络参数的同时自适应地确定最优的模型结构，提升了复值神经网络的性能。
所述复值二阶混合优化算法包括复值Levenberg-Marquardt(LM)算法与复值最小二乘算法(Least Squares，简称LS)，本发明通过所述复值LM算法以及复值LS算法分别训练网络输入层与隐层神经元之间的权值以及隐层神经元与网络输出层之间的权值。
所述步骤S1中，所述复值神经网络是初始的三层复值前向神经网络模型。
如图2所示，所述三层复值前向神经网络模型中，复值信号输入为zp＝[zp,1,...,zp,l,...,zp,L]T∈CL(p＝1,2,...P)，其中P为样本总数，L表示网络输入层神经元的个数。
所述步骤S2中，利用复值二阶混合优化算法调整所述复值神经网络中的参数的方法为：利用复值二阶混合优化算法在训练集上对所述复值神经网络进行训练。
对所述复值神经网络进行训练时，先计算隐层输出矩阵和模型的实际输出，运用复值最小二乘算法经计算得到输出层与隐层神经元之间的权值调整量；再经计算得到稀疏矩阵，计算当前的代价函数值，利用复值LM算法计算输入层与隐层神经元之间权值的修正量，并更新网络输入层与隐层神经元之间的权值。
具体地，假设隐层神经元到网络输出层之间的线性参数为：V＝[v0,v1,...,vm,...,vM]T∈C(M+1)×1,其中v0表示偏置，vm表示第m个隐层神经元与网络输出层之间的权值，上标T表示矩阵或向量的转置运算。
根据
Figure BDA0002634265260000061
利用复值LS算法直接计算隐层神经元与网络输出层之间的权值与偏置V，得到网络输出层参数的最优解，其中(·)H表示矩阵的Hermitian转置，(·)-1表示矩阵的求逆运算，(·)*表示矩阵的复数值共轭，D为复值神经网络的期望输出，H为隐层输出矩阵。
隐层输出矩阵的计算方法为：根据
Figure BDA0002634265260000062
正向计算第p个样本的第m个隐层神经元的复数值输出，其中p＝1,2,...,P，m＝1,2,...,M，得到隐层神经元的复数值输出矩阵H＝[1,h1,...,hm,...,hM]，其中1表示元素全为1的向量。
假设输入层到隐层神经元之间的复连接权值为：W＝[w1,...,wm,...,wM]∈CL×M,其中wm∈CL为第m个隐层神经元与所有输入层神经元的连接权值所构成的向量，L和M分别表示网络输入层神经元的个数和所述隐层神经元的个数。
计算当前的代价函数值。
所述代价函数是复变量均方误差函数。具体地，选择复变量均方误差函数(MSE)作为代价函数：
Figure BDA0002634265260000071
根据Y＝HV和Y*＝(HV)*分别计算所述复值神经网络的实际输出与其对应的复共轭。定义期望输出与实际输出之间的误差向量e∈CP×1与其复共轭e*∈CP×1分别为：
e＝[d1-y1,d2-y2,...,dp-yp...,dP-yP]T
e*＝[(d1)*-(y1)*,(d2)*-(y2)*,...,(dp)*-(yp)*...,(dP)*-(yP)*]T
其中dp和yp分别表示对应第p个样本的复值神经网络的期望输出和实际输出。
经计算得到稀疏矩阵，所述稀疏矩阵S和SC分别表示为：
Figure BDA0002634265260000072
Figure BDA0002634265260000073
所述网络输入层与隐层神经元之间权值的修正量的计算方法为：
利用Wirtinger微分算子，根据下述公式计算网络输入层与隐层神经元之间权值的修正量
Figure BDA0002634265260000074
Figure BDA0002634265260000081
其中,μ表示阻尼因子，I为单位矩阵,
Figure BDA0002634265260000082
Figure BDA0002634265260000083
Figure BDA0002634265260000084
判断是否满足构建终止条件的方法为：判断代价函数是否小于设定的误差阈值或者是否达到最大迭代次数。具体地，代价函数是否小于设定的误差阈值(即E＜ε)或者是否达到最大迭代次数k＞K。
所述步骤S3中，判断是否满足所述隐层神经元的添加标准的方法为：根据代价函数在当前迭代与延迟迭代时的变化关系，判断复值神经网络是否满足隐层神经元添加标准。
具体地，根据公式
Figure BDA0002634265260000085
判断是否满足添加隐层神经元的条件，其中参数k、τ和ξ分别表示迭代次数、迭代延迟和误差缩减阈值。
若满足，利用复值增量构建机制，向当前模型添加一个隐层神经元，在当前训练的基础上计算新的隐层输出矩阵和误差函数，继而采用复值混合优化算法更新网络中的参数。由于复值神经网络的结构发生变化后，后续学习完全是在之前学习的基础上继续进行的，不需要重新开始，因此有利于提高效率。
具体地，根据公式
Figure BDA0002634265260000086
得到新的隐层神经元输出矩阵，然后利用下述公式
Figure BDA0002634265260000087
Figure BDA0002634265260000091
更新结构变化后的隐层神经元与网络输出层之间的参数，其中M表示结构变化前隐层神经元的个数，M+1为结构变化后隐层神经元的个数，再利用公式：
Figure BDA0002634265260000092
Figure BDA0002634265260000093
根据
Figure BDA0002634265260000094
计算新的误差矩阵，其中
Figure BDA0002634265260000095
从而新的参数VM+1、AM+1及eM+1可以通过之前已优化的值进行更新计算。
所述步骤S4中，利用所述复值二阶混合优化算法进一步微调所述参数时，将经训练得到的复值网络模型的参数作为初始值，使用复值二阶混合优化算法对其进行微调，获得最终的最优复值神经网络模型，并在测试集上测试性能。
最优的复值神经网络的确认方法为：结合赤池准则，在验证集上对经复值增量构建机制得到的复值神经网络进行验证，选择在验证集上表现最好的模型为最优的复值神经网络。
为了便于理解本发明的内容，下面详细说明复值前向神经网络的二阶混合构建方法：
其中试验条件设为：最大迭代次数K为1000，代价函数的阈值要求ε为0.01，迭代延迟τ＝10，误差下降的阈值ξ＝0.001以及阻尼系数μ＝0.01，并设置缩放因子β＝10，如果新一次迭代更新后计算的代价函数值与上一次迭代时的代价函数值相比降低了，则令μ＝μ/β；否则μ＝μ×β。
如图2和图3所示，具体地试验步骤为：
第一步：建立一个初始的三层复值前向神经网络模型，复值神经网络模型中的所有参数和变量均为复数的形式，zp为复值输入信号，L和M分别表示网络输入层和隐层神经元的神经元个数，hm表示第m个隐层神经元的输出，y表示网络的实际输出，e为误差；
第二步：将数据集划分为训练集、验证集和测试集三部分，设置误差阈值ε、算法的最大迭代次数K、阻尼因子μ以及迭代延迟参数τ和误差缩减阈值参数ξ，并且初始化迭代计数器k＝0；
第三步：使用复值二阶混合优化算法在训练集上对固定结构的复值神经网络进行训练，首先通过复值最小二乘算法直接计算隐层神经元与网络输出层之间的参数V；计算当前的代价函数值
Figure BDA0002634265260000101
再计算Jn、JCn、
Figure BDA0002634265260000102
及
Figure BDA0002634265260000103
从而得到Gn，再经计算得到稀疏矩阵
Figure BDA0002634265260000104
进而计算得到网络输入层与隐层神经元之间权值的修正量
Figure BDA0002634265260000105
并对其进行更新，迭代计数器k＝k+1；
第四步：检查训练是否满足终止条件，即代价函数是否小于设定的误差阈值(即E＜ε)或者是否达到最大迭代次数k＞K。若满足，则转至第八步，否则，转至第五步；
第五步：采用验证集验证当前复值神经网络的性能，并保存参数
Figure BDA0002634265260000106
Figure BDA0002634265260000107
以及
Figure BDA0002634265260000108
第六步：根据代价函数在当前迭代与延迟迭代时的变化关系，判断复值神经网络是否满足隐层神经元添加标准，若满足，转至第七步，否则转至第三步；
第七步：添加一个隐层神经元，新的网络参数
Figure BDA0002634265260000111
Figure BDA0002634265260000112
以及
Figure BDA0002634265260000113
可以在已优化参数的基础上进行更新计算，转至第三步；
第八步：将经训练得到的较优的复值网络模型的参数作为初始值，使用复值二阶混合优化算法对其进行微调，获得最终的复值神经网络模型，并在测试集上测试其性能。
本实施例中，所述网络输入层是指复值神经网络的输入层；所述网络输出层是复值神经网络的输出层。
本发明的试验结果为：
如图4所示，为复值神经网络模拟非线性信道均衡器时的单次训练情况，曲线为MSE的收敛曲线，竖线表示添加隐层神经元的时刻，长短不一表示在不同网络结构下验证集上的MSE值。加粗的竖线为最终选择出的最优网络结构，此刻表示训练后的网络能够使得验证集上的MSE达到最小。
图5a-图5e以及图6a-图6e所示，分别给出了复值神经网络的不同设计方法在训练数据和测试数据上的性能表现，其中横轴表示输出值的实部，纵轴表示输出值的虚部。对本发明提出的复值二阶混合构建方法，分别选择了splitTanh和Tanh两种激励函数来验证该方法的性能。通过比较，发现本发明提出的方法比复值ELM算法、复值梯度下降算法以及复值LM算法取得了更好的效果。
实施例二
基于同一发明构思，本实施例提供了一种复值前向神经网络的二阶混合构建系统，其解决问题的原理与所述复值前向神经网络的二阶混合构建方法类似，重复之处不再赘述。
本实施例提供一种复值前向神经网络的二阶混合构建系统，包括：
初始化模块，用于根据给定的任务对复值神经网络的结构与参数进行初始化；
训练模块，用于利用复值二阶混合优化算法调整所述复值神经网络中的参数，判断是否满足构建终止条件，若不满足，进入验证更新模块，若满足，则进入微调模块；
验证更新模块，用于验证所述复值神经网络的泛化性能，保存当前隐层神经元的个数以及所述复值神经网络的所有参数值，判断是否满足所述隐层神经元的添加标准，若满足，利用复值增量构建机制，向当前模型添加一个隐层神经元，在当前训练的基础上计算新的隐层输出矩阵和误差函数，返回至所述训练模块；若不满足，直接返回至所述判断模块；
微调模块，用于利用所述复值二阶混合优化算法进一步微调所述参数，得到最优的复值神经网络模型。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种复值前向神经网络的二阶混合构建方法，其特征在于，包括如下步骤：
步骤S1：根据给定的任务对复值神经网络的结构与参数进行初始化；
步骤S2：利用复值二阶混合优化算法调整所述复值神经网络的参数，判断是否满足构建终止条件，若不满足，进入步骤S3，若满足，则进入步骤S4；
步骤S3：验证所述复值神经网络的泛化性能，保存当前隐层神经元的个数以及所述复值神经网络的所有参数值，判断是否满足所述隐层神经元的添加标准，若满足，利用复值增量构建机制，向当前模型添加一个隐层神经元，在当前训练的基础上计算新的隐层输出矩阵和误差函数，返回步骤S2；若不满足，直接返回步骤S2；
步骤S4：利用所述复值二阶混合优化算法进一步微调所述参数，得到最优的复值神经网络模型。
2.根据权利要求1所述的复值前向神经网络的二阶混合构建方法，其特征在于：所述复值神经网络是初始的三层复值前向神经网络模型。
3.根据权利要求1所述的复值前向神经网络的二阶混合构建方法，其特征在于：利用复值二阶混合优化算法调整所述复值神经网络中的参数的方法为：利用复值二阶混合优化算法在训练集上对所述复值神经网络进行训练。
4.根据权利要求3所述的复值前向神经网络的二阶混合构建方法，其特征在于：对所述复值神经网络进行训练时，先计算隐层输出矩阵和模型的实际输出，运用复值最小二乘算法计算得到输出层与隐层神经元之间的权值调整量；再经计算得到稀疏矩阵，计算当前的代价函数值，并对其进行更新，利用复值LM算法得到输入层与隐层神经元之间权值的修正量，并对其进行更新。
5.根据权利要求1或3所述的复值前向神经网络的二阶混合构建方法，其特征在于：所述复值二阶混合优化算法包括复值LM算法与复值最小二乘算法。
6.根据权利要求1所述的复值前向神经网络的二阶混合构建方法，其特征在于：判断是否满足构建终止条件的方法为：判断代价函数是否小于设定的误差阈值或者是否达到最大迭代次数。
7.根据权利要求6所述的复值前向神经网络的二阶混合构建方法，其特征在于：所述代价函数是复变量均方误差函数。
8.根据权利要求1所述的复值前向神经网络的二阶混合构建方法，其特征在于：判断是否满足所述隐层神经元的添加标准的方法为：根据代价函数在当前迭代与延迟迭代时的变化关系，判断复值神经网络是否满足隐层神经元添加标准。
9.根据权利要求1所述的复值前向神经网络的二阶混合构建方法，其特征在于：利用所述复值二阶混合优化算法进一步微调所述参数时，将经训练得到的复值网络模型的参数作为初始值，使用复值二阶混合优化算法对其进行微调，获得最终的最优复值神经网络模型，并测试其性能。
10.一种复值前向神经网络的二阶混合构建系统，其特征在于，包括：
初始化模块，用于根据给定的任务对复值神经网络的结构与参数进行初始化；
训练模块，用于利用复值二阶混合优化算法调整所述复值神经网络中的参数，判断是否满足构建终止条件，若不满足，进入验证更新模块，若满足，则进入微调模块；
验证更新模块，用于验证所述复值神经网络的泛化性能，保存当前隐层神经元的个数以及所述复值神经网络的所有参数值，判断是否满足所述隐层神经元的添加标准，若满足，利用复值增量构建机制，向当前模型添加一个隐层神经元，在当前训练的基础上计算新的隐层输出矩阵和误差函数，返回至所述训练模块；若不满足，直接返回至所述训练模块；
微调模块，用于利用所述复值二阶混合优化算法进一步微调所述参数，得到最优的复值神经网络模型。
CN202010820498.1A 2020-08-14 2020-08-14 复值前向神经网络的二阶混合构建方法及系统 Pending CN111950711A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010820498.1A CN111950711A (zh) 2020-08-14 2020-08-14 复值前向神经网络的二阶混合构建方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010820498.1A CN111950711A (zh) 2020-08-14 2020-08-14 复值前向神经网络的二阶混合构建方法及系统

Publications (1)

Publication Number Publication Date
CN111950711A true CN111950711A (zh) 2020-11-17

Family

ID=73342319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010820498.1A Pending CN111950711A (zh) 2020-08-14 2020-08-14 复值前向神经网络的二阶混合构建方法及系统

Country Status (1)

Country Link
CN (1) CN111950711A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112422462A (zh) * 2020-11-20 2021-02-26 苏州大学 复值信道均衡器的设计方法
CN113095294A (zh) * 2021-05-08 2021-07-09 苏州大学 自适应数字调制信号解调器及其解调方法
CN113158582A (zh) * 2021-05-24 2021-07-23 苏州大学 基于复数值前向神经网络的风速预测方法
CN113642653A (zh) * 2021-08-16 2021-11-12 苏州大学 基于结构优化算法的复值神经网络的信号调制识别方法
CN113705724A (zh) * 2021-09-13 2021-11-26 苏州大学 基于自适应l-bfgs算法的深度神经网络的批量学习方法
CN115270891A (zh) * 2022-08-22 2022-11-01 苏州大学 一种信号对抗样本的生成方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104486271A (zh) * 2014-11-04 2015-04-01 荆楚理工学院 基于激活函数可调的复值bp神经网络盲均衡方法
CN104504441A (zh) * 2014-12-09 2015-04-08 河海大学 基于敏感性的madaline神经网络构建方法及其装置
CN106875002A (zh) * 2017-02-20 2017-06-20 中国石油大学(华东) 基于梯度下降法与广义逆的复值神经网络训练方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104486271A (zh) * 2014-11-04 2015-04-01 荆楚理工学院 基于激活函数可调的复值bp神经网络盲均衡方法
CN104504441A (zh) * 2014-12-09 2015-04-08 河海大学 基于敏感性的madaline神经网络构建方法及其装置
CN106875002A (zh) * 2017-02-20 2017-06-20 中国石油大学(华东) 基于梯度下降法与广义逆的复值神经网络训练方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHUFANG ZHANG ET AL: "An Efficient Hybrid Incremental Algorithm for Complex-Valued Feedforward Neural Networks", 9TH INTERNATIONAL CONFERENCE ON INFORMATION SCIENCE AND TECHNOLOGY (ICIST), 2 August 2019 (2019-08-02), pages 327 - 332, XP033617016, DOI: 10.1109/ICIST.2019.8836950 *
SHUFANG ZHANG: "A Levenberg-Marquardt Algorithm Based Incremental Scheme for Complex-Valued Neural Networks", 2019 IEEE SYMPOSIUM SERIES ON COMPUTATIONAL INTELLIGENCE (SSCI), 9 December 2019 (2019-12-09), pages 1479 - 1485, XP033717419, DOI: 10.1109/SSCI44817.2019.9003091 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112422462A (zh) * 2020-11-20 2021-02-26 苏州大学 复值信道均衡器的设计方法
CN112422462B (zh) * 2020-11-20 2021-08-31 苏州大学 复值信道均衡器的设计方法
WO2022105058A1 (zh) * 2020-11-20 2022-05-27 苏州大学 复值信道均衡器的设计方法
US11909566B2 (en) 2020-11-20 2024-02-20 Soochow University Method for designing complex-valued channel equalizer
CN113095294A (zh) * 2021-05-08 2021-07-09 苏州大学 自适应数字调制信号解调器及其解调方法
CN113158582A (zh) * 2021-05-24 2021-07-23 苏州大学 基于复数值前向神经网络的风速预测方法
WO2022247049A1 (zh) * 2021-05-24 2022-12-01 苏州大学 基于复数值前向神经网络的风速预测方法
CN113642653A (zh) * 2021-08-16 2021-11-12 苏州大学 基于结构优化算法的复值神经网络的信号调制识别方法
CN113642653B (zh) * 2021-08-16 2023-02-07 苏州大学 基于结构优化算法的复值神经网络的信号调制识别方法
WO2023019601A1 (zh) * 2021-08-16 2023-02-23 苏州大学 基于结构优化算法的复值神经网络的信号调制识别方法
CN113705724A (zh) * 2021-09-13 2021-11-26 苏州大学 基于自适应l-bfgs算法的深度神经网络的批量学习方法
CN115270891A (zh) * 2022-08-22 2022-11-01 苏州大学 一种信号对抗样本的生成方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111950711A (zh) 复值前向神经网络的二阶混合构建方法及系统
Liang et al. A fast and accurate online sequential learning algorithm for feedforward networks
CN109948029B (zh) 基于神经网络自适应的深度哈希图像搜索方法
WO2023019601A1 (zh) 基于结构优化算法的复值神经网络的信号调制识别方法
Xu et al. Evolutionary extreme learning machine–based on particle swarm optimization
CN111176327A (zh) 一种多智能体系统合围控制方法及系统
CN111260124A (zh) 一种基于注意力机制深度学习的混沌时间序列预测方法
CN107832789B (zh) 基于平均影响值数据变换的特征加权k近邻故障诊断方法
CN110852417B (zh) 面向物联网应用的单深度神经网络模型鲁棒性提升方法
CN114897144A (zh) 基于复值神经网络的复值时序信号预测方法
CN112348155A (zh) 一种模糊神经网络模型的优化方法及系统
CN115359334A (zh) 多任务学习深度网络的训练方法及目标检测方法、装置
TWI452529B (zh) Combined with the system equivalent model of the system and its computer program products
CN112906861A (zh) 神经网络优化方法及装置
Chen et al. Sparse kernel recursive least squares using L 1 regularization and a fixed-point sub-iteration
CN115640845A (zh) 基于生成对抗网络的图神经网络少数类别样本生成方法
CN111416595B (zh) 一种基于多核融合的大数据滤波方法
JP2002042107A (ja) ニューラルネットワークの学習方法
CN109474258B (zh) 基于核极化策略的随机傅立叶特征核lms的核参数优化方法
CN115167150B (zh) 具有未知系统动态的批次过程二维离轨策略交错q学习最优跟踪控制方法
Gunaseeli et al. A constructive approach of modified standard backpropagation algorithm with optimum initialization for feedforward neural networks
Garg et al. Revisiting neural architecture search
CN115796244A (zh) 一种超非线性输入输出系统基于cff的参数辨识方法
Deng et al. Fast forward RBF network construction based on particle swarm optimization
CN118261228A (zh) 适用于离线强化学习的无监督数据生成框架

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination