CN111680783A - 基于新型小波激励函数的深度学习训练和优化方法及系统 - Google Patents

基于新型小波激励函数的深度学习训练和优化方法及系统 Download PDF

Info

Publication number
CN111680783A
CN111680783A CN202010450014.9A CN202010450014A CN111680783A CN 111680783 A CN111680783 A CN 111680783A CN 202010450014 A CN202010450014 A CN 202010450014A CN 111680783 A CN111680783 A CN 111680783A
Authority
CN
China
Prior art keywords
neural network
deep neural
training
function
wavelet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010450014.9A
Other languages
English (en)
Inventor
罗高涌
曹海涛
甘华国
胡宇鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangmen Huaen Electronic Research Institute Co ltd
Original Assignee
Jiangmen Huaen Electronic Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangmen Huaen Electronic Research Institute Co ltd filed Critical Jiangmen Huaen Electronic Research Institute Co ltd
Priority to CN202010450014.9A priority Critical patent/CN111680783A/zh
Publication of CN111680783A publication Critical patent/CN111680783A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于新型小波激励函数的深度学习训练和优化方法及系统，其中方法包括：将训练数据输入至深度神经网络进行训练；将待处理数据输入至已训练的深度神经网络处理，输出处理结果；其中，深度神经网络包括输入层、隐藏层和输出层，深度神经网络的激励函数采用紧框架高斯小波函数。能使数据能量的传播是恒定的，不会使数据在传播过程中发散，确保训练过程收敛；使深度神经网络具有强非线性拟合特性而能够快速收敛，同时还克服了深度神经网络中的梯度不稳定性而容易导致训练过程梯度爆炸、消失或过拟合的问题。从而能对大量数据完成快速训练且训练精度高，提高数据处理效果。

Description

基于新型小波激励函数的深度学习训练和优化方法及系统
技术领域
本发明涉及深度神经网络领域，特别是基于新型小波激励函数的深度学习训练和优化方法及系统。
背景技术
目前，深度神经网络已经得到广泛的应用，被应用到各行各业和日常生活中，提高了生活生产的智能化水平。例如在信息领域、医学领域、交通领域、农业领域等方面的应用。但是，深度神经网络存在以下的问题：梯度的不稳定性而容易导致梯度爆炸或消失、过拟合；训练速度慢、数据在传播过程中易发散、训练精度低。导致深度神经网络训练精度低，且训练效率低。
发明内容
本发明的目的在于至少解决现有技术中存在的技术问题之一，提供基于新型小波激励函数的深度学习训练和优化方法及系统。
本发明解决其问题所采用的技术方案是：
本发明的第一方面，提供了基于新型小波激励函数的深度学习训练和优化方法，包括以下步骤：
将训练数据输入至深度神经网络进行训练；
将待处理数据输入至已训练的所述深度神经网络处理，输出处理结果；
其中，所述深度神经网络包括输入层、隐藏层和输出层，所述深度神经网络的激励函数采用紧框架高斯小波函数。
根据本发明的第一方面，所述紧框架高斯小波函数具体为具有紧框架的墨西哥帽高斯小波。
根据本发明的第一方面，在前向传播过程中，所述紧框架高斯小波函数的式子具体为：
Figure BDA0002507179460000021
根据本发明的第一方面，在反向传播过程中，所述紧框架高斯小波函数的式子具体为：
Figure BDA0002507179460000022
本发明的第二方面，基于新型小波激励函数的深度学习训练和优化系统，包括：
训练模块，用于将训练数据输入至深度神经网络进行训练；
处理模块，用于将待处理数据输入至已训练的所述深度神经网络处理，输出处理结果；
其中，所述深度神经网络包括输入层、隐藏层和输出层，所述深度神经网络的激励函数采用紧框架高斯小波函数。
根据本发明的第二方面，所述紧框架高斯小波函数具体为具有紧框架的墨西哥帽高斯小波。
根据本发明的第二方面，在前向传播过程中，所述紧框架高斯小波函数的式子具体为：
Figure BDA0002507179460000031
根据本发明的第二方面，在反向传播过程中，所述紧框架高斯小波函数的式子具体为：
Figure BDA0002507179460000032
上述方案至少具有以下的有益效果：采用紧框架高斯小波作为深度神经网络的激励函数，能使数据能量的传播是恒定的，不会使数据在传播过程中发散，确保训练过程收敛；使深度神经网络具有强非线性拟合特性而能够快速收敛，同时还克服了深度神经网络中的梯度不稳定性而容易导致训练过程梯度爆炸或消失、过拟合的问题。从而使深度神经网络能对大量数据完成快速训练且训练精度高，提高数据处理效果。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
下面结合附图和实例对本发明作进一步说明。
图1是本发明实施例基于新型小波激励函数的深度学习训练和优化方法的流程图；
图2是深度神经网络的基本结构图；
图3是前向传播过程的紧框架高斯小波函数的波形图；
图4是反向传播过程的紧框架高斯小波函数的波形图；
图5是采用紧框架高斯小波函数的深度神经网络与采用其他函数作为激励函数的深度神经网络对于具有三层隐藏层的深度神经网络的训练损失曲线对比图；
图6是采用紧框架高斯小波函数的深度神经网络与采用其他函数作为激励函数的深度神经网络对于具有十层隐藏层的深度神经网络的训练损失曲线对比图；
图7是采用紧框架高斯小波函数的深度神经网络与采用其他函数作为激励函数的深度神经网络对于具有三层隐藏层的深度神经网络的Jacobian矩阵对比图；
图8是采用紧框架高斯小波函数的深度神经网络与采用其他函数作为激励函数的深度神经网络对于具有十层隐藏层的深度神经网络的Jacobian矩阵对比图。
具体实施方式
本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
参照图1，本发明的某些实施例，提供了基于新型小波激励函数的深度学习训练和优化方法，包括以下步骤：
步骤S100、将训练数据输入至深度神经网络进行训练；
步骤S200、将待处理数据输入至已训练的深度神经网络处理，输出处理结果；
其中，参照图2，深度神经网络包括输入层10、隐藏层20和输出层30，深度神经网络的激励函数采用紧框架高斯小波函数。
具体地，紧框架高斯小波函数具体为具有紧框架的墨西哥帽高斯小波。
进一步，在前向传播过程中，紧框架高斯小波函数的式子具体为：
Figure BDA0002507179460000051
其波形参照图3。
进一步，在反向传播过程中，紧框架高斯小波函数的式子具体为：
Figure BDA0002507179460000052
其波形参照图4。
在步骤S100中，输入训练数据至深度神经网络进行训练时，通常是使用优化算法来优化权重值w以及超参数θ，以最佳地将输入映射到输出。但由于欺骗性的局部极小值，训练过程中难以得到好的权重值w或超参数θ，也可能导致训练时间的加长，也可以导致训练失败。
对于深度神经网络，从输入层10向隐藏层20，梯度趋于变小。由于梯度的不稳定性，就容易产生梯度消失或者梯度爆炸的问题。
在步骤S100中，对于深度神经网络的训练过程，包括前向传播过程和反向传播过程。前向传播过程的目的是基于预定义的损失函数计算深度神经网络模型的输出与实际真值之间的误差值。而在反向传播过程中，主要是更新权重值w和偏差。从损失函数得到的误差值从输出层30传播回输入层10，然后依次算每个隐藏层20的误差，并根据各自的误差值计算可训练参数的梯度，最后使用不同的基于梯度的优化器更新权重值w和偏差。
对于深度神经网络，能够将输入数据非线性地映射到超平面上，以便可以检测输入数据中隐藏的更多特征。而这种非线性拟合能力主要来自于深度神经网络的激励函数。
对于深度神经网络，采用紧框架高斯小波函数作为激励函数。其输出在任何位置上的每个点都是高斯型的。其可以建立深度神经网络模型的性能与超参数之间的关系，通过贝叶斯优化方法解决由先验到更新优化方程的后验，从而找到优化的超参数，提升深度神经网络模型的各项性能指标。另外，由于紧框架高斯小波函数的稀疏性，训练过程中将可以使部分权重值设为零，这既可以减少计算的复杂度，也可以减少层与层之间的连接，从而简化了深度神经网络的结构，提高了训练速度。紧框架高斯小波函数的能量是恒定的并且取决于框架边界，紧框架高斯小波函数的能量可以具体表示为：
Figure BDA0002507179460000061
其中，A和B分别是紧框架高斯小波函数的上边界和下边界，a0是放大参数a离散化得到的参数，b0是移动参数b离散化得到的参数。是当紧框架高斯小波函数作为深度神经网络的激励函数时，数据的能量的传播是恒定的，不会使数据传播过程发散，从而确保了深度神经网络在训练过程中的收敛性。
深度神经网络的输入输出关系可以表示为：y＝Ax+e，其中A为权重集，e为误差。则在训练中有xi＝wijxi-1+bi和a＝f(xi-1)，权重集的权重值的逐步更新可以使得误差最小。即当权重按梯度下降方向变化时，作为更新和调整权重的一种方法，权重的调整是根据每一层输入与实际输出之间的差异大小而变化。这可以加速收敛过程，其中当差异较大时采取较大的调整，而在差异较小时采取较小的调整。这也可以避免发散，发散发生的过程则是由于调整太大或太小。
紧框架高斯小波函数作为激励函数，具有良好的高斯过程。高斯过程对观察数据采用贝叶斯方法并提供了完整的后验概率分布的功能。在贝叶斯推理中，概率分布描述了对一个有限维数变量的值的可能性。高斯过程是函数高斯分布的扩展，是函数空间的分布，其输出在任何位置上的每个点都是高斯型。与高斯过程一样，高斯分布完全取决于其均值和方差，均值m(x)和方差k(x)都是函数，在输入空间上可以变化。另外，高斯过程还可以建立深度神经网络模型的性能与超参数(如深度神经网络的学习率、隐藏层数等)之间的关系，通过贝叶斯优化方法解决由先验到更新优化方程的后验，从而找到优化的超参数，提升深度神经网络模型的各项性能指标。
对于输入位置x的函数值f,假如未知变量f的先验分布是p(f),则建立输入x与观察输出y之间关系得函数变量f的似然是p(y|f,x)。根据贝叶斯规则，在给定观察结果的情况下，可以更新后验概率为：
Figure BDA0002507179460000081
p(y|x)则为了确保后验概率的归一化。则可以得出函数值在特定输入f(x)上的概率分布。高斯过程的所有函数值均是高斯型，因此有
Figure BDA0002507179460000082
其中x1,…,xN是输入值，则该式可以表示为
Figure BDA0002507179460000083
根据高斯过程在函数值上的先验分布
Figure BDA0002507179460000084
得到后验分布为
Figure BDA0002507179460000085
Figure BDA0002507179460000086
可以得出，根据先验分布按贝叶斯规则和高斯过程推导出后验分布，对于未知变量，是不会出现数据过拟合的问题，并且可以实现贝叶斯特征空间的回归，且特征空间也是高斯型的。
高斯过程对于训练数据和测试数据，其分布是多维的高斯，依据训练数据的处理可以估算预测分布。其对于超参数θ＝[θ1,θ2,…,θN′]，其后验分布是
Figure BDA0002507179460000087
通过贝叶斯优化方法可以得到由先验分布到更新优化方程的后验分布而获得最优值。采用高斯先验分布可以通过设置比较小的权重作为较可能的先验分布，使深度神经网络模型变化更平滑，从而克服过拟合的问题，并使深度神经网络模型朝着偏差最小的方向快速收敛。
采用紧框架高斯小波函数作为激励函数，紧框架高斯小波函数的小波变换的性质使深度神经网络训练提速和具有降噪的效果，从而能更准确地建立输入输出模型。小波是各种函数空间的无条件基，这意味着将信号的能量压缩成由小波变换得到的少量系数，具有稀疏性。小波域中的这些系数能够表示原始数据，这有助于降低计算复杂度和所需的硬件资源。
小波变换被定义为信号x(t)与双参数族ψa,b(t)的内积：
Figure BDA0002507179460000091
其中ψa,b(t)是小波基函数ψ(t)的放大和移动，
Figure BDA0002507179460000092
是ψ的复共轭。
ψa,b(t)具体为
Figure BDA0002507179460000093
其中b∈R，a∈R+且a≠0。ψ(t)满足
Figure BDA0002507179460000094
是ψ(t)的傅立叶变换的频率描述，有
Figure BDA0002507179460000095
对于深度神经网络，第l个隐藏层的logits数据通过小波逆变换可以表示为
Figure BDA0002507179460000096
由于深度神经网络的训练过程就是要求出最佳权重值，小波变换的稀疏性使深度神经网络的训练过程将的部分权重值设为零，这可以减少计算的复杂度，也可以减少层与层之间的连接，从而简化了深度神经网络的结构，提高了训练速度。
对于紧框架高斯小波函数，框架是定义在离散小波族上的。离散小波族表示为：ψm,n(t)＝a0 -m/2ψ(a0 -mt-nb0)。当存在0<A,B<∞时，如果有A||x||2≤∑m,n|〈x,ψm,n>|2≤B||x||2，则构成一个框架，此时A和B分别是框架的上边界和下边界。当A＝B时，有紧框架。离散小波族的能量表示为：
Figure BDA0002507179460000101
当m＝1时，
Figure BDA0002507179460000102
对于ω≠0，如果ψm,n构成以A和B为边界的框架，则有
Figure BDA0002507179460000103
当m＝1时，有
Figure BDA0002507179460000104
对于1≤|ω|≤a0，可以得到
Figure BDA0002507179460000105
因此有
Figure BDA0002507179460000106
Figure BDA0002507179460000107
则当A＝B时，则紧框架高斯小波函数的能量表示为：
Figure BDA0002507179460000108
可以得出，紧框架高斯小波函数是恒定的并且取决于框架边界。当使用紧框架高斯小波函数作为深度神经网络的激励函数和微分函数时，信号能量的传播是恒定的，不会使信号传播过程发散，从而确保收敛。
对于具有紧框架的墨西哥帽高斯小波，其归一化形式可以表示为
Figure BDA0002507179460000109
和
Figure BDA00025071794600001010
其中泛数‖ψ‖＝1,
Figure BDA00025071794600001011
并且
Figure BDA00025071794600001012
则小波框架为ψm,n(t)＝a0 -m/2ψ(a0 -mt-nb0)。
当
Figure BDA00025071794600001013
b0＝0.25,m＝1,n＝1，此时A＝B，则在前向传播过程中，紧框架高斯小波函数的式子具体为：
Figure BDA0002507179460000111
在反向传播过程中，所述紧框架高斯小波函数的式子具体为：
Figure BDA0002507179460000112
两者均为高斯型，其中fmexh(x)的均值和方差分别是0和0.05，gmexh(x)的均值和方差分别是0和0.088。
用紧框架高斯小波函数的深度神经网络，与采用其他函数作为激励函数的深度神经网络进行对比，例如采用了Morlet函数、sigmoid函数、ReLU函数、LeReLU函数和ELU函数。采用多个顺序数据样本作为输入。参照图5，可以看出，对于具有三层隐藏层20的深度神经网络，采用紧框架高斯小波函数的深度神经网络相比其他深度神经网络，性能最好且最稳定。在训练过程中能快速使损失趋于零且一直维持于零，波动小。参照图6，同样地，可以看出，对于具有十层隐藏层20的深度神经网络，采用紧框架高斯小波函数的深度神经网络相比其他深度神经网络，性能最好且最稳定。
采用Jacobian矩阵来量化深度神经网络模型各层对的分布的变化，从而描述训练过程的稳定性。参照图7，可以看出，对于具有三层隐藏层20的深度神经网络，采用紧框架高斯小波函数的深度神经网络，相比采用其他函数作为激励函数的深度神经网络，具有更高的稳定性。参照图8，同样地，可以看出，对于具有十层隐藏层20的深度神经网络，采用紧框架高斯小波函数的深度神经网络，相比采用其他函数作为激励函数的深度神经网络，具有更高的稳定性。
综合比较，无论对于具有三层隐藏层20的深度神经网络还是具有十层隐藏层20的深度神经网络，采用紧框架高斯小波函数的深度神经网络都具有最好且稳定的表现；Morlet函数仅在具有三层隐藏层20的深度神经网络作为激励函数使深度神经网络收敛；ReLU函数和LeReLU函数仅在具有十层隐藏层20的深度神经网络作为激励函数使深度神经网络收敛；ELU函数和sigmoid函数对于以上两种深度神经网络均表现不佳。
综上，采用紧框架高斯小波作为深度神经网络的激励函数，能使数据能量的传播是恒定的，不会使数据在传播过程中发散，确保训练过程收敛；使深度神经网络具有强非线性拟合特性而能够快速收敛，同时还克服了深度神经网络中的梯度不稳定性而容易导致训练过程梯度爆炸或消失、过拟合的问题。从而使深度神经网络能对大量数据完成快速训练且训练精度高，提高数据处理效果。
对于该数据处理方法，可以应用到大数据场景上，例如人脸识别、无人机导航等方面，提高了数据训练的速度和精度，同样使后续的数据处理的速度和精度得到显著提升。
本发明的某些实施例，提供了基于新型小波激励函数的深度学习训练和优化系统，包括：
训练模块，用于将训练数据输入至深度神经网络进行训练；
处理模块，用于将待处理数据输入至已训练的深度神经网络处理，输出处理结果；
其中，深度神经网络包括输入层10、隐藏层20和输出层30，深度神经网络的激励函数采用紧框架高斯小波函数。
具体地，紧框架高斯小波函数具体为具有紧框架的墨西哥帽高斯小波。
进一步，在前向传播过程中，紧框架高斯小波函数的式子具体为：
Figure BDA0002507179460000131
进一步，在反向传播过程中，紧框架高斯小波函数的式子具体为：
Figure BDA0002507179460000132
本发明的某些实施例，提供了电子设备，电子设备包括：
存储器，存储至少一个指令；及
处理器，执行存储器中存储的指令以实现如方法实施例所述的数据处理方法。
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现电子设备的各种功能。存储器可主要包括存储程序区和存储数据区。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡，安全数字卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
存储器可以是电子设备的外部存储器和/或内部存储器。进一步地，存储器可以是集成电路中没有实物形式的具有存储功能的电路，如RAM、FIFO等。或者，存储器也可以是具有实物形式的存储器，如内存条、TF卡等等。
处理器执行电子设备的操作系统以及安装的各类应用程序。处理器执行应用程序以实现方法实施例中的步骤。或者，处理器执行计算机程序时实现装置实施例中各模块的功能。
本发明的某些实施例，提供了存储介质，存储介质存储有可执行指令，可执行指令能被电子设备执行，使电子设备执行如方法实施例所述的数据处理方法。
存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

Claims (8)

1.基于新型小波激励函数的深度学习训练和优化方法，其特征在于，包括以下步骤：
将训练数据输入至深度神经网络进行训练；
将待处理数据输入至已训练的所述深度神经网络处理，输出处理结果；
其中，所述深度神经网络包括输入层、隐藏层和输出层，所述深度神经网络的激励函数采用紧框架高斯小波函数。
2.根据权利要求1所述的基于新型小波激励函数的深度学习训练和优化方法，其特征在于，所述紧框架高斯小波函数具体为具有紧框架的墨西哥帽高斯小波。
3.根据权利要求2所述的基于新型小波激励函数的深度学习训练和优化方法，其特征在于，在前向传播过程中，所述紧框架高斯小波函数的式子具体为：
Figure FDA0002507179450000011
Figure FDA0002507179450000012
4.根据权利要求2所述的基于新型小波激励函数的深度学习训练和优化方法，其特征在于，在反向传播过程中，所述紧框架高斯小波函数的式子具体为：
Figure FDA0002507179450000013
Figure FDA0002507179450000024
5.基于新型小波激励函数的深度学习训练和优化系统，其特征在于，包括：
训练模块，用于将训练数据输入至深度神经网络进行训练；
处理模块，用于将待处理数据输入至已训练的所述深度神经网络处理，输出处理结果；
其中，所述深度神经网络包括输入层、隐藏层和输出层，所述深度神经网络的激励函数采用紧框架高斯小波函数。
6.根据权利要求5所述的基于新型小波激励函数的深度学习训练和优化系统，其特征在于，所述紧框架高斯小波函数具体为具有紧框架的墨西哥帽高斯小波。
7.根据权利要求6所述的基于新型小波激励函数的深度学习训练和优化系统，其特征在于，在前向传播过程中，所述紧框架高斯小波函数的式子具体为：
Figure FDA0002507179450000021
Figure FDA0002507179450000022
8.根据权利要求6所述的基于新型小波激励函数的深度学习训练和优化系统，其特征在于，在反向传播过程中，所述紧框架高斯小波函数的式子具体为：
Figure FDA0002507179450000023
CN202010450014.9A 2020-05-25 2020-05-25 基于新型小波激励函数的深度学习训练和优化方法及系统 Pending CN111680783A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010450014.9A CN111680783A (zh) 2020-05-25 2020-05-25 基于新型小波激励函数的深度学习训练和优化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010450014.9A CN111680783A (zh) 2020-05-25 2020-05-25 基于新型小波激励函数的深度学习训练和优化方法及系统

Publications (1)

Publication Number Publication Date
CN111680783A true CN111680783A (zh) 2020-09-18

Family

ID=72453795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010450014.9A Pending CN111680783A (zh) 2020-05-25 2020-05-25 基于新型小波激励函数的深度学习训练和优化方法及系统

Country Status (1)

Country Link
CN (1) CN111680783A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787517A (zh) * 2016-03-11 2016-07-20 西安电子科技大学 基于小波稀疏自编码器的极化sar图像分类方法
CN106955112A (zh) * 2017-03-17 2017-07-18 泉州装备制造研究所 基于量子小波神经网络模型的脑电波情绪认知方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787517A (zh) * 2016-03-11 2016-07-20 西安电子科技大学 基于小波稀疏自编码器的极化sar图像分类方法
CN106955112A (zh) * 2017-03-17 2017-07-18 泉州装备制造研究所 基于量子小波神经网络模型的脑电波情绪认知方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
薛美盛 等: "小波神经网络预测控制在加热炉炉温控制中的应用", 冶金自动化, no. 05, 10 September 2018 (2018-09-10), pages 1 - 5 *
郑勋烨: "小波理论及其在图像处理中的应用", 31 August 2018, 西安交通大学出版社, pages: 9 *

Similar Documents

Publication Publication Date Title
Hsieh Nonlinear canonical correlation analysis by neural networks
Zhang et al. Imbalanced data classification based on scaling kernel-based support vector machine
Kulis et al. Low-Rank Kernel Learning with Bregman Matrix Divergences.
US8527432B1 (en) Semi-supervised learning based on semiparametric regularization
CN111025914B (zh) 基于通信受限的神经网络系统远程状态估计方法及装置
Zhang et al. A novel set-membership estimation approach for preserving security in networked control systems under deception attacks
Van Leeuwen et al. Assimilating data into scientific models: An optimal coupling perspective
Yu et al. Toward faster and simpler matrix normalization via rank-1 update
Shirvani Novel solutions and applications of the object partitioning problem
Lu et al. Radial basis function neural network based on an improved exponential decreasing inertia weight‐particle swarm optimization algorithm for AQI prediction
Zhu et al. Augmented online sequential quaternion extreme learning machine
Xu et al. Uncoupled regression from pairwise comparison data
CN111680783A (zh) 基于新型小波激励函数的深度学习训练和优化方法及系统
Unceta et al. Sampling unknown decision functions to build classifier copies
Smith et al. Faster variational quantum algorithms with quantum kernel-based surrogate models
Reddy et al. Modelling and control of nonlinear resonating processes: part I—system identification using orthogonal basis function
Chen et al. Clustering algorithm of density difference optimized by mixed teaching and learning
Zhang et al. Stabilize deep ResNet with a sharp scaling factor τ
Kůrková Neural network learning as an inverse problem
Er et al. A systematic method to guide the choice of ridge parameter in ridge extreme learning machine
Liu et al. A convex-nonconvex strategy for grouped variable selection
Tsai et al. A novel type-2 fuzzy identification method based on the improved membership function
Bhaskar et al. Managing data in SVM supervised algorithm for data mining technology
Ma et al. Robust consensus control of nonlinear multi‐agent systems based on convergence rate estimation
Chaudhary et al. Community SOM (CSOM): an improved self-organizing map learning technique

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination