CN110866608A - 一种自适应学习率计算方法 - Google Patents
一种自适应学习率计算方法 Download PDFInfo
- Publication number
- CN110866608A CN110866608A CN201911056211.6A CN201911056211A CN110866608A CN 110866608 A CN110866608 A CN 110866608A CN 201911056211 A CN201911056211 A CN 201911056211A CN 110866608 A CN110866608 A CN 110866608A
- Authority
- CN
- China
- Prior art keywords
- current
- learning rate
- batch processing
- processing quantity
- obtaining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种自适应学习率计算方法,包括以下步骤:步骤S1:基于初始批处理数量和初始最优网络参数组合,得到二次批处理数量;步骤S2:基于二次批处理数量,得到当前的最优网络参数组合;步骤S3:基于当前的最优网络参数组合、当前的损失函数和训练数据量,得到当前的批处理数量;步骤S4:基于当前的批处理数量,得到当前的学习率;步骤S5:当前的批处理数量代替二次批处理数量,重复步骤S2‑步骤S5,直至训练模型权重收敛。与现有技术相比,避免产生劣质训练模型权重,保证所生成的训练模型权重是最优的,在围棋对弈时增加棋力,减少训练模型权重训练时间和GPU等硬件的超能损耗。
Description
技术领域
本发明涉及深度学习领域,尤其是涉及一种自适应学习率计算方法。
背景技术
人工智能(Artificial Intelligence,AI)随着人类现实场景的诸多应用得到大力的发展,围棋方面的人工智能进展也取得巨大的成果。训练模型权重是围棋AI对弈时棋力表现的关键依据,是围棋AI通过残差网络训练生成的棋力信息。
学习率是神经网络经典超参数,也是困扰神经网络训练的问题之一,因为参数不能通过常规方法学习获得。现今众多围棋AI的残差网络中训练模型权重训练的学习率是固定值,对网络训练不能根据围棋AI的环境需要(权值初始化、网络层数、残差块、批处理、训练循环次数等)而自动调整,然而学习率太大收敛快,导致训练模型权重训练网络的梯度出现爆炸现象,使得训练模型权重在最优值附近徘徊而无法收敛。学习率太小,会造成参数更新极其缓慢,收敛也相应的十分缓慢,导致训练时间变长。关键是固定值的学习率严重影响残差网络的训练,进而导致残差网络训练数据生成劣质的围棋训练模型权重规模扩大,直至导致围棋AI对弈时的棋力迅速下降,所以学习率对于残差网络训练训练模型权重性能的表现至关重要。
一般在网络训练的初期,往往设置为较大的学习率较好,因为训练模型权重距离最优值比较远,较大的学习速率可以快速靠近最优值;而训练后期,由于已经靠近最优值,此时,采用较小的学习率较好,较大的学习率,容易导致在真实最优值附近来回波动,就是无法抵达最优值。而由训练数据生成的劣质训练模型权重,会使得围棋AI在对弈时存在许多盲点,其棋力会大打折扣,而且非自适应学习率会耗费大量的训练模型权重训练时间,以及造成GPU等硬件的超能损耗。
因此,需要一种针对围棋AI训练模型权重的自适应学习率计算方法来弥补残差网络中固定学习率这一严重不足。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种自适应学习率计算方法。
本发明的目的可以通过以下技术方案来实现:
一种自适应学习率计算方法,该方法包括以下步骤:
步骤S1:基于初始批处理数量和初始最优网络参数组合,得到二次批处理数量;
步骤S2:基于二次批处理数量,得到当前的最优网络参数组合;
步骤S3:基于当前的最优网络参数组合、当前的损失函数和训练数据量,得到当前的批处理数量;
步骤S4:基于当前的批处理数量,得到当前的学习率;
步骤S5:当前的批处理数量代替二次批处理数量,重复步骤S2-步骤S5,直至训练模型权重收敛。
所述的步骤S2包括:
步骤S21:基于二次批处理数量,通过Kolmogorov定理得到网络层个数和残差块个数;
步骤S22:基于网络层个数和残差块个数,利用随机采样交叉验证方法得到当前的最优网络参数组合。
所述的通过Kolmogorov定理得到网络层个数N的公式为:
其中,折扣因子γ=10-a,a为γ所在项的分子部分紧邻数的位数减去减数位数,即a=6-4,int(·)为求整函数。
所述的通过Kolmogorov定理得到残差块个数M的公式为:
其中,折扣因子γ=10-a,a为γ所在项的分子部分紧邻数的位数减去减数位数,即a=2-1。
所述的步骤S3中当前的最优网络参数组合和当前的损失函数均与当前的批处理数量呈负相关。
所述的步骤S3中赋予当前的最优网络参数组合、当前的损失函数和训练数据量以不同的重要度,得到当前的批处理数量。
所述的当前的学习率λnow为:
λnow=λ1(1/N)
λ1=λ-(λ初×b(c/d))
其中,N为当前的批处理数量,λ为前一次循环的学习率,λ初为由初始批处理数量得到的初始学习率,b为学习率的下降倍率,c为循环次数,d为循环次数基数。
所述的训练模型权重ωj为:
其中,F(·)为批处理数量成本函数,ωj-1为前一次循环的训练模型权重,ωj为当前的训练模型权重。
与现有技术相比,本发明具有以下优点:
(1)通过当前的批处理数量,自适应调节当前的学习率,避免产生劣质训练模型权重,保证所生成的训练模型权重是最优的,在围棋对弈时增加棋力,减少训练模型权重训练时间和GPU等硬件的超能损耗。
(2)通过Kolmogorov定理求解出网络层个数和残差块个数,利用随机采样交叉验证方法可以得到当前的最优网络参数组合。
(3)通过对当前的最优网络参数组合、当前的损失函数和训练数据量设置重要度,可得到合理的当前的批处理数量。
附图说明
图1为本发明的流程图;
图2为固定学习率计算方法和自适应学习率计算方法的准确率对比图;
图3为自适应学习率计算方法的损失函数结果图;
图4为自适应学习率的平方误差结果图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
实施例
本实施例提供一种自适应学习率计算方法,如图1所示,包括以下步骤:
步骤S1:基于初始批处理数量和初始最优网络参数组合,得到二次批处理数量;
步骤S2:基于二次批处理数量,得到当前的最优网络参数组合;
步骤S3:基于当前的最优网络参数组合、当前的损失函数和训练数据量,得到当前的批处理数量;
步骤S4:基于当前的批处理数量,得到当前的学习率;
步骤S5:当前的批处理数量代替二次批处理数量,重复步骤S2-步骤S5,直至训练模型权重收敛。
具体而言,本方法创新点有以下几点:
1、步骤S1和步骤S2中,得到二次批处理数量并基于二次批处理数量,通过Kolmogorov定理得到网络层个数和残差块个数;基于网络层个数和残差块个数,利用随机采样交叉验证方法得到当前的最优网络参数组合。
依据Kolmogorov定理,任何一个连续函数都可以用一个神经网络来精确实现,而给定的神经网络由其连续函数也是可以倒推其网络参数。对给定的围棋AI训练的残差网络,其初始网络层个数、初始残差块个数以及初始批处理数量均是已知的,随着训练数据量的减少,网络层个数和残差块个数可做优化调整,这样,可以保证加速网络训练,依据Kolmogorov定理的连续函数求出调整的网络层个数和残差块个数,则残差网络的其他参数也就被完全确定下来。因此,所谓确定围棋AI残差网络的参数,就是根据给定的初始网络层个数、初始残差块个数及初始批处理数量导出随着批处理数量优化调整的网络层个数及残差块个数。随机采样交叉验证是依据某种分布对参数空间采样,随即得到参数组合方案。举例而言,在残差网络中,初始网络层个数为256,残差块个数为40,训练数据量为50万chunk,初始批处理数量为8000chunk,也就是训练完8000chunk后重新调整残差网络的参数,以此类推,每进行一次批处理数量循环后重新调整残差网络的参数。
通过Kolmogorov定理得到网络层个数N的公式为:
其中,折扣因子γ=10-a,a为γ所在项紧邻数的位数减去减数位数,即在(500000γ-8000)项中,a=6-4=2,int(·)为求整函数;当训练数据量小于初始批处理量时,不再使用上式,而是按照残差网络初始最优网络参数组合训练。
通过Kolmogorov定理得到残差块个数M的公式为:
其中,折扣因子γ=10-a,a为γ所在项紧邻数的位数减去减数位数,即在(40γ-1)中,a=2-1=1。
N不能使用时,M此时亦不能使用,且N与M均为正数。N和M范围确定后,使用随机采样交叉验证方法依据高斯分布对参数空间采样,得到当前的最优参数组合方案。高斯分布描述了对应参数的所有取值情况的可能性。这里直接使用Tensorflow Sklearn库,可以用一个字典指定参数的采样范围和分布。另外,计算预算(总共要随机采样多少个参数组合或者迭代多少次)可以使用参数n_iter来指定,针对每一个参数范围内的概率,既可以使用可能取值范围内的概率分布,也可以指定一个离散的取值列表(会被均匀采样)。对于连续取值的参数,给它指定一个连续的分布非常重要,这样可以保证充分利用随机化带来的好处,增加迭代次数,n_iter将会带来非常精准的搜索。
2、步骤S3中当前的最优网络参数组合和当前的损失函数均与当前的批处理数量呈负相关,赋予当前的最优网络参数组合、当前的损失函数和训练数据量以不同的重要度,得到当前的批处理数量。
首先得到已知的训练数据量(即训练数据总量),将训练数据以逻辑函数分配批次进行训练,其中,逻辑函数涉及当前的网络层个数、当前的残差块个数和当前的损失函数的设置。当前的网络层个数或当前的残差块个数越大,当前的批处理数量越小,反之亦然。当前的损失函数越小,当前的批处理数量越大,反之亦然。而当前的网络层个数、当前的残差块个数和当前的损失函数调整当前的批处理数量是按照设定的重要度进行,不同的重要度影响批处理数量的训练速度。举例而言,以初始的训练模型权重为-0.0009265481,由开源围棋AI Leela Zero官网上获取50万张棋谱生成24.1M的训练数据量,经参数设置,批处理数量参照17%的网络层个数比重、22%的残差块个数比重和60%的损失函数比重以及1%的折扣。
3、步骤S4中,为了能够使得围棋AI中的残差网络训练有较好的性能,需要把学习率的值设定在合适的范围内。学习率决定了训练模型权重移动到最优值的速度快慢。如果学习率过大,很可能会越过最优值;如果学习率过小,优化的效率可能过低,训练时间过长。所以自适应学习率在保证稳定训练的前提下,达到了合理的高速率,不但可以得到最优值的训练模型权重,而且减少训练时间。
通过定义残差网络训练模型,并基于当前的批处理数量调整最优的学习率。使用梯度下降法来更新训练模型权重,梯度下降法是一个可以用来最小化模型误差的训练模型权重优化算法。梯度下降法通过多次迭代,并在每一次循环中最小化成本函数来估计训练模型权重。训练模型权重更新公式表示如下:
其中,F(·)为批处理数量成本函数,ωj-1为前一次循环的训练模型权重,ωj为当前的训练模型权重,是一阶导数,λ是学习率,重复上式,直到收敛为止。对于不同批处理数量,需要调节不同的学习率,而将批处理数量成本函数F(·)处理为平方误差和时,会随着训练数据量的增多变得越来越大,准确率会下降,因此学习率需要被设定在相应更小的值上。为了解决此问题,提出一种处理方法是将学习率乘上1/N,这里的N是批处理数量。
上述内容说明学习率是训练模型权重极其重要的影响因素,在每次迭代中调节不同的学习率可以得到最优的训练模型权重。如何得到最优的训练模型权重的基本思路就是处理与训练模型权重最优值的关系。但是,问题是我们并不知道实际上的训练模型权重最优值在哪里,不知道每一次循环迭代中距离训练模型权重最优值有多远。提出的解决办法是,在每次迭代的最后,使用每次迭代得到的最小化成本函数检查误差函数的值。如果相对于上一次迭代,准确率提升,可以增大学习率,增加为训练损失值(损失函数)的10%;如果相对于上一次迭代,准确率减小(意味着跳过了最优值),那么应该重新设置上一轮迭代ωj的值,当前学习率是通过上轮训练的学习率减去学习率的损失值。
每次循环更新训练模型权重的公式变成下面的形式:
其中,λnow为:
λnow=λ1(1/N)
λ1=λ-(λ初×b(c/d))
其中,N为当前的批处理数量,λ为前一次循环的学习率,λ初为由初始批处理数量得到的初始学习率,b为学习率的下降倍率,c为循环次数(即每调用一次残差网络训练模型自增1),d为循环次数基数(设为常数),且上式中指数部分的“/”采用整除方式。
以开源围棋AI Leela Zero官网上获取50万张棋谱生成24.1M的训练数据量为例,对上述自适应学习率进行性能评估,以准确率、损失函数和平方误差和为衡量性能的指标,训练数据检测图如图2、图3和图4所示。
图2中纵轴为准确率,横轴为循环次数,浅色曲线为固定学习率的准确率曲线,深色为自适应学习率的准确率曲线。可以看出自适应学习率的准确率是平滑上升的,说明训练稳定,所训练出的训练模型权重不会致使围棋AI对弈时出现盲点。
图3中,三角形标记曲线为测试训练数据,方形标记曲线为实际训练数据。从图3中可知实际训练数据的损失函数从开始训练到80k循环次数一直减小,表示这个训练数据生成的训练模型权重越来越接近最优值,而80k循环次数之后与测试训练数据保持一致,测试训练数据生成的训练模型权重是理想的最优训练模型权重,说明自适应学习率的网络训练生成的训练模型权重全部是最优值。
图4中三角形标记曲线为测试训练数据,圆形标记曲线为测试数据的拟合曲线,方形标记曲线为实际训练数据。从图4中知道在每次迭代的最后,使用批处理数据量的最小化成本函数检查误差函数的值逐步变小,且远远低于未使用该方法的测试训练数据误差值,说明自适应学习率满足残差网络训练的环境铺设需要,极大提升了网络训练速度且保证网络训练的稳定性。
本实施例的自适应学习率计算方法具有以下优点:通过当前的批处理数量,自适应调节当前的学习率,避免产生劣质训练模型权重,保证所生成的训练模型权重是最优的,在围棋对弈时增加棋力,减少训练模型权重训练时间和GPU等硬件的超能损耗。
劣质训练模型权重会使得围棋AI在对弈时存在许多盲点,其棋力会大打折扣。围棋AI网络模型训练好后,也即是权重的保存,在对弈时,其神经网络对权重的搜索表现在棋面上是棋力的体现,则优良的神经网络权重是围棋AI对弈时棋力的支撑体现。
Claims (8)
1.一种自适应学习率计算方法,其特征在于,该方法包括以下步骤:
步骤S1:基于初始批处理数量和初始最优网络参数组合,得到二次批处理数量;
步骤S2:基于二次批处理数量,得到当前的最优网络参数组合;
步骤S3:基于当前的最优网络参数组合、当前的损失函数和训练数据量,得到当前的批处理数量;
步骤S4:基于当前的批处理数量,得到当前的学习率;
步骤S5:当前的批处理数量代替二次批处理数量,重复步骤S2-步骤S5,直至训练模型权重收敛。
2.根据权利要求1所述的一种自适应学习率计算方法,其特征在于,所述的步骤S2包括:
步骤S21:基于二次批处理数量,通过Kolmogorov定理得到网络层个数和残差块个数;
步骤S22:基于网络层个数和残差块个数,利用随机采样交叉验证方法得到当前的最优网络参数组合。
5.根据权利要求1所述的一种自适应学习率计算方法,其特征在于,所述的步骤S3中当前的最优网络参数组合和当前的损失函数均与当前的批处理数量呈负相关。
6.根据权利要求1所述的一种自适应学习率计算方法,其特征在于,所述的步骤S3中赋予当前的最优网络参数组合、当前的损失函数和训练数据量以不同的重要度,得到当前的批处理数量。
7.根据权利要求1所述的一种自适应学习率计算方法,其特征在于,所述的当前的学习率λnow为:
λnow=λ1(1/N)
λ1=λ-(λ初×b(c/d))
其中,N为当前的批处理数量,λ为前一次循环的学习率,λ初为由初始批处理数量得到的初始学习率,b为学习率的下降倍率,c为循环次数,d为循环次数基数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911056211.6A CN110866608B (zh) | 2019-10-31 | 2019-10-31 | 一种自适应学习率计算方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911056211.6A CN110866608B (zh) | 2019-10-31 | 2019-10-31 | 一种自适应学习率计算方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110866608A true CN110866608A (zh) | 2020-03-06 |
CN110866608B CN110866608B (zh) | 2022-06-07 |
Family
ID=69653543
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911056211.6A Active CN110866608B (zh) | 2019-10-31 | 2019-10-31 | 一种自适应学习率计算方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110866608B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112529328A (zh) * | 2020-12-23 | 2021-03-19 | 长春理工大学 | 一种产品性能预测方法及系统 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103971163A (zh) * | 2014-05-09 | 2014-08-06 | 哈尔滨工程大学 | 一种基于归一化最小均方自适应滤波的自适应学习率小波神经网络控制方法 |
EP3065085A1 (en) * | 2015-03-04 | 2016-09-07 | Accenture Global Services Limited | Digital image processing using convolutional neural networks |
CN106610584A (zh) * | 2015-10-27 | 2017-05-03 | 沈阳工业大学 | 一种基于神经网络与专家系统的再制造工序质量控制方法 |
CN107194432A (zh) * | 2017-06-13 | 2017-09-22 | 山东师范大学 | 一种基于深度卷积神经网络的冰箱门体识别方法及系统 |
CN108347764A (zh) * | 2018-01-23 | 2018-07-31 | 南京航空航天大学 | 基于深度学习的考场无线电作弊信号定位方法及系统 |
CN108830809A (zh) * | 2018-06-05 | 2018-11-16 | 陕西师范大学 | 一种基于膨胀卷积图像去噪方法 |
CN109117944A (zh) * | 2018-08-03 | 2019-01-01 | 北京悦图遥感科技发展有限公司 | 一种轮船目标遥感影像的超分辨率重建方法及系统 |
CN109671500A (zh) * | 2019-02-26 | 2019-04-23 | 上海交通大学 | 基于脑电图时域数据的精神分裂症辅助诊断分类方法 |
US20190138906A1 (en) * | 2017-11-06 | 2019-05-09 | International Business Machines Corporation | Reducing problem complexity when analyzing 3-d images |
CN109784242A (zh) * | 2018-12-31 | 2019-05-21 | 陕西师范大学 | 基于一维残差卷积神经网络的脑电信号去噪方法 |
CN109784490A (zh) * | 2019-02-02 | 2019-05-21 | 北京地平线机器人技术研发有限公司 | 神经网络的训练方法、装置和电子设备 |
CN110245746A (zh) * | 2019-06-19 | 2019-09-17 | 广州供电局有限公司 | 一种bp神经网络学习率的改进方法 |
CN110378205A (zh) * | 2019-06-06 | 2019-10-25 | 西安电子科技大学 | 一种基于改进型cnn网络的复杂雷达辐射源识别算法 |
CN110390691A (zh) * | 2019-06-12 | 2019-10-29 | 合肥合工安驰智能科技有限公司 | 一种基于深度学习的矿石尺度测量方法及应用系统 |
-
2019
- 2019-10-31 CN CN201911056211.6A patent/CN110866608B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103971163A (zh) * | 2014-05-09 | 2014-08-06 | 哈尔滨工程大学 | 一种基于归一化最小均方自适应滤波的自适应学习率小波神经网络控制方法 |
EP3065085A1 (en) * | 2015-03-04 | 2016-09-07 | Accenture Global Services Limited | Digital image processing using convolutional neural networks |
CN106610584A (zh) * | 2015-10-27 | 2017-05-03 | 沈阳工业大学 | 一种基于神经网络与专家系统的再制造工序质量控制方法 |
CN107194432A (zh) * | 2017-06-13 | 2017-09-22 | 山东师范大学 | 一种基于深度卷积神经网络的冰箱门体识别方法及系统 |
US20190138906A1 (en) * | 2017-11-06 | 2019-05-09 | International Business Machines Corporation | Reducing problem complexity when analyzing 3-d images |
CN108347764A (zh) * | 2018-01-23 | 2018-07-31 | 南京航空航天大学 | 基于深度学习的考场无线电作弊信号定位方法及系统 |
CN108830809A (zh) * | 2018-06-05 | 2018-11-16 | 陕西师范大学 | 一种基于膨胀卷积图像去噪方法 |
CN109117944A (zh) * | 2018-08-03 | 2019-01-01 | 北京悦图遥感科技发展有限公司 | 一种轮船目标遥感影像的超分辨率重建方法及系统 |
CN109784242A (zh) * | 2018-12-31 | 2019-05-21 | 陕西师范大学 | 基于一维残差卷积神经网络的脑电信号去噪方法 |
CN109784490A (zh) * | 2019-02-02 | 2019-05-21 | 北京地平线机器人技术研发有限公司 | 神经网络的训练方法、装置和电子设备 |
CN109671500A (zh) * | 2019-02-26 | 2019-04-23 | 上海交通大学 | 基于脑电图时域数据的精神分裂症辅助诊断分类方法 |
CN110378205A (zh) * | 2019-06-06 | 2019-10-25 | 西安电子科技大学 | 一种基于改进型cnn网络的复杂雷达辐射源识别算法 |
CN110390691A (zh) * | 2019-06-12 | 2019-10-29 | 合肥合工安驰智能科技有限公司 | 一种基于深度学习的矿石尺度测量方法及应用系统 |
CN110245746A (zh) * | 2019-06-19 | 2019-09-17 | 广州供电局有限公司 | 一种bp神经网络学习率的改进方法 |
Non-Patent Citations (3)
Title |
---|
ABHISHEK PANIGRAHI 等: "Non-Gaussianity of Stochastic Gradient Noise", 《HTTPS://ARXIV.ORG/PDF/1910.09626.PDF》 * |
B.CHANDRA 等: "Deep learning with adaptive learning rate using laplacian score", 《EXPERT SYSTEMS WITH APPLICATIONS》 * |
蔡满军 等: "一种改进BP网络学习算法", 《计算机仿真》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112529328A (zh) * | 2020-12-23 | 2021-03-19 | 长春理工大学 | 一种产品性能预测方法及系统 |
CN112529328B (zh) * | 2020-12-23 | 2023-08-22 | 长春理工大学 | 一种产品性能预测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110866608B (zh) | 2022-06-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110689109B (zh) | 神经网络方法和装置 | |
CN110969251B (zh) | 基于无标签数据的神经网络模型量化方法及装置 | |
CN110110930A (zh) | 一种改进鲸鱼算法的循环神经网络短期电力负荷预测方法 | |
CN110730046B (zh) | 基于深度迁移学习的跨频段频谱预测方法 | |
CN111985523A (zh) | 基于知识蒸馏训练的2指数幂深度神经网络量化方法 | |
CN111353582A (zh) | 一种基于粒子群算法的分布式深度学习参数更新方法 | |
US20210089832A1 (en) | Loss Function Optimization Using Taylor Series Expansion | |
CN109829420A (zh) | 一种基于改进蚁狮优化算法的高光谱图像的特征选择方法 | |
CN109947940B (zh) | 文本分类方法、装置、终端及存储介质 | |
CN109002889A (zh) | 自适应迭代式卷积神经网络模型压缩方法 | |
CN113627066A (zh) | 一种水库库岸滑坡的位移预测方法 | |
CN108805257A (zh) | 一种基于参数范数的神经网络量化方法 | |
CN104504442A (zh) | 神经网络优化方法 | |
CN112686384B (zh) | 一种自适应比特位宽的神经网络量化方法及其装置 | |
CN110991621A (zh) | 一种基于通道数搜索卷积神经网络的方法 | |
CN111695687A (zh) | 训练用于图像识别的神经网络的方法和装置 | |
CN112840358A (zh) | 用于深度神经网络的基于光标的自适应量化 | |
CN110633859A (zh) | 一种两阶段分解集成的水文序列预测方法 | |
CN110222816B (zh) | 深度学习模型的建立方法、图像处理方法及装置 | |
CN110866608B (zh) | 一种自适应学习率计算方法 | |
CN109783769B (zh) | 一种基于用户项目评分的矩阵分解方法和装置 | |
CN115908909A (zh) | 基于贝叶斯卷积神经网络的进化神经架构搜索方法及系统 | |
CN111126560A (zh) | 一种基于云遗传算法优化bp神经网络的方法 | |
CN116660756A (zh) | 基于条件生成对抗网络的电池容量衰减曲线生成方法 | |
CN114830137A (zh) | 用于生成预测模型的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |