CN111814963A - 一种基于深度神经网络模型参数调制的图像识别方法 - Google Patents
一种基于深度神经网络模型参数调制的图像识别方法 Download PDFInfo
- Publication number
- CN111814963A CN111814963A CN202010693052.7A CN202010693052A CN111814963A CN 111814963 A CN111814963 A CN 111814963A CN 202010693052 A CN202010693052 A CN 202010693052A CN 111814963 A CN111814963 A CN 111814963A
- Authority
- CN
- China
- Prior art keywords
- network
- curvature
- parameter
- deep neural
- parameters
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000003062 neural network model Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 53
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 238000005457 optimization Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 32
- 238000002474 experimental method Methods 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 abstract description 2
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Abstract
本发明涉及一种基于深度神经网络模型参数调制的图像识别方法，包括：基于随机初始化的深度神经网络模型，利用前向传播得到一批训练样本对应的损失函数loss值；利用梯度计算函数获得所述网络的一阶梯度和二阶梯度；根据所述网络的一阶梯度和二阶梯度以及所述损失函数loss值计算出各层网络参数对应的曲率；对所述各层网络参数对应的曲率进行分段调制后计算出对应的曲率半径，对各层网络参数进行更新；输入下一批训练样本，重复对网络参数进行迭代优化，直至深度神经网络模型收敛；将待识别图像输入所述优化训练后的深度神经网络模型，得到识别出的图像。本发明解决了现有深度神经网络的训练性能随着批数量的增大而逐渐变差的问题。
Description
技术领域
本发明涉及深度学习技术领域，尤其涉及一种基于深度神经网络模型参数调制的图像识别方法。
背景技术
在深度学习技术领域，如何有效地更新网络参数是核心问题之一，现有的梯度更新方法是以随机梯度下降法(SGD)为基础，辅以多种优化方法，比如Adagrad、RMSprop、Adam等，这些方法仅利用了神经网络的一阶梯度信息，而不考虑二阶梯度信息，因此无法获取每个网络参数所处损失函数曲线的局部曲率特性，进而所有网络参数只能使用一个相同的学习率，更新参数的方式较为粗放。此网络参数的更新方式的好处是带有随机性，当网络参数在损失曲线上所处位置附近存在噪声时，有很大几率跳出该局部最优点，同时不利之处在于当网络梯度的分布很不均匀时，将导致部分网络参数因学习率不匹配而不能得到有效更新，这种不利效应随着网络训练的批数量(batch size)的增大而更加明显，导致网络训练结果也逐渐变差。
发明内容
鉴于上述的分析，本发明旨在提供一种基于深度神经网络模型参数调制的图像识别方法，以解决在现有网络参数调制下，深度神经网络模型的训练性能随着批数量的增大而逐渐变差的问题。
本发明的目的主要是通过以下技术方案实现的：
本发明提供了一种基于深度神经网络模型参数调制的图像识别方法，包括以下步骤：
S1，对深度神经网络模型的各层网络参数进行随机初始化；
S2，基于所述深度神经网络模型，利用前向传播得到图像数据集的一批训练样本对应的损失函数loss值，并利用梯度计算函数获得网络的一阶梯度和二阶梯度；
S3，根据所述网络的一阶梯度和二阶梯度以及所述训练样本对应的损失函数loss值计算出各层网络参数对应的曲率；
S4，对所述各层网络参数对应的曲率进行分段调制后计算出对应的曲率半径，根据所述对应的曲率半径对各层网络参数进行更新；
S5，输入图像数据集的下一批训练样本，返回执行S2、S3、S4，对网络参数进行迭代优化训练，直至所述深度神经网络模型收敛；
S6，将待识别图像输入所述各层网络参数更新后的深度神经网络模型，得到识别出的图像。
进一步地，所述S4中根据所述对应的曲率半径对各层网络参数进行更新包括：
按照公式wi′＝wi-Δwi计算网络参数的更新值，其中，wi为第i个网络参数，Δwi为与wi对应的网络参数更新步长，
超参数g用以辅助设置学习率，gRi为学习率，Ri为对应的曲率半径，L为所述损失函数loss值。
进一步地，所述S4中对所述各层网络参数对应的曲率按照如下任一项公式进行分段调制：
其中，a为预先定义的一个网络超参数，b为用于截断时引入的网络超参数，ki为第i个网络参数对应的曲率，
为平均曲率。
进一步地，所述对应的曲率半径Ri的计算按照如下任一项公式：
其中，a和b为网络超参数，ki为第i个网络参数对应的曲率，
为平均曲率。
进一步地，所述第i个网络参数对应的曲率的计算公式如下：
或简化为
其中，L、wi、ki分别为损失函数loss值、第i个网络参数和对应的曲率；
为第i个网络参数的一阶梯度，
为第i个网络参数的二阶梯度。
进一步地，所述平均曲率
的计算公式如下：
或简化为
其中，N为用以计算平均曲率的参数集合中的元素数量，L、wi分别为损失函数loss值和第i个网络参数。
进一步地，所述S1中对深度神经网络模型的各层网络参数进行随机初始化得到第i个网络参数wi的初始化结果，其中，i为网络参数编号。
进一步地，所述S1中利用前向传播得到训练样本对应的损失函数loss值包括：设置训练平台以及包括batch size、epoch、学习率、momentum、weight decay、dropout、optimizer在内的参数；将图像数据集按照设置好的epoch和batch size导入到所述深度神经网络模型，利用所述训练平台进行自动前向传播，得到的结果为当前网络中数据样本的损失函数loss值。
进一步地，利用所述训练平台的反向传播函数backward计算一阶梯度
以及所述训练平台的autograd机制计算二阶梯度
进一步地，所述超参数g、a和b均为预设值，根据实际实验进行调整。
本发明技术方案的有益效果如下：本发明提供了一种基于深度神经网络模型参数调制的图像识别方法，通过结合网络随机性和损失函数曲率特性进行网络参数更新。一方面，通过计算网络中每层参数所处损失曲线位置处的曲率半径，如果曲率半径不小于平均曲率半径的某一预设比例值，则通过该曲率半径来决定每个参数的学习率。另一方面，对曲率半径小于平均曲率半径的某一预设比例值的网络参数，按照该层网络的平均曲率半径设置学习率，以使其能够跳出所处的较小曲率半径环境。对于每个网络参数，最终其学习率是由其自身的曲率半径和该层网络的平均曲率半径之间的数值大小关系决定的，利用该学习率与对应梯度的乘积对网络参数进行更有效地自适应性更新，能够自动选取最合适的学习率，兼具高性能、快速收敛和鲁棒性等优点。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
图1为本发明实施例的一种基于深度神经网络模型参数调制的图像识别方法；
图2为本发明实施例的深度学习训练框架图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
本发明的一个具体实施例，如图1所示，公开了一种基于深度神经网络模型参数调制的图像识别方法，包括以下步骤：
S1，对深度神经网络模型的各层网络参数进行随机初始化；
S2，基于所述深度神经网络模型，利用前向传播得到图像数据集的一批训练样本对应的损失函数loss值，并利用梯度计算函数获得网络的一阶梯度和二阶梯度；
S3，根据所述网络的一阶梯度和二阶梯度以及所述训练样本对应的损失函数loss值计算出各层网络参数对应的曲率；
S4，对所述各层网络参数对应的曲率进行分段调制后计算出对应的曲率半径，根据所述对应的曲率半径对各层网络参数进行更新；
S5，输入图像数据集的下一批训练样本，返回执行S2、S3、S4，对网络参数进行迭代优化训练，直至所述深度神经网络模型收敛；
S6，将待识别图像输入所述各层网络参数更新后的深度神经网络模型，得到识别出的图像。
与现有技术相比，本发明技术方案选择具有大的曲率半径的网络参数以加速训练过程，又通过加大小值曲率半径参数的学习率来跳出噪声、小的局部最优点等不利位置，更好地搜寻全局最优点，提高了网络训练的鲁棒性和训练结果，尤其适用于大batch size情况的网络训练。
具体实施例，为计算所有网络参数的曲率半径，在计算一阶梯度的基础上，还需要计算二阶梯度，这是与传统SGD等梯度更新方法的不同点之一。
按照以下公式(1)计算第i个网络参数对应的曲率ki，
其中，L、wi、ki分别为损失函数loss值、第i个网络参数和对应的曲率。
如果各网络梯度的数值与1相比都非常小，那么公式(1)可简化为如下公式(2)：
相应地计算各层网络参数的平均曲率
如式(3)，
同样如果网络梯度的数值与1相比都非常小，那么公式(3)相应地可简化为如下公式(4)：
其中，N为用以计算平均曲率的参数集合中的元素数量，常见的集合有网络的层(layer)、通道(channel)、整体(network)等。
具体实施例，在获得网络参数的曲率之后，对大值曲率和小值曲率的参数分别设置学习率，实现不同的参数更新策略。此处需要先定义一个合理的网络超参数a，用于按如下公式(5)或(6)划分各层网络参数的曲率范围，即
或
a的取值默认为1.0，可通过实验进行调整。
为了防止曲率值接近于0而导致计算的曲率半径变为极大，引入超参数b对曲率进行截断，即
或
或
或
b的取值默认设为0.1，可通过实验进行调整。
在计算得到曲率之后，可以计算对应的曲率半径Ri，
上式(11)对应公式(7)，对于公式(8-10)，同样按照曲率和曲率半径的数学关系进行转换，得到公式(12-14)：
或
或
在获得定制化的曲率半径之后，下式(15)给出了本发明的网络参数更新方式，
其中，Δwi为与wi对应的更新步长，超参数g用以辅助设置学习率，默认值取为g＝1.0，可根据实际训练进行调整，gRi项可视为SGD方法中的学习率。
最后，根据下式(16)计算网络参数的新值wi′，
wi′＝wi-Δwi (16)
本发明的一个具体实施例，所述S1中对深度神经网络模型的各层网络参数进行随机初始化得到第i个网络参数wi的初始化结果，其中，i为网络参数编号。
本发明的一个具体实施例，所述S1中利用前向传播得到训练样本对应的损失函数loss值包括：设置训练平台以及包括batch size、epoch、学习率、momentum、weight decay、dropout、optimizer在内的参数；将图像数据集按照设置好的epoch和batch size导入到AlexNet，利用所述训练平台进行自动前向传播，得到的结果为当前网络中数据样本的损失函数loss值。
本发明的一个具体实施例，利用所述训练平台的反向传播函数backward计算一阶梯度
以及所述训练平台的autograd机制计算二阶梯度
本发明的一个具体实施例，所述超参数g、a和b均为预设值，根据实际实验进行调整。
具体地，结合图2所示，以AlexNet训练Cifar10数据集为例，详细描述本发明的操作步骤。
步骤1、前向传播:根据实际的训练任务设置训练平台、batch size、epoch、学习率、momentum、weight decay、dropout、optimizer等参数，本实施例中分别设置为Pytorch、8000、250、0.01、0.0、0.0、0.5、本发明的参数更新方法。将Cifar10数据集按照设置好的epoch和batch size导入到AlexNet，利用Pytorch进行自动前向传播，得到的结果为当前网络批次的数据样本的损失函数loss值。
在进行第一次网络训练前，需要对网络参数进行随机初始化，下表1为第k层网络的参数wi的初始化结果，i为网络参数编号，
表1
| i | 1 | 2 | 3 | … | N |
| W<sub>i</sub> | -0.847566 | 0.257698 | -0.142368 | … | -0.526841 |
步骤2、一阶梯度、二阶梯度计算：利用Pytorch的反向传播函数backward()，自动计算一阶梯度
表2所示为第k层网络的梯度。二阶梯度的计算有多种方法，Pytorch中的autograd机制可以计算二阶梯度
表3为第k层网络的二阶梯度。
表2
表3
步骤3、曲率计算：按照以下公式(17)计算曲率ki，
表4为第k层网络的曲率，表4
| i | 1 | 2 | 3 | … | N |
| κ<sub>i</sub> | 0.00000196 | 0.00078512 | 0.000000016 | … | 0.00009102 |
计算平均曲率
下式(18)为第k层网络的平均曲率，
按照下式(19)对曲率进行调整，
第k层网络的调制曲率如下，
表5
| i | 1 | 2 | 3 | … | N |
| κ<sub>i</sub> | 0.00013704 | 0.00078512 | 0.00013704 | … | 0.00013704 |
步骤4、网络参数更新：根据下式(20)计算曲率半径Ri，
下表6为第k层网络的调制曲率半径，
表6
| i | 1 | 2 | 3 | … | N |
| R<sub>i</sub> | 7299.270071 | 1273.690652 | 7299.270072 | … | 7299.270071 |
结合表2和表6，根据下式(21)计算网络参数的更新步长，
下表7为第k层网络的参数更新步长，
表7
| i | 1 | 2 | 3 | … | N |
| Δw<sub>i</sub> | 0.005693 | -0.001801 | 0.003942 | … | -0.002774 |
结合表1和表7，根据下式(22)计算网络参数的新值wi′，如表8所示：
wi′＝wi-Δwi (22)
表8
综上所述，本发明公开了一种基于深度神经网络模型参数调制的方法，包括：S1，对深度神经网络模型的各层网络参数进行随机初始化；S2，基于所述深度神经网络模型，利用前向传播得到图像数据集的一批训练样本对应的损失函数loss值，并利用梯度计算函数获得网络的一阶梯度和二阶梯度；S3，根据所述网络的一阶梯度和二阶梯度以及所述训练样本对应的损失函数loss值计算出各层网络参数对应的曲率；S4，对所述各层网络参数对应的曲率进行分段调制后计算出对应的曲率半径，根据所述对应的曲率半径对各层网络参数进行更新；S5，输入图像数据集的下一批训练样本，返回执行S2、S3、S4，对网络参数进行迭代优化训练，直至所述深度神经网络模型收敛；S6，将待识别图像输入所述各层网络参数更新后的深度神经网络模型，得到识别出的图像。本发明技术方案提出的更新网络参数的方法能够选择利用大曲率半径的网络参数以加速训练过程，又能通过加大小值曲率半径参数的学习率来跳出噪声、小的局部最优点等不利位置，更好地搜寻全局最优点，提高了网络训练的鲁棒性和训练结果，尤其适用于大batch size情况的网络训练，从而解决了现有的更新网络参数方法存在随着网络训练的batch size的增大使得训练性能逐渐变差的问题。
本发明技术方案具有以下关键点：
a、本发明方法可以与深度学习领域常采用的momentum、weight decay等方法结合，实现网络参数的更优更新，具体结合方式与随机梯度下降方法(SGD)相同；
b、本发明方法中采用的多个超参数都有预设值，具体数值可以根据实际实验结果进行调整；
c、本发明方法涉及到了对曲率进行分段划分的操作，分段区间的开和闭(即等于号放置的位置)没有硬性规定，但最终的分段结果需包含整个曲率的分布空间；
d、本发明方法涉及到了一阶梯度、二阶梯度、曲率、曲率半径、学习率、超参数等变量的数值操作，任何加减相对小量的操作都应视为与本发明方法相同，任何乘除与1接近数值的操作都应视为与本发明方法相同。
本领域技术人员可以理解，实现上述实施例中方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种基于深度神经网络模型参数调制的图像识别方法，其特征在于，包括以下步骤：
S1，对深度神经网络模型的各层网络参数进行随机初始化；
S2，基于所述深度神经网络模型，利用前向传播得到图像数据集的一批训练样本对应的损失函数loss值，并利用梯度计算函数获得网络的一阶梯度和二阶梯度；
S3，根据所述网络的一阶梯度和二阶梯度以及所述训练样本对应的损失函数loss值计算出各层网络参数对应的曲率；
S4，对所述各层网络参数对应的曲率进行分段调制后计算出对应的曲率半径，根据所述对应的曲率半径对各层网络参数进行更新；
S5，输入图像数据集的下一批训练样本，返回执行S2、S3、S4，对网络参数进行迭代优化训练，直至所述深度神经网络模型收敛；
S6，将待识别图像输入所述各层网络参数更新后的深度神经网络模型，得到识别出的图像。
2.根据权利要求1所述的方法，其特征在于，所述S4中根据所述对应的曲率半径对各层网络参数进行更新包括：
按照公式wi′＝wi-Δwi计算网络参数的更新值，其中，wi为第i个网络参数，Δwi为与wi对应的网络参数更新步长，
超参数g用以辅助设置学习率，gRi为学习率，Ri为对应的曲率半径，L为所述损失函数loss值。
3.根据权利要求1所述的方法，其特征在于，所述S4中对所述各层网络参数对应的曲率按照如下任一项公式进行分段调制：
其中，a为预先定义的一个网络超参数，b为用于截断时引入的网络超参数，ki为第i个网络参数对应的曲率，
为平均曲率。
4.根据权利要求1或2或3所述的方法，其特征在于，所述对应的曲率半径Ri的计算按照如下任一项公式：
其中，a和b为网络超参数，ki为第i个网络参数对应的曲率，
为平均曲率。
5.根据权利要求3所述的方法，其特征在于，所述第i个网络参数对应的曲率的计算公式如下：
或简化为
其中，L、wi、ki分别为损失函数loss值、第i个网络参数和对应的曲率；
为第i个网络参数的一阶梯度，
为第i个网络参数的二阶梯度。
6.根据权利要求3所述的方法，其特征在于，所述平均曲率
的计算公式如下：
或简化为
其中，N为用以计算平均曲率的参数集合中的元素数量，L、wi分别为损失函数loss值和第i个网络参数。
7.根据权利要求1所述的方法，其特征在于，所述S1中对深度神经网络模型的各层网络参数进行随机初始化得到第i个网络参数wi的初始化结果，其中，i为网络参数编号。
8.根据权利要求1所述的方法，其特征在于，所述S1中利用前向传播得到训练样本对应的损失函数loss值包括：设置训练平台以及包括batch size、epoch、学习率、momentum、weight decay、dropout、optimizer在内的参数；将图像数据集按照设置好的epoch和batchsize导入到所述深度神经网络模型，利用所述训练平台进行自动前向传播，得到的结果为当前网络中数据样本的损失函数loss值。
9.根据权利要求1或5或6或8所述的方法，其特征在于，利用所述训练平台的反向传播函数backward计算一阶梯度
以及所述训练平台的autograd机制计算二阶梯度
10.根据权利要求2或3所述的方法，其特征在于，所述超参数g、a和b均为预设值，根据实际实验进行调整。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010693052.7A CN111814963B (zh) | 2020-07-17 | 2020-07-17 | 一种基于深度神经网络模型参数调制的图像识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010693052.7A CN111814963B (zh) | 2020-07-17 | 2020-07-17 | 一种基于深度神经网络模型参数调制的图像识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111814963A true CN111814963A (zh) | 2020-10-23 |
| CN111814963B CN111814963B (zh) | 2024-05-07 |
Family
ID=72865748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010693052.7A Active CN111814963B (zh) | 2020-07-17 | 2020-07-17 | 一种基于深度神经网络模型参数调制的图像识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111814963B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113505851A (zh) * | 2021-07-27 | 2021-10-15 | 电子科技大学 | 一种智能飞行器多任务处理方法 |
| CN114925829A (zh) * | 2022-07-18 | 2022-08-19 | 山东海量信息技术研究院 | 一种神经网络训练方法、装置、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108877267A (zh) * | 2018-08-06 | 2018-11-23 | 武汉理工大学 | 一种基于车载单目相机的交叉路口检测方法 |
| CN109919299A (zh) * | 2019-02-19 | 2019-06-21 | 西安交通大学 | 一种基于元学习器逐步梯度校正的元学习算法 |
| US20200097853A1 (en) * | 2017-06-02 | 2020-03-26 | Google Llc | Systems and Methods for Black Box Optimization |
| CN111160474A (zh) * | 2019-12-30 | 2020-05-15 | 合肥工业大学 | 一种基于深度课程学习的图像识别方法 |
-
2020
- 2020-07-17 CN CN202010693052.7A patent/CN111814963B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200097853A1 (en) * | 2017-06-02 | 2020-03-26 | Google Llc | Systems and Methods for Black Box Optimization |
| CN108877267A (zh) * | 2018-08-06 | 2018-11-23 | 武汉理工大学 | 一种基于车载单目相机的交叉路口检测方法 |
| CN109919299A (zh) * | 2019-02-19 | 2019-06-21 | 西安交通大学 | 一种基于元学习器逐步梯度校正的元学习算法 |
| CN111160474A (zh) * | 2019-12-30 | 2020-05-15 | 合肥工业大学 | 一种基于深度课程学习的图像识别方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113505851A (zh) * | 2021-07-27 | 2021-10-15 | 电子科技大学 | 一种智能飞行器多任务处理方法 |
| CN114925829A (zh) * | 2022-07-18 | 2022-08-19 | 山东海量信息技术研究院 | 一种神经网络训练方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111814963B (zh) | 2024-05-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Xia et al. | A boosted decision tree approach using Bayesian hyper-parameter optimization for credit scoring | |
| CN108694443B (zh) | 基于神经网络的语言模型训练方法和装置 | |
| CN107729999A (zh) | 考虑矩阵相关性的深度神经网络压缩方法 | |
| CN107679617A (zh) | 多次迭代的深度神经网络压缩方法 | |
| CN107564513A (zh) | 语音识别方法及装置 | |
| CN110413754B (zh) | 对话(中)奖励评估和对话方法、介质、装置和计算设备 | |
| US20180276105A1 (en) | Active learning source code review framework | |
| CN111814963B (zh) | 一种基于深度神经网络模型参数调制的图像识别方法 | |
| CN111985523A (zh) | 基于知识蒸馏训练的2指数幂深度神经网络量化方法 | |
| CN115840900A (zh) | 一种基于自适应聚类分层的个性化联邦学习方法及系统 | |
| CN108804577B (zh) | 一种资讯标签兴趣度的预估方法 | |
| CN111046178B (zh) | 一种文本序列生成方法及其系统 | |
| CN109934330A (zh) | 基于多样化种群的果蝇优化算法来构建预测模型的方法 | |
| CN106897744A (zh) | 一种自适应设置深度置信网络参数的方法及系统 | |
| CN108510977A (zh) | 语种识别方法及计算机设备 | |
| CN115511069A (zh) | 神经网络的训练方法、数据处理方法、设备及存储介质 | |
| CN115270797A (zh) | 一种基于自训练半监督学习的文本实体抽取方法及系统 | |
| CN110738362A (zh) | 一种基于改进的多元宇宙算法构建预测模型的方法 | |
| US20080147579A1 (en) | Discriminative training using boosted lasso | |
| CN107992570A (zh) | 字符串挖掘方法、装置、电子设备及计算机可读存储介质 | |
| CN108090564A (zh) | 基于网络权重初始和最终状态差异的冗余权重去除方法 | |
| CN117059169A (zh) | 基于参数自适应成长优化器的生物多序列比对方法及系统 | |
| CN115035304A (zh) | 一种基于课程学习的图像描述生成方法及系统 | |
| CN114648178A (zh) | 一种基于ddpg算法的电能计量装置运维策略优化方法 | |
| CN113656707A (zh) | 一种理财产品推荐方法、系统、存储介质及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |