CN116543229A - 基于自适应累积系数的深度学习优化器的图像分类方法 - Google Patents

基于自适应累积系数的深度学习优化器的图像分类方法 Download PDF

Info

Publication number
CN116543229A
CN116543229A CN202310586787.3A CN202310586787A CN116543229A CN 116543229 A CN116543229 A CN 116543229A CN 202310586787 A CN202310586787 A CN 202310586787A CN 116543229 A CN116543229 A CN 116543229A
Authority
CN
China
Prior art keywords
deep learning
neural network
network model
optimizer
image classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310586787.3A
Other languages
English (en)
Inventor
邹伟东
夏元清
李慧芳
张金会
翟弟华
戴荔
刘坤
闫莉萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202310586787.3A priority Critical patent/CN116543229A/zh
Publication of CN116543229A publication Critical patent/CN116543229A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于自适应累积系数的深度学习优化器的图像分类方法，根据当前的迭代次数计算获取相应的AdamE优化器的一阶动量和二阶动量的累积系数，提升图像分类精度，在保证训练效率的同时也能保证训练精度，提高了深度学习优化器的泛化性能。

Description

基于自适应累积系数的深度学习优化器的图像分类方法
技术领域
本发明属于基于模式识别、机器学习技术领域，具体涉及一种基于自适应累积系数的深度学习优化器的图像分类方法。
背景技术
深度学习技术在机器视觉任务(如图像分类)中取得很好的效果。神经网络模型和数据集的规模是深度学习拥有强大性能的重要原因。复杂的神经网络模型和更大的数据集能是深度学习展现更好的性能，但需要付出的代价就是更长的训练时间和更庞大的计算量。故工业界与学术界对在大型集群设备(如GPU)上通过分布式进行深度学习训练的需求激增。数据并行已成为分布式训练的主要实现方式。
基于并行模式的图像分类方法，工业界与学术界的研发人员普遍采用Adam优化器作为神经网络模型训练优化器。但基于Adam训练的图像分类方法存在一个难以回避的问题：除了优化器学习率以外，还需要人为设定其他参数，如Adam优化器的一阶动量和二阶动量的累积系数，对于人为因素依赖性过高，从而降低了效率与泛化性能。因此，如何在保证图像分类精度的情况下设计高效稳定的深度学习优化器具有十分重要的意义。
发明内容
有鉴于此，本发明提供了一种基于自适应累积系数的深度学习优化器的图像分类方法，根据当前的迭代次数计算获取相应的Adam优化器的一阶动量和二阶动量的累积系数，提升图像分类精度。
基于自适应累积系数的深度学习优化器的图像分类方法，包括：
步骤1、对输入的图像进行预处理，分别得到训练图像数据和待分类图像数据；图像分类神经网络模型的输入是单张或批量的彩色图像，输出为图像的类别标签；
步骤2、构建深度学习优化器AdamE；迭代次数k初始值设为1；迭代总次数为m；深度学习优化器AdamE的输入为当前第k-1次迭代后的图像分类神经网络模型参数值的梯度gk-1，输出为第k次迭代所设置的图像分类神经网络模型的参数值gk，具体过程包括：
s21、根据公式(1)和(2)分别获取第k次迭代的Adam优化器一阶动量和二阶动量的累积系数；
βk＝1-αk (2)
其中，αk为深度学习优化器AdamE在第k次迭代中的一阶动量累积系数；βk为深度学习优化器AdamE在第k次迭代中的中二阶动量累积系数；
S22、根据公式(3)和(4)分别获取深度学习优化器AdamE在第k次迭代的一阶动量和二阶动量；
dk＝αk×dk-1+(1-αk)×gk (3)
其中，gk为深度学习优化器AdamE在第k次迭代输出的图像分类神经网络模型参数的梯度；dk和dk-1为深度学习优化器AdamE在第k次和第k-1次迭代的一阶动量；sk和sk-1为Adam优化器在第k次和第k-1次迭代的二阶动量；
S23、根据公式(5)获取第k次迭代的图像分类神经网络模型参数
其中，和/>为深度学习优化器AdamE在第k次和第k-1次迭代的图像分类神经网络模型参数，ηAdamE为深度学习优化器AdamE的初始学习率；/>为Hadamard内积；ε>0为光滑系数；
步骤3、基于当前第k次迭代获得的图像分类神经网络模型参数对图像分类神经网络模型参数进行更新，利用训练图像数据对神经网络模型进行训练；将k值累计1次；当满足k≤m，返回到s21，进行下一次迭代；如果k>m，执行下一步；
步骤4、获取当前参数更新后的图像分类神经网络模型，将待分类的图像输入到训练好的图像分类神经网络模型，输出图像的类别标签，实现图像分类。
本发明具有如下有益效果：
本发明提供了一种基于自适应累积系数的深度学习优化器的图像分类方法，根据当前的迭代次数计算获取相应的AdamE优化器的一阶动量和二阶动量的累积系数，提升图像分类精度，在保证训练效率的同时也能保证训练精度，提高了深度学习优化器的泛化性能。
附图说明
图1为采用本发明方法与现有方法的对比曲线图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供的一种基于自适应累积系数的深度学习优化器的图像分类方法，构建一种新的深度学习优化器AdamE，利用图像训练数据和构建的深度学习优化器AdamE训练神经网络模型，获取训练好的图像分类神经网络模型，将待分类的包含预定义类别的彩色图像输入到训练好的图像分类神经网络模型，即可输出图像的类别标签，实现图像分类，具体包括以下步骤：
步骤1、对输入的图像进行预处理，分别得到训练图像数据和待分类图像数据；神经网络的输入是单张或批量的彩色图像，输出为图像的类别标签。
步骤2、构建深度学习优化器AdamE；迭代次数k初始值设为1；迭代总次数为m；深度学习优化器AdamE的输入为当前第k-1次迭代后的图像分类网络模型参数值的梯度gk-1，输出为第k次迭代所设置的图像分类网络模型的参数值gk，具体过程如下：
s21、根据公式(1)和(2)分别获取第k次迭代的Adam优化器一阶动量和二阶动量的累积系数；
βk＝1-αk (2)
其中，αk为深度学习优化器AdamE在第k次迭代中的一阶动量累积系数；βk为深度学习优化器AdamE在第k次迭代中的中二阶动量累积系数；
S22、根据公式(3)和(4)分别获取深度学习优化器AdamE在第k次迭代的一阶动量和二阶动量；
dk＝αk×dk-1+(1-αk)×gk (3)
其中，gk为深度学习优化器AdamE在第k次迭代输出的神经网络模型参数的梯度；dk和dk-1为深度学习优化器AdamE在第k次和第k-1次迭代的一阶动量；sk和sk-1为Adam优化器在第k次和第k-1次迭代的二阶动量；
S23、根据公式(5)获取第k次迭代的神经网络参数
其中，和/>为优化器在第k次和第k-1次迭代的神经网络参数，ηAdamE为优化器的初始学习率；/>为Hadamard内积；ε>0为光滑系数；
步骤3、基于当前迭代获得的神经网络参数对神经网络参数进行更新，利用训练数据对神经网络模型进行一次训练；k值累计1次；当满足k≤m，返回到s21，进行下一次迭代；如果k>m，执行下一步。
步骤4、获取当前参数更新后的神经网络模型，将待分类的包含预定义类别的图像输入到训练好的图像分类神经网络模型，即可输出图像的类别标签，实现图像分类。
实施例：
本实施例采用本发明提供的一种基于深度学习优化器的图像分类方法，选择神经网络模型Capsual Network作为图像分类网络模型完成图像分类过程，具体包括如下步骤：
S1、建立训练样本集数据来自于公开数据集MNIST，包含N＝60000张图片，其中第i张图片xi的图片尺寸为28×28的包含分类物体的黑白图片；yi表示第i张图片对应的类别标签，yi为取值为0或1的10维向量，yi中取值为1的位置k表示图片属于第k类别，取值0表示不属于相应类别。
S2、将训练样本集中的样本图像输入图像分类网络模型得到样本图像的标签，再采用深度学习优化器AdamE优化图像分类网络模型的参数值，完成对图像分类网络模型的训练。
本实施例中，设置了随机深度机制，选取交叉熵损失函数，设定的数量批的值为128，训练迭代次数阈值为10，数量批是指每次迭代时输入网络模型的图片数量，例如输入图片数量为256张。
为验证本发明方法的高效性，选取另外3种已公开的深度学习优化器AdaBelief、AdaBound和Adam进行对比测试。
具体参数设置如下：
将AdaBelief、AdaBound、Adam和AdamE深度学习优化器的初始学习率设置为0.01，采用本发明建立的优化器训练神经网络模型Capsual Network的图像分类结果，与采用现有优化器训练神经网络模型Capsual Network的图像分类结果，其测试精度(％)对比如图1所示。由图1可见，本发明提供的AdamE优化器的收敛速度与泛化性能均优于其他优化器。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (1)

1.基于自适应累积系数的深度学习优化器的图像分类方法，其特征在于，包括：
步骤1、对输入的图像进行预处理，分别得到训练图像数据和待分类图像数据；
步骤2、构建深度学习优化器AdamE；迭代次数k初始值设为1；迭代总次数为m；深度学习优化器AdamE的输入为当前第k-1次迭代后的图像分类神经网络模型参数值的梯度gk-1，输出为第k次迭代所设置的图像分类神经网络模型的参数值gk，具体过程包括：
s21、根据公式(1)和(2)分别获取第k次迭代的Adam优化器一阶动量和二阶动量的累积系数；
βk＝1-αk(2)
其中，αk为深度学习优化器AdamE在第k次迭代中的一阶动量累积系数；βk为深度学习优化器AdamE在第k次迭代中的中二阶动量累积系数；
S22、根据公式(3)和(4)分别获取深度学习优化器AdamE在第k次迭代的一阶动量和二阶动量；
dk＝αk×dk-1+(1-αk)×gk(3)
其中，gk为深度学习优化器AdamE在第k次迭代输出的图像分类神经网络模型参数的梯度；dk和dk-1为深度学习优化器AdamE在第k次和第k-1次迭代的一阶动量；sk和sk-1为Adam优化器在第k次和第k-1次迭代的二阶动量；
S23、根据公式(5)获取第k次迭代的图像分类神经网络模型参数
其中，和/>为深度学习优化器AdamE在第k次和第k-1次迭代的图像分类神经网络模型参数，ηAdamE为深度学习优化器AdamE的初始学习率；/>为Hadamard内积；ε>0为光滑系数；
步骤3、基于当前第k次迭代获得的图像分类神经网络模型参数对图像分类神经网络模型参数进行更新，利用训练图像数据对神经网络模型进行训练；将k值累计1次；当满足k≤m，返回到s21，进行下一次迭代；如果k>m，执行下一步；
步骤4、获取当前参数更新后的图像分类神经网络模型，将待分类的图像输入到训练好的图像分类神经网络模型，输出图像的类别标签，实现图像分类。
CN202310586787.3A 2023-05-24 2023-05-24 基于自适应累积系数的深度学习优化器的图像分类方法 Pending CN116543229A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310586787.3A CN116543229A (zh) 2023-05-24 2023-05-24 基于自适应累积系数的深度学习优化器的图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310586787.3A CN116543229A (zh) 2023-05-24 2023-05-24 基于自适应累积系数的深度学习优化器的图像分类方法

Publications (1)

Publication Number Publication Date
CN116543229A true CN116543229A (zh) 2023-08-04

Family

ID=87445182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310586787.3A Pending CN116543229A (zh) 2023-05-24 2023-05-24 基于自适应累积系数的深度学习优化器的图像分类方法

Country Status (1)

Country Link
CN (1) CN116543229A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117994635A (zh) * 2024-04-03 2024-05-07 山东省计算中心（国家超级计算济南中心） 一种噪声鲁棒性增强的联邦元学习图像识别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117994635A (zh) * 2024-04-03 2024-05-07 山东省计算中心（国家超级计算济南中心） 一种噪声鲁棒性增强的联邦元学习图像识别方法及系统
CN117994635B (zh) * 2024-04-03 2024-06-11 山东省计算中心（国家超级计算济南中心） 一种噪声鲁棒性增强的联邦元学习图像识别方法及系统

Similar Documents

Publication Publication Date Title
CN110175168B (zh) 一种基于生成对抗网络的时间序列数据填补方法及系统
CN108647226B (zh) 一种基于变分自动编码器的混合推荐方法
CN113688869B (zh) 一种基于生成对抗网络的光伏数据缺失重构方法
CN114841257B (zh) 一种基于自监督对比约束下的小样本目标检测方法
CN116543229A (zh) 基于自适应累积系数的深度学习优化器的图像分类方法
CN106844342B (zh) 基于增量学习的词向量生成方法和装置
CN109993208A (zh) 一种有噪声图像的聚类处理方法
CN111985825A (zh) 一种用于滚磨机定向仪的晶面质量评估方法
CN112580588A (zh) 一种基于经验模态分解的颤振信号智能识别方法
CN117236201B (zh) 一种基于Diffusion和ViT的降尺度方法
CN112766537B (zh) 一种短期电负荷预测方法
CN111931990B (zh) 基于优化最小二乘支持向量机的电力负荷预测方法
CN117236485B (zh) 一种基于cnn-bilstm算法减小预测电网供电量误差的方法
CN113656707A (zh) 一种理财产品推荐方法、系统、存储介质及设备
CN107743071B (zh) 一种网络节点的增强表示方法及装置
CN117458480A (zh) 基于改进lof的光伏发电功率短期预测方法及系统
CN114372181B (zh) 一种基于多模态数据的设备生产智能规划方法
CN114298413B (zh) 一种水电机组振摆趋势预测方法
CN115512174A (zh) 应用二次IoU损失函数的无锚框目标检测方法
CN114295967A (zh) 一种基于迁移神经网络的模拟电路故障诊断方法
CN112668770A (zh) 一种基于信息与波形总体相似度的电力负荷预测方法
CN113537458B (zh) 一种有理式函数神经网络构建方法、系统及可读存储介质
Welling et al. Probabilistic sequential independent components analysis
CN116698410B (zh) 一种基于卷积神经网络的滚动轴承多传感器数据监控方法
Yang et al. A modification of adaptive moment estimation (adam) for machine learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination