CN112766414A - 一种基于Hausdorff-RMSprop算法的图像识别方法 - Google Patents

一种基于Hausdorff-RMSprop算法的图像识别方法 Download PDF

Info

Publication number
CN112766414A
CN112766414A CN202110168117.0A CN202110168117A CN112766414A CN 112766414 A CN112766414 A CN 112766414A CN 202110168117 A CN202110168117 A CN 202110168117A CN 112766414 A CN112766414 A CN 112766414A
Authority
CN
China
Prior art keywords
hausdorff
weight
bias
layer
image recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110168117.0A
Other languages
English (en)
Inventor
高哲
剪静
阚涛
刘婷
翟丽荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Liaoning University
Original Assignee
Liaoning University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liaoning University filed Critical Liaoning University
Priority to CN202110168117.0A priority Critical patent/CN112766414A/zh
Publication of CN112766414A publication Critical patent/CN112766414A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明基于Hausdorff‑RMSprop算法的图像识别方法,包括如下步骤：步骤1，选择了一种网络的模型；步骤2，提出了反向传播方法更新网络Hausdorff差分的权重和偏置；步骤3，根据所述的分数阶的权重和偏置，进行卷积神经网络训练。本发明提供一种基于Hausdorff‑RMSprop算法的图像识别方法，该方法有效的提升了卷积神经网络中图像识别精度和学习收敛速度，可以使卷积神经网络对于CIFAR‑10进行更好的训练，提高网络的优化能力。

Description

一种基于Hausdorff-RMSprop算法的图像识别方法
技术领域
本发明涉及人工智能算法领域，具体涉及一种基于Hausdorff-RMSprop算法的图像识别方法。
背景技术
近些年卷积神经网络广泛应用于更复杂的图像处理字段。经典的卷积神经网络模型结构主要是由输入层、卷积层、池化层、全连接层和输出层组成的。传统的机械学习手工提取特征困难，难以适应大规模数据训练，并且模型的泛化能力较差。已有的深度学习和传统机械学习结合模型准确率有待提升。建立了理论提高卷积神经网络的精度和速度的基础扩大了图像识别的识别速度。
目前具有记忆动量的优化算法经用来训练神经网络。因为记忆分数阶微积分的性质，分数阶模型可以更好地描述真实世界系统的复杂动力学，在建模中也得到了广泛的应用神经网络。分数阶微积分也应用于处理图像，如保存图像纹理，降低噪声影响。
分数阶导数不仅可以构造不同类型分数阶神经网络模型，而且可以建立不同的参数更新方法。需要减少计算时间，提高神经网络的计算速度。分数阶导数可以增加复杂度和与整数阶导数相比的计算时间，在于处理历史信息。自以来分形导数可以描述时间依赖性，减少计算时间，可应用于优化神经网络模型。Hausdorff分形导数形式可以转变为Hausdorff差分，可应用于卷积神经网络模型。
发明内容
本发明的目的在于解决整数阶RMSprop算法的图像识别精度不高的现状。为了提高 RMSprop算法的图像识别精度和学习收敛速度，本发明提供了一种基于Hausdorff-RMSprop 算法的图像识别方法，该技术方案如下：
为了实现上述目的，本发明创造采用了如下技术方案：
一种基于Hausdorff-RMSprop算法的图像识别方法，包括如下步骤：
步骤1，设定神经网络；
步骤2，通过反向传播方法更新网络Hausdorff差分的权重和偏置；
步骤3，根据所述的分数阶的权重和偏置，进行网络训练；
步骤4，通过Hausdorff-RMSprop算法进行图像识别，得到阶次为γ∈(0.1,0.9)的Hausdorff-RMSprop算法进行图像识别。
所述的步骤1中，具体方法为：
步骤1-1)设定卷积神经网络的模型，所述的神经网络包括输出层、卷积层、池化层、全连接层、输出层；
步骤1-2)设定卷积层的权重和偏置为{w,b}，其中w表示权重，b表示偏置。
所述的步骤2中，具体方法为：
步骤2-1)对网络进行设定初始化的权重和偏置为{w(1),b(1)}；
步骤2-2)设置初始迭代次数为k＝1；
步骤2-3)对卷积神经网络进行优化；
步骤2-4)根据k＝k+1更新迭代次数；
步骤2-5)RMSprop算法通过将整数阶替换为分数阶Hausdorff差分，并得到Hausdorff 差分的权重和偏置，重复步骤2-3)，到满足误差梯度为止。
所述的步骤2-3)中整数阶卷积神经网络的随机梯度下降法中权重和偏置的表达公式：
Figure BDA0002938020780000021
其中，
Figure BDA0002938020780000022
Figure BDA0002938020780000023
为表示在第k次迭代的第l 层的第j个特征图映射的第i个区域的权值,
Figure BDA0002938020780000024
表示为第k次迭代的第l层的第j个特征图所对应的偏置，η表示学习率，J(k)是第k次迭代的目标函数，
Figure BDA0002938020780000025
和
Figure BDA0002938020780000026
是分别是第k次迭代的第l层的权重和偏差的动量信息。
Hausdorff差分公式如下：
Figure BDA0002938020780000027
当γ＝1，
Figure BDA0002938020780000028
其中γ∈(0,1]，γ表示的是函数的阶次。
Hausdorff-RMSprop权重和偏置公式如下：
Figure BDA0002938020780000029
其中
Figure BDA00029380207800000210
Figure BDA00029380207800000211
Figure BDA00029380207800000212
为表示在第k次迭代的第l层的第j个特征图映射的第i个区域的权值信息,
Figure BDA00029380207800000213
表示为第k次迭代的第l层的第j个特征图所对应的偏置信息。
所述的步骤3)中，具体方法如下：
步骤3-1)为了体现识别精度的变化，选择CIFAR-10数据集作为训练的数据集；
步骤3-2)选择γ∈(0.1,0.9)，γ＝1时进行训练。
本发明创造的有益效果：
本发明通过上述方法，有效的提升了卷积神经网络中图像识别精度和学习收敛速度，可以使卷积神经网络对于CIFAR-10进行更好的训练，提高网络的优化能力。
附图说明
图1为本发明流程图。
图2为本发明提供的基于γ∈(0.1，0.9)和γ＝1的Hausdorff-RMSprop的算法识别精度示意图。
图3本发明提供的基于γ∈(0.1，0.9)和γ＝1的Hausdorff-RMSprop的算法收敛速度示意图。
具体实施方式
下面将结合本发明创造实施例中的附图，对本发明创造实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明创造一部分实施例，而不是全部的实施例。
一种基于Hausdorff-RMSprop算法的图像识别方法，包括如下步骤：
步骤1，设定神经网络；
步骤1-1)设定卷积神经网络的模型，所述的神经网络包括输出层、卷积层、池化层、全连接层、输出层；
步骤1-2)设定卷积层的权重和偏置为{w,b}，其中w表示权重，b表示偏置。
步骤2，通过反向传播方法更新网络Hausdorff差分的权重和偏置；
步骤2-1)对网络进行设定初始化的权重和偏置为{w(1),b(1)}；
步骤2-2)设置初始迭代次数为k＝1；
步骤2-3)对卷积神经网络进行优化；
步骤2-4)根据k＝k+1更新迭代次数；
步骤2-5)RMSprop算法通过将整数阶替换为分数阶Hausdorff差分，并得到Hausdorff 差分的权重和偏置，重复步骤2-3)，到满足误差梯度为止。
所述的步骤2-3)中整数阶卷积神经网络的随机梯度下降法中权重和偏置的表达公式：
Figure BDA0002938020780000041
其中，
Figure BDA0002938020780000042
Figure BDA0002938020780000043
为表示在第k次迭代的第l 层的第j个特征图映射的第i个区域的权值,
Figure BDA0002938020780000044
表示为第k次迭代的第l层的第j个特征图所对应的偏置，η表示学习率，J(k)是第k次迭代的目标函数，
Figure BDA0002938020780000045
和
Figure BDA0002938020780000046
是分别是第k次迭代的第l层的权重和偏差的动量信息。
Hausdorff差分公式如下：
Figure BDA0002938020780000047
当γ＝1，
Figure BDA0002938020780000048
其中γ∈(0,1]，γ表示的是函数的阶次。
Hausdorff-RMSprop权重和偏置公式如下：
Figure BDA0002938020780000049
其中
Figure BDA00029380207800000410
Figure BDA00029380207800000411
Figure BDA00029380207800000412
为表示在第k次迭代的第l层的第j个特征图映射的第i个区域的权值信息,
Figure BDA00029380207800000413
表示为第k次迭代的第l层的第j个特征图所对应的偏置信息。
步骤3，根据所述的分数阶的权重和偏置，进行网络训练；
步骤3-1)为了体现识别精度的变化，选择CIFAR-10数据集作为训练的数据集；
步骤3-2)选择γ∈(0.1,0.9)，γ＝1时进行训练。
步骤4，通过Hausdorff-RMSprop算法进行图像识别，得到阶次为γ∈(0.1,0.9)的Hausdorff-RMSprop算法的图像识别精度优于阶次为γ＝1的RMSprop算法的精度。
实施例1：
通过CIFAR-10作为训练的数据集，选择阶次分别属于γ∈(0.1,0.9)的基于Hausdorff- RMSprop算法和γ＝1的RMSprop算法分别进行图像识别分类精度的训练，结果如图2所示，
基于Hausdorff-RMSprop算法的图像识别精度要高于RMSprop算法，并且如图3所示，基于Hausdorff-RMSprop算法的收敛速度比RMSprop算法的更快更好。

Claims (7)

1.一种基于Hausdorff-RMSprop算法的图像识别方法，其特征在于，包括如下步骤：
步骤1，设定神经网络；
步骤2，通过反向传播方法更新网络Hausdorff差分的权重和偏置；
步骤3，根据所述的分数阶的权重和偏置，进行网络训练；
步骤4，通过Hausdorff-RMSprop算法进行图像识别，得到阶次为γ∈(0.1,0.9)的Hausdorff-RMSprop算法进行图像识别。
2.根据权利要求1所述的一种基于Hausdorff-RMSprop算法的图像识别方法，其特征在于，所述的步骤1中，具体方法为：
步骤1-1)设定卷积神经网络的模型，所述的神经网络包括输出层、卷积层、池化层、全连接层、输出层；
步骤1-2)设定卷积层的权重和偏置为{w,b}，其中w表示权重，b表示偏置。
3.根据权利要求1所述的一种基于Hausdorff-RMSprop算法的图像识别方法，其特征在于，所述的步骤2中，具体方法为：
步骤2-1)对网络进行设定初始化的权重和偏置为{w(1),b(1)}；
步骤2-2)设置初始迭代次数为k＝1；
步骤2-3)对卷积神经网络进行优化；
步骤2-4)根据k＝k+1更新迭代次数；
步骤2-5)RMSprop算法通过将整数阶替换为分数阶Hausdorff差分，并得到Hausdorff差分的权重和偏置，重复步骤2-3)，到满足误差梯度为止。
4.根据权利要求3所述的一种基于Hausdorff-RMSprop算法的图像识别方法，其特征在于，所述的步骤2-3)中整数阶卷积神经网络的随机梯度下降法中权重和偏置的表达公式：
Figure FDA0002938020770000011
其中，
Figure FDA0002938020770000012
Figure FDA0002938020770000013
为表示在第k次迭代的第l层的第j个特征图映射的第i个区域的权值,
Figure FDA0002938020770000014
表示为第k次迭代的第l层的第j个特征图所对应的偏置，η表示学习率，J(k)是第k次迭代的目标函数，
Figure FDA0002938020770000015
和
Figure FDA0002938020770000016
是分别是第k次迭代的第l层的权重和偏差的动量信息。
5.根据权利要求3所述的一种基于Hausdorff-RMSprop算法的图像识别方法，其特征在于，Hausdorff差分公式如下：
Figure FDA0002938020770000021
当γ＝1，
Figure FDA0002938020770000022
其中γ∈(0,1]，γ表示的是函数的阶次。
6.根据权利要求5所述的一种基于Hausdorff-RMSprop算法的图像识别方法，其特征在于，
Hausdorff-RMSprop权重和偏置公式如下：
Figure FDA0002938020770000023
其中
Figure FDA0002938020770000024
Figure FDA0002938020770000025
Figure FDA0002938020770000026
为表示在第k次迭代的第l层的第j个特征图映射的第i个区域的权值信息,
Figure FDA0002938020770000027
表示为第k次迭代的第l层的第j个特征图所对应的偏置信息。
7.根据权利要求1所述的一种基于Hausdorff-RMSprop算法的图像识别方法，其特征在于，所述的步骤3)中，具体方法如下：
步骤3-1)为了体现识别精度的变化，选择CIFAR-10数据集作为训练的数据集；
步骤3-2)选择γ∈(0.1,0.9)，γ＝1时进行训练。
CN202110168117.0A 2021-02-07 2021-02-07 一种基于Hausdorff-RMSprop算法的图像识别方法 Pending CN112766414A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110168117.0A CN112766414A (zh) 2021-02-07 2021-02-07 一种基于Hausdorff-RMSprop算法的图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110168117.0A CN112766414A (zh) 2021-02-07 2021-02-07 一种基于Hausdorff-RMSprop算法的图像识别方法

Publications (1)

Publication Number Publication Date
CN112766414A true CN112766414A (zh) 2021-05-07

Family

ID=75705297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110168117.0A Pending CN112766414A (zh) 2021-02-07 2021-02-07 一种基于Hausdorff-RMSprop算法的图像识别方法

Country Status (1)

Country Link
CN (1) CN112766414A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764472A (zh) * 2018-05-18 2018-11-06 南京信息工程大学 卷积神经网络分数阶误差反向传播方法
CN110895682A (zh) * 2019-10-15 2020-03-20 东北大学 一种基于深度学习的sar目标识别方法
US20200267174A1 (en) * 2019-02-19 2020-08-20 Verizon Patent And Licensing Inc. Method and system for anomaly detection and network deployment based on quantitative assessment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764472A (zh) * 2018-05-18 2018-11-06 南京信息工程大学 卷积神经网络分数阶误差反向传播方法
US20200267174A1 (en) * 2019-02-19 2020-08-20 Verizon Patent And Licensing Inc. Method and system for anomaly detection and network deployment based on quantitative assessment
CN110895682A (zh) * 2019-10-15 2020-03-20 东北大学 一种基于深度学习的sar目标识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘万军;梁雪剑;曲海成;: "自适应增强卷积神经网络图像识别", 中国图象图形学报, no. 12, pages 105 - 118 *
阚涛;高哲;杨闯: "采用分数阶动量的卷积神经网络随机梯度下降法", 《模式识别与人工智能》, vol. 33, no. 6, pages 559 - 567 *
陈娜;李鹏;江剑;邓焰;何湘宁;: "中高压IGBT开关特性的遗传神经网络预测", 电工技术学报, no. 02, pages 245 - 253 *

Similar Documents

Publication Publication Date Title
CN107180426B (zh) 基于可迁移的多模型集成的计算机辅助肺结节分类装置
CN106228185A (zh) 一种基于神经网络的通用图像分类识别系统及方法
CN112330487B (zh) 一种光伏发电短期功率预测方法
CN112766603B (zh) 一种交通流量预测方法、系统、计算机设备及存储介质
CN114548591A (zh) 一种基于混合深度学习模型和Stacking的时序数据预测方法及系统
CN108182316B (zh) 一种基于人工智能的电磁仿真方法及其电磁大脑
CN112287990A (zh) 一种基于在线学习的边云协同支持向量机的模型优化方法
CN112686376A (zh) 一种基于时序图神经网络的节点表示方法及增量学习方法
CN115204035A (zh) 基于多尺度时序数据融合模型的发电机组运行参数预测方法、装置及存储介质
CN115331069A (zh) 一种基于联邦学习的个性化图像分类模型训练方法
CN111694977A (zh) 一种基于数据增强的车辆图像检索方法
CN112258557B (zh) 一种基于空间注意力特征聚合的视觉跟踪方法
CN116992779A (zh) 基于数字孪生模型的光伏储能系统仿真方法及系统
CN107578101B (zh) 一种数据流负载预测方法
CN113159287A (zh) 一种基于梯度稀疏的分布式深度学习方法
CN111783688B (zh) 一种基于卷积神经网络的遥感图像场景分类方法
CN117151998A (zh) 一种基于支持向量回归的图像光照校正方法
CN112766414A (zh) 一种基于Hausdorff-RMSprop算法的图像识别方法
CN118038032A (zh) 基于超点嵌入和聚类的点云语义分割模型及其训练方法
WO2021046681A1 (zh) 面向复杂场景的多源目标跟踪方法
CN109685242B (zh) 基于Adaboost算法的光伏超短期组合预测方法
CN113807005B (zh) 基于改进fpa-dbn的轴承剩余寿命预测方法
CN116402124A (zh) 一种基于自监督学习的联邦机器学习方法
CN116681159A (zh) 一种基于鲸鱼优化算法和dresn的短期电力负荷预测方法
CN114037866B (zh) 一种基于可辨伪特征合成的广义零样本图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination