CN108932550B - 一种基于模糊密集稀疏密集算法进行图像分类的方法 - Google Patents

一种基于模糊密集稀疏密集算法进行图像分类的方法 Download PDF

Info

Publication number
CN108932550B
CN108932550B CN201810666946.XA CN201810666946A CN108932550B CN 108932550 B CN108932550 B CN 108932550B CN 201810666946 A CN201810666946 A CN 201810666946A CN 108932550 B CN108932550 B CN 108932550B
Authority
CN
China
Prior art keywords
network
weight
dense
training
fuzzy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810666946.XA
Other languages
English (en)
Other versions
CN108932550A (zh
Inventor
王改华
刘文洲
罗冷坤
吕朦
袁国亮
李涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN201810666946.XA priority Critical patent/CN108932550B/zh
Publication of CN108932550A publication Critical patent/CN108932550A/zh
Application granted granted Critical
Publication of CN108932550B publication Critical patent/CN108932550B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Feedback Control In General (AREA)

Abstract

本发明提出了一种密集稀疏密集算法的优化方法，包括初始Dense训练阶段、Fuzzy阶段、最后Dense阶段，该方法使用隶属度来度量网络权重与整个网络的关联程度，确定每个数据信息与群集之间的关联程度。本发明有如下有点：1、与其他经典网络相比，本发明提出的优化网络是基于学习权重的价值，并且计算出哪些网络权重是更重要的连接，这种筛选过程更好地提高了分类精度。2、本发明的框架迁移性相比传统DSD得到提高，可用于继Alexnet后的VGG16、vgg19等其余新型网络。3、针对传统的深度神经网络所需上万次迭代分类问题，本发明在数百次迭代以内能有效提高分类精度。

Description

一种基于模糊密集稀疏密集算法进行图像分类的方法
技术领域
本发明属于图像分类领域，涉及一种密集稀疏密集算法的优化方法。
背景技术
深度学习属于机器学习领域，随着更多优秀神经网络的提出，我们知道复杂网络的性能更好地证明了特征信息与输出之间的高度非线性相关性。但随着网络的不段的加深，层数越来越多，网络参数也大量增加，这样就导致网络训练的难度不断上升。宋汉提出了一种密集稀疏密集(DSD)算法，重点关注如何通过改进训练过程来提高传统模型的准确性。通过稀疏度来修剪权重小、不重要的网络权重，并基于稀疏约束重新训练网络来标准化网络。
虽然DSD和dropout在训练期间都有修剪操作，但不同之处在于DSD根据权重的绝对值选择要删除的连接，随机删除丢弃，而dropout是随机去掉连接。另外DSD也不是模型压缩算法，DSD算法训练模型目的是提高准确率，而不是模型压缩。在在DSD算法优化过程中，鞍点和局部最优很容易影响模型的性能，这些点的梯度接近0，模型接近收敛。通过获得稀疏网络并在训练过程中继续训练，可以跳过这一点，这样密集训练可以收敛到更好的结果。DSD算法通过选择性网络权重来提高网络的性能，但它不能准确区分那些不重要的网络权重。
针对这些问题，本发明提出了一种模糊DSD算法，该模糊DSD基于现有的密集稀疏密集算法，本发明方法关注如何通过改进训练过程提高传统模型的准确率。
发明内容
本发明主要是对DSD算法的结构优化，DSD算法中设置唯一参数：稀疏度，来衡量网络权重的重要性，即判断网络权重是否需要裁剪。这样虽然通过对网络权重进行有选择性的处理使得网络的性能得到了提高，但是并不能准确的区别并剔除那些不重要的网络权重，造成训练的网络权重存在缺失,导致特征信息部分丢失。本发明提出了模糊DSD算法，这种优化策略与BEZDEKJC提出的模糊K 均值算法类似，引入隶属度参数。在训练过程中通过修剪具有小权重的不重要连接(根据隶属度判别)并基于稀疏约束重新训练网络来标准化网络。消除稀疏约束来增加模型容量，从零重新初始化修剪参数，并重新训练整个密集网络。使得网络在训练过程避免陷入局部最优值，取得了较好的效果。该方法使用隶属度来度量网络权重与整个网络的关联程度，确定每个数据信息与群集之间的关联程度，具体应用于神经网络权重的优化，通过增加模糊隶属度调整网络权重，该优化策略可以提高权重较大的特征信息，减少权重较小的特征信息。通过精确裁剪网络权重，有效减少了网络中的参数。最终通过对比实验结果表明，该方法的性能优于现有方法。
本发明的技术方案为一种密集稀疏密集算法的优化方法，包括初始Dense 训练阶段、Fuzzy阶段、最后Dense阶段，包括如下步骤：
步骤1，初始Dense阶段经过训练得到初始网络权值，输入数据对网络原始结构进行训练，得到网络最优参数，再将训练得到的参数作为Fuzzy训练阶段的初始化权值；
步骤2，在Fuzzy训练阶段，先计算每一层N个网络权值W的数值总和S，然后求出每个网络权值在S中所占的比例η，即隶属度；
Figure GDA0002269811940000021
Figure GDA0002269811940000022
其中，W表示权值，N表示每层网络权值的个数，计算每一层N个网络权值W 的数值总和S，求出每个网络权值在S中所占的比例η，即为隶属度，i表示前一层的神经元的编号，j表示后一层的神经元的编号；m表示前一层神经元的个数， n表示后一层神经元的个数；
初始Dense阶段到Fuzzy阶段用隶属度来判断网络权值的重要性，通过隶属度将网络权值进行分类，对网络中不重要的连接和权值进行裁剪，把网络修剪成中小网络；
步骤3，将网络中的权值重新进行迭代训练，迭代公式如下，
Figure GDA0002269811940000023
其中，t为迭代次数，a是表示学习率，x表示输入数据，
Figure GDA0002269811940000024
是表示哈密顿算子，权值以哈密顿算子为公差，依次递减；
步骤4，将每次权值迭代更新的数值乘以与权值相对应的隶属度，作为下一次迭代更新的初始权值，并依次完成一次Fuzzy阶段的训练；
Figure GDA0002269811940000031
步骤5，在最后Dense训练阶段，将裁剪的权值还原以及Fuzzy阶段训练好的网络权值作为其初始化权值，将其学习率调整为原来的
Figure GDA0002269811940000032
使整个网络迭代训练10000以上，或者输出结果趋于稳定时，完成最后Dense阶段的训练。
进一步的，步骤1中初始Dense阶段的网络参数训练与初始化和DSD算法训练过程相同。
进一步的，步骤2中利用模糊控制和k均值相结合的方法区分网络中不重要的连接和权值，具体实现方式为：首先随机取多个权值点，再随机取多个权值为中心点，通过反复训练，将所有的权值分为以随机取点为中心的多个区域，从而区分出使用频率低和计算影响很小的网络权值，即不重要的连接和权值。
本发明与传统的DSD算法相比较，具有以下优点：
1、与其他经典网络相比，本发明提出的优化网络是基于学习权重的价值，并且计算出哪些网络权重是更重要的连接，这种筛选过程更好地提高了分类精度。
2、本发明的框架迁移性相比传统DSD得到提高，可用于继Alexnet后的 VGG16、vgg19等其余新型网络。
3、针对传统的深度神经网络所需上万次迭代分类问题，本发明在数百次迭代以内能有效提高分类精度。
附图说明
图1是本发明模糊DSD算法训练过程图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
如图1所示，本发明提供由三部分组成，分别是初始Dense阶段、Fuzzy阶段、最后Dense阶段，本发明提供的一种密集稀疏密集算法的优化方法，即模糊 DSD算法，其训练流程如表1，具体包括如下步骤：
步骤1，初始Dense阶段经过训练得到初始网络权值，其网络参数训练与初始化与DSD算法训练过程相同，输入数据对网络原始结构进行训练，得到网络最优参数，再将训练得到的参数作为Fuzzy训练阶段的初始化权值；
步骤2，在Fuzzy训练阶段，先计算每一层N个网络权值W的数值总和S，然后求出每个网络权值在S中所占的比例η，即隶属度；
Figure GDA0002269811940000041
Figure GDA0002269811940000042
其中，W表示权值，N表示每层网络权值的个数，计算每一层N个网络权值W 的数值总和S，求出每个网络权值在S中所占的比例η，即为隶属度，i表示前一层的神经元的编号，j表示后一层的神经元的编号；m表示前一层神经元的个数， n表示后一层神经元的个数；
初始Dense阶段到Fuzzy阶段用隶属度来判断网络权值的重要性，通过隶属度就是通过聚类分析的方法将网络权值进行分类，由于这里要确定权值是否重要，但权值本身是具有不明确类属特性的，只能区别程度和等级，也就是说不能用一个具体的阈值来限制，所以这里利用模糊控制和k均值相结合的方法。首先随机取多个权值点，再随机取多个权值为中心点；通过反复训练，将所有的权值分为以随机取点为中心的多个区域，从而区分出使用频率低和计算影响很小的网络权值，再对网络中不重要的连接和权值(不重要的连接和权值是指在训练过程中，某些权值在网络计算中使用的频率低或者使用时对网络计算的结果影响很小)进行裁剪，把网络修剪成中小网络。图1中Fuzzy训练阶段连线之间的式子表示权值的隶属度大小。
步骤3，将网络中的权值重新进行迭代训练，迭代公式如下，
Figure GDA0002269811940000043
其中，t为迭代次数，a是表示学习率，x表示输入数据，
Figure GDA0002269811940000044
是表示哈密顿算子，权值以哈密顿算子为公差，依次递减。为了便于区分，
Figure GDA0002269811940000045
是表示具体的某一个权值，用于计算，
Figure GDA0002269811940000046
是单指某层下一个权值，这里
Figure GDA0002269811940000047
是指在t次迭代下的权值。
步骤4，将每次权值迭代更新的数值乘以与权值相对应的隶属度，作为下一次迭代更新的初始权值，并依次完成一次Fuzzy阶段训练；
Figure GDA0002269811940000051
步骤5，在最后Dense训练阶段，将裁剪的权值还原以及Fuzzy阶段训练好的网络权值作为其初始化权值，这样不仅使网络结构容量增加，而且网络权值增加更容易使神经网络鞍点向下滑动以获得更好的局部最小值，并且将其学习率调整为原来的
Figure GDA0002269811940000052
避免训练网络时陷入局部最优，使整个网络迭代10000以上，或者输出结果趋于稳定时，完成最后Dense阶段的训练。图1中虚线表示重新还原的权值之间的连接，由图1知，此网络通过裁剪和填充网络权值，改变网络的容量。
表1模糊DSD算法的训练流程
Figure GDA0002269811940000053
Figure GDA0002269811940000061
注：Fuzzy阶段用Wij (t)表示每个具体权值参与网络计算，和对应的隶属度相乘来更新权值；对应的， W(t)是表示由Wij (t)组成矩阵，由一层或多层网络权值组合的矩阵形式，由于不需要在Dense阶段描述单个权值，所以直接用矩阵的形式来表示。
为了验证模糊DSD算法在卷积神经网络上的性能，本发明实施例采用 MNIST手写数据集和CIFAR-10数据集、车辆数据集进行测试。选取LeNet-5神经网络和Alexnet神经网络作为实验的基础网络结构，将模糊DSD算法与DSD 算法分别应用在基础网络结构中，再将网络相互进行对比分析性能。
1.MNIST数据集实验结果
表4.1两种算法在MNIST数据集上的测试效果
Figure GDA0002269811940000062
2.CIFAR-10数据集实验结果
表4.2两种算法在CIFAR-10数据集上的测试效果
Figure GDA0002269811940000071
3.车辆数据集实验结果
表4.3两种算法在车辆数据集上的测试效果
Figure GDA0002269811940000072
Figure GDA0002269811940000081
从表4.1与表4.2、表4.3可以看出，采用模糊DSD算法改进的卷积神经网络正确率优于采用DSD算法的卷积神经网络的。在三个数据集中，随着迭代次数的增加，采用模糊DSD算法的卷积神经网络的错误率呈现出下降的趋势，而且采用模糊DSD相比于DSD算法能使两种卷积神经网络在训练时更快收敛。从表中可以看到，实验迭代次数在五百次以内，分类精度明显上升趋势，针对深度学习大数据环境下分类精度提高5％左右已实属不易。
从表中我们发现，LeNet-5网络比AlexNet网络先达到最佳分类效果。在相同迭代次数下Alexnet网络对MNIST数据集等的分类效果稍逊于LeNet-5网络，可能与Alexnet网络训练参数过多、训练样本与训练次数较少而导致网络没有得到充分训练有关。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (3)

1.一种基于模糊密集稀疏密集算法进行图像分类的方法，其特征在于，包括如下步骤：
选取LeNet-5神经网络和Alexnet神经网络作为基础网络结构，通过模糊密集稀疏密集算法对网络进行训练，利用训练好的网络对图像数据集进行分类；其中通过模糊密集稀疏密集算法对网络进行训练包括初始Dense训练阶段、Fuzzy阶段、最后Dense阶段，具体实现方式如下：
步骤1，初始Dense阶段经过训练得到初始网络权值，输入数据对网络原始结构进行训练，得到网络最优参数，再将训练得到的参数作为Fuzzy训练阶段的初始化权值；
步骤2，在Fuzzy训练阶段，先计算每一层N个网络权值W的数值总和S，然后求出每个网络权值在S中所占的比例η，即隶属度；
Figure FDA0002269811930000011
Figure FDA0002269811930000012
其中，W表示权值，N表示每层网络权值的个数，计算每一层N个网络权值W的数值总和S，求出每个网络权值在S中所占的比例η，即为隶属度，i表示前一层的神经元的编号，j表示后一层的神经元的编号；m表示前一层神经元的个数，n表示后一层神经元的个数；
初始Dense阶段到Fuzzy阶段用隶属度来判断网络权值的重要性，通过隶属度将网络权值进行分类，对网络中不重要的连接和权值进行裁剪，把网络修剪成中小网络；
步骤3，将网络中的权值重新进行迭代训练，迭代公式如下，
Figure FDA0002269811930000013
其中，t为迭代次数，a是表示学习率，x表示输入数据，▽f是表示哈密顿算子，权值以哈密顿算子为公差，依次递减；
步骤4，将每次权值迭代更新的数值乘以与权值相对应的隶属度，作为下一次迭代更新的初始权值，并依次完成一次Fuzzy阶段的训练；
Figure FDA0002269811930000014
步骤5，在最后Dense训练阶段，将裁剪的权值还原以及Fuzzy阶段训练好的网络权值作为其初始化权值，将其学习率调整为原来的
Figure FDA0002269811930000015
使整个网络迭代训练10000以上，或者输出结果趋于稳定时，完成最后Dense阶段的训练。
2.如权利要求1所述一种基于模糊密集稀疏密集算法进行图像分类的方法，其特征在于：步骤1中初始Dense阶段的网络参数训练与初始化和DSD算法训练过程相同。
3.如权利要求1所述一种基于模糊密集稀疏密集算法进行图像分类的方法，其特征在于：步骤2中利用模糊控制和k均值相结合的方法区分网络中不重要的连接和权值，具体实现方式为：首先随机取多个权值点，再随机取多个权值为中心点，通过反复训练，将所有的权值分为以随机取点为中心的多个区域，从而区分出使用频率低和计算影响很小的网络权值，即不重要的连接和权值。
CN201810666946.XA 2018-06-26 2018-06-26 一种基于模糊密集稀疏密集算法进行图像分类的方法 Active CN108932550B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810666946.XA CN108932550B (zh) 2018-06-26 2018-06-26 一种基于模糊密集稀疏密集算法进行图像分类的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810666946.XA CN108932550B (zh) 2018-06-26 2018-06-26 一种基于模糊密集稀疏密集算法进行图像分类的方法

Publications (2)

Publication Number Publication Date
CN108932550A CN108932550A (zh) 2018-12-04
CN108932550B true CN108932550B (zh) 2020-04-24

Family

ID=64447070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810666946.XA Active CN108932550B (zh) 2018-06-26 2018-06-26 一种基于模糊密集稀疏密集算法进行图像分类的方法

Country Status (1)

Country Link
CN (1) CN108932550B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349087B (zh) * 2019-07-08 2021-02-12 华南理工大学 基于适应性卷积的rgb-d图像高质量网格生成方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968663A (zh) * 2012-11-29 2013-03-13 河海大学 基于无标记样本的神经网络构建方法及其装置
CN103336992A (zh) * 2013-06-27 2013-10-02 电子科技大学 一种模糊神经网络学习算法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10089717B2 (en) * 2016-04-05 2018-10-02 Flipboard, Inc. Image scaling using a convolutional neural network
CN106250931A (zh) * 2016-08-03 2016-12-21 武汉大学 一种基于随机卷积神经网络的高分辨率图像场景分类方法
US10776659B2 (en) * 2016-08-26 2020-09-15 Goodrich Corporation Systems and methods for compressing data
CN107688850B (zh) * 2017-08-08 2021-04-13 赛灵思公司 一种深度神经网络压缩方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102968663A (zh) * 2012-11-29 2013-03-13 河海大学 基于无标记样本的神经网络构建方法及其装置
CN103336992A (zh) * 2013-06-27 2013-10-02 电子科技大学 一种模糊神经网络学习算法

Also Published As

Publication number Publication date
CN108932550A (zh) 2018-12-04

Similar Documents

Publication Publication Date Title
CN110020682B (zh) 一种基于小样本学习的注意力机制关系对比网络模型方法
US20190228268A1 (en) Method and system for cell image segmentation using multi-stage convolutional neural networks
CN111079795B (zh) 基于cnn的分片多尺度特征融合的图像分类方法
CN111160176B (zh) 基于融合特征的一维卷积神经网络地面雷达目标分类方法
CN110852168A (zh) 基于神经架构搜索的行人重识别模型构建方法及装置
CN107392919B (zh) 基于自适应遗传算法的灰度阈值获取方法、图像分割方法
CN112069310B (zh) 基于主动学习策略的文本分类方法及系统
CN107729999A (zh) 考虑矩阵相关性的深度神经网络压缩方法
CN111898730A (zh) 一种利用图卷积神经网络结构加速的结构优化设计方法
CN113326731A (zh) 一种基于动量网络指导的跨域行人重识别算法
CN112557034B (zh) 一种基于pca_cnns的轴承故障诊断方法
CN112685504B (zh) 一种面向生产过程的分布式迁移图学习方法
CN113408605A (zh) 基于小样本学习的高光谱图像半监督分类方法
US20210073633A1 (en) Neural network rank optimization device and optimization method
CN111985825A (zh) 一种用于滚磨机定向仪的晶面质量评估方法
CN111539444A (zh) 一种修正式模式识别及统计建模的高斯混合模型方法
CN108280236A (zh) 一种基于LargeVis的随机森林可视化数据分析方法
CN111652264B (zh) 基于最大均值差异的负迁移样本筛选方法
CN113066528B (zh) 基于主动半监督图神经网络的蛋白质分类方法
CN108932550B (zh) 一种基于模糊密集稀疏密集算法进行图像分类的方法
CN110619311A (zh) 一种基于eemd-ica-svm的数据分类方法
CN108090564A (zh) 基于网络权重初始和最终状态差异的冗余权重去除方法
CN111582442A (zh) 一种基于优化深度神经网络模型的图像识别方法
CN115906959A (zh) 基于de-bp算法的神经网络模型的参数训练方法
CN115797309A (zh) 一种基于两阶段增量学习的表面缺陷分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant