CN107330446B - 一种面向图像分类的深度卷积神经网络的优化方法 - Google Patents
一种面向图像分类的深度卷积神经网络的优化方法 Download PDFInfo
- Publication number
- CN107330446B CN107330446B CN201710411668.9A CN201710411668A CN107330446B CN 107330446 B CN107330446 B CN 107330446B CN 201710411668 A CN201710411668 A CN 201710411668A CN 107330446 B CN107330446 B CN 107330446B
- Authority
- CN
- China
- Prior art keywords
- layer
- neural network
- network
- image classification
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
一种面向图像分类的深度卷积神经网络的优化方法,包括以下步骤;步骤一、构建图像分类卷积神经网络,步骤二、训练图像分类卷积神经网络;步骤三、测试图像分类卷积神经网络,过程如下:将预处理好的测试数据集送入训练好的网络模型,网络的Accuracy层根据Softmax层输出的概率值以及输入层的标签值输出一个精确度值,即测试图像被正确分类的概率;经过上述步骤的操作,即可实现面向图像分类的深度卷积神经网络的优化。本发明提供一种有效缩小语义鸿沟、分类准确性较高的面向图像分类的深度卷积神经网络的优化方法。
Description
技术领域
本发明涉及计算机视觉领域和深度学习领域,特别涉及一种面向图像分类的深度卷积神经网络的优化方法,属于基于深度学习的计算机视觉领域。
背景技术
以卷积神经网络为代表的深度学习技术近些年来已经在很多方面取得了重大突破,特别是在计算机视觉领域,如图像分类,目标检索等,都取得了很好的效果。
图像分类指利用计算机的特征表达来模拟人类对图像的理解,自动将图像按照人类的理解方式划分到不同的语义空间。在图像分类任务中,为了获得更高的分类精度,需要对图像提取不同层次的特征信息。目前,图像分类研究领域仍然存在一个巨大挑战,即由机器表达出来的底层图像特征和人类所感知的高层语义信息之间存在一个“语义鸿沟”,这个“语义鸿沟”往往会影响最后的分类效果。而卷积神经网络对高层语义特征的强大表达能力,能够很好的缩小这个“语义鸿沟”。
发明内容
为了解决现有技术存在的语义鸿沟及分类准确率不高的问题,本发明提供一种有效缩小语义鸿沟、分类准确性较高的面向图像分类的深度卷积神经网络的优化方法。
本发明解决其技术问题所采用的技术方案是:
一种面向图像分类的深度卷积神经网络的优化方法,包括以下步骤;
步骤一、构建图像分类卷积神经网络,过程如下:
步骤1.1:该网络由五个卷积层、三个池化层和三个全连接层,和一个Softmax层组成;
步骤1.2:池化层用最大值-均值池化方式,将卷积层的输出分别用最大值、均值池化方式先处理,再将最大值和均值池化后的输出用Eltwise函数,采用总和操作输出;
步骤1.3:在全连接层采用Maxout激活函数,把FC-6层和FC-7层的输出后接Slice函数随机将输出分为两个部分;
步骤1.4:在Slice层后接Eltwise函数,采用最大值输出操作,通过步骤1.3和1.4实现全连接层的Maxout激活;
步骤1.5:在全连接层的FC-7和FC-8层之间增加一个新的隐层H,隐层H是一个全连接层,其神经元的活动由后续的网络层的语义编码和分类调节;
步骤1.6:隐层H后接一个Sigmoid激活函数来控制隐层神经元的活动,把输出控制为{0,1};
步骤二、训练图像分类卷积神经网络,过程如下:
步骤2.1:在网络的输入层对输入的图像进行随机裁剪,并将裁剪后的图像和裁剪旋转180度后的图像一起输入上述网络模型中;
步骤2.2:计算训练数据集的均值文件;
步骤2.3:采用预训练网络模型的方式,即用在ImageNet数据集上预训练好AlexNet的权值来初始化网络,并对隐层和输出层的权值采用随机初始化的方式;
步骤2.4:向初始化后的网络模型中输入训练样本和标签,通过反向传播算法在目标数据集上微调网络参数,使损失函数值最小;
步骤三、测试图像分类卷积神经网络,过程如下:
将预处理好的测试数据集送入训练好的网络模型,网络的Accuracy层根据Softmax层输出的概率值以及输入层的标签值输出一个精确度值,即测试图像被正确分类的概率;
经过上述步骤的操作,即可实现面向图像分类的深度卷积神经网络的优化。
本发明的效果和益处是:本发明提出了一种面向图像分类的深度卷积神经网络的优化方法,通过在卷积层使用最大-均值池化方式和在全连接层采用Maxout激活函数,能够学习精确特征表达。并且隐层的二值哈希编码使网络能够学习高效二值哈希编码,减少计算开销。
附图说明
图1是一种面向图像分类的深度卷积神经网络的优化方法的示意图。
具体实施方式
为了更好的说明本发明的技术方案,下面结合附图,通过1个实施例,对本发明做进一步说明。
参照图1,一种面向图像分类的深度卷积神经网络的优化方法,包括构建、训练和测试三个过程。
本实施案例中的图片分为100类,每类图片有600张。在每类图片中随机挑选500张图片用于训练,剩余100张图片用于测试。一种面向图像分类的深度卷积神经网络的优化方法,其结构框架如图1所示,操作步骤包括网络构建,训练和测试,具体如下:
步骤一、构建图像分类卷积神经网络,如图1所示:
步骤1.1:该网络的基本框架由五个卷积层、三个池化层、三个全连接层、一个隐层和一个Softmax层组成。每层由多个二维平面组成,每个平面包含多个独立神经元。前两个卷积层后Relu激活、归一化和池化操作,后两个卷积层后跟Relu激活,最后一个卷积层后跟Relu激活、池化操作。全连接层Fc6和Fc7后跟Relu激活、Dropout稀疏操作。全连接层Fc8后跟Softmax线性分类器,输出分类图像属于某一类别的概率。
步骤1.2:三个池化层用最大值-均值池化方式。即将卷积层的输出分别用最大值、均值池化处理。两种方式的池化操作核大小为3,偏移量为2,边缘填充为1。输出最大池化值和平均池化值。再将最大池化值和平均池化值作为Eltwise函数的输入,采用总和操作输出总池化值。
步骤1.3:在全连接层采用Maxout激活函数。即把FC-6层和FC-7层的输出后接Slice函数随机将输出分为两个部分:slice1、slice2和slice3、slice4。
步骤1.4:在Slice层后接Eltwise函数,采用最大值操作方式输出slice1和slice2两个输入中的最大值以及slice3和slice4两个输入中的最大值。通过步骤1.3和1.4实现全连接层的Maxout激活。
步骤1.5:在全连接层的FC-7和FC-8层之间增加一个新的隐层H,设定隐层神经元个数n=128。隐层的其他设计和其他全连接层相同。
步骤1.6:隐层H后接一个Sigmoid激活函数来控制隐层神经元的活动,把128维的输出控制为{0,1}。
步骤1.7:FC-8层输出节点数设定为100。
图像分类卷积神经网络参数如表1所示。
表1
步骤二、训练图像分类卷积神经网络,过程如下:
步骤2.1:对256*256的输入图像随机裁剪到227*227大小,并将裁剪后的图像和裁剪旋转180度后的图像一起输入网络。
步骤2.2:计算训练数据集的均值文件,保存为.binaryproto格式的文件,并在网络的输入层指定均值文件的位置。
步骤2.3:采用预训练网络模型的方式,用在ImageNet数据集上预训练好AlexNet的权值来初始化网络,并对隐层和输出层的权值采用随机初始化的方式。
步骤2.4:向初始化后的网络中输入训练样本和标签,计算输入的Softmax损失值,通过反向传播算法在cifar100数据集上微调网络参数,最小化损失函数值。
步骤2.5:设定批处理数据大小为64,初始学习率0.001,最大迭代次数50000次,迭代25000次的时候学习率乘以0.1,并采用随机梯度下降法训练数据。设定迭代10000次保存一次网络模型。
步骤2.6:一次训练完成之后,将最终保存的网络模型作为预训练模型,将初始学习率乘以0.1,重新训练网络,直到损失函数基本不再变化。保留最终的网络模型作为最终结果。
步骤三、测试图像分类卷积神经网络,过程如下:
将预处理好的测试数据集送入训练好的网络模型,网络输出测试图像被正确分类的概率;
经过上述步骤的操作,即可实现面向图像分类的深度卷积神经网络的优化。
以上所述的具体描述,对发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例,用于解释本发明,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (1)
1.一种面向图像分类的深度卷积神经网络的优化方法,其特征在于:包括以下步骤;
步骤一、构建图像分类卷积神经网络,过程如下:
步骤1.1:该网络由五个卷积层、三个池化层和三个全连接层,和一个Softmax层组成;
步骤1.2:池化层用最大值-均值池化方式,将卷积层的输出分别用最大值、均值池化方式先处理,再将最大值和均值池化后的输出用Eltwise函数,采用总和操作输出;
步骤1.3:在全连接层采用Maxout激活函数,把FC-6层和FC-7层的输出后接Slice函数随机将输出分为两个部分;
步骤1.4:在Slice层后接Eltwise函数,采用最大值输出操作,通过步骤1.3和1.4实现全连接层的Maxout激活;
步骤1.5:在全连接层的FC-7和FC-8层之间增加一个新的隐层H,隐层H是一个全连接层,其神经元的活动由后续的网络层的语义编码和分类调节;
步骤1.6:隐层H后接一个Sigmoid激活函数来控制隐层神经元的活动,把输出控制为{0,1};
步骤二、训练图像分类卷积神经网络,过程如下:
步骤2.1:在网络的输入层对输入的图像进行随机裁剪,并将裁剪后的图像和裁剪旋转180度后的图像一起输入网络模型中;
步骤2.2:计算训练数据集的均值文件;
步骤2.3:采用预训练网络模型的方式,即用在ImageNet数据集上预训练好AlexNet的权值来初始化网络,并对隐层和输出层的权值采用随机初始化的方式;
步骤2.4:向初始化后的网络模型中输入训练样本和标签,通过反向传播算法在目标数据集上微调网络参数,使损失函数值最小;
步骤三、测试图像分类卷积神经网络,过程如下:
将预处理好的测试数据集送入训练好的网络模型,网络的Accuracy层根据Softmax层输出的概率值以及输入层的标签值输出一个精确度值,即测试图像被正确分类的概率;
经过上述步骤的操作,即可实现面向图像分类的深度卷积神经网络的优化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710411668.9A CN107330446B (zh) | 2017-06-05 | 2017-06-05 | 一种面向图像分类的深度卷积神经网络的优化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710411668.9A CN107330446B (zh) | 2017-06-05 | 2017-06-05 | 一种面向图像分类的深度卷积神经网络的优化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107330446A CN107330446A (zh) | 2017-11-07 |
CN107330446B true CN107330446B (zh) | 2020-08-04 |
Family
ID=60194051
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710411668.9A Active CN107330446B (zh) | 2017-06-05 | 2017-06-05 | 一种面向图像分类的深度卷积神经网络的优化方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107330446B (zh) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019095118A1 (zh) * | 2017-11-14 | 2019-05-23 | 深圳和而泰智能控制股份有限公司 | 一种皮肤瑕疵点分类方法及电子设备 |
CN108229543A (zh) * | 2017-12-22 | 2018-06-29 | 中国科学院深圳先进技术研究院 | 图像分类模型设计方法及装置 |
CN108074211B (zh) * | 2017-12-26 | 2021-03-16 | 浙江芯昇电子技术有限公司 | 一种图像处理装置及方法 |
CN108665057A (zh) * | 2018-03-29 | 2018-10-16 | 东南大学 | 一种基于卷积神经网络的多生产点位轮毂图像分类方法 |
CN108647742B (zh) * | 2018-05-19 | 2021-07-13 | 南京理工大学 | 基于轻量级神经网络的快速目标检测方法 |
CN108830195A (zh) * | 2018-05-31 | 2018-11-16 | 西安电子科技大学 | 基于现场可编程门阵列fpga的图像分类方法 |
CN110110120B (zh) * | 2018-06-11 | 2021-05-25 | 北方工业大学 | 一种基于深度学习的图像检索方法和装置 |
CN108765423B (zh) * | 2018-06-20 | 2020-07-28 | 北京七鑫易维信息技术有限公司 | 一种卷积神经网络训练方法及装置 |
CN109272107A (zh) * | 2018-08-10 | 2019-01-25 | 广东工业大学 | 一种改进深层卷积神经网络的参数个数的方法 |
CN109685126A (zh) * | 2018-12-17 | 2019-04-26 | 北斗航天卫星应用科技集团有限公司 | 基于深度卷积神经网络的图像分类方法及图像分类系统 |
CN110298386B (zh) * | 2019-06-10 | 2023-07-28 | 成都积微物联集团股份有限公司 | 一种基于图像内容的标签自动化定义方法 |
CN110472483B (zh) * | 2019-07-02 | 2022-11-15 | 五邑大学 | 一种面向sar图像的小样本语义特征增强的方法及装置 |
CN110533068B (zh) * | 2019-07-22 | 2020-07-17 | 杭州电子科技大学 | 一种基于分类卷积神经网络的图像对象识别方法 |
CN110728352A (zh) * | 2019-09-10 | 2020-01-24 | 东南大学 | 一种基于深度卷积神经网络的大规模图像分类方法 |
CN111144496B (zh) * | 2019-12-27 | 2022-11-18 | 齐齐哈尔大学 | 一种基于混合卷积神经网络的垃圾分类方法 |
CN111680711A (zh) * | 2020-04-08 | 2020-09-18 | 上海吴塘科技有限公司 | 基于卷积神经网络的Logo图像分类方法 |
CN112149597A (zh) * | 2020-09-29 | 2020-12-29 | 中国水利水电科学研究院 | 一种基于深度学习的河流表面流速检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106250812A (zh) * | 2016-07-15 | 2016-12-21 | 汤平 | 一种基于快速r‑cnn深度神经网络的车型识别方法 |
CN106815600A (zh) * | 2016-12-27 | 2017-06-09 | 浙江工业大学 | 用于人类行为识别的深度联合结构化和结构化学习方法 |
CN106874929A (zh) * | 2016-12-28 | 2017-06-20 | 诸暨市奇剑智能科技有限公司 | 一种基于深度学习的珍珠分类方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9678664B2 (en) * | 2015-04-10 | 2017-06-13 | Google Inc. | Neural network for keyboard input decoding |
-
2017
- 2017-06-05 CN CN201710411668.9A patent/CN107330446B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106250812A (zh) * | 2016-07-15 | 2016-12-21 | 汤平 | 一种基于快速r‑cnn深度神经网络的车型识别方法 |
CN106815600A (zh) * | 2016-12-27 | 2017-06-09 | 浙江工业大学 | 用于人类行为识别的深度联合结构化和结构化学习方法 |
CN106874929A (zh) * | 2016-12-28 | 2017-06-20 | 诸暨市奇剑智能科技有限公司 | 一种基于深度学习的珍珠分类方法 |
Non-Patent Citations (2)
Title |
---|
《Multimodal learning using Convolution Neural Network and Sparse Autoencoder 》;Tien Duong Vu et al;;《IEEE》;20170228;第309-312页; * |
《深度神经网络架构改进和训练性能提升的研究》;吕燕彬;《硕士学位论文库》;20161231;第1-92页; * |
Also Published As
Publication number | Publication date |
---|---|
CN107330446A (zh) | 2017-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107330446B (zh) | 一种面向图像分类的深度卷积神经网络的优化方法 | |
CN108875807B (zh) | 一种基于多注意力多尺度的图像描述方法 | |
CN110633745B (zh) | 一种基于人工智能的图像分类训练方法、装置及存储介质 | |
CN111368079B (zh) | 一种文本分类的方法、模型训练的方法、装置及存储介质 | |
CN108009148B (zh) | 基于深度学习的文本情感分类表示方法 | |
CN111985369A (zh) | 基于跨模态注意力卷积神经网络的课程领域多模态文档分类方法 | |
CN109284406B (zh) | 基于差异循环神经网络的意图识别方法 | |
CN109740148A (zh) | 一种BiLSTM结合Attention机制的文本情感分析方法 | |
CN108710906B (zh) | 基于轻量级网络LightPointNet的实时点云模型分类方法 | |
CN110110323B (zh) | 一种文本情感分类方法和装置、计算机可读存储介质 | |
CN114090780B (zh) | 一种基于提示学习的快速图片分类方法 | |
CN108595643A (zh) | 基于多分类节点卷积循环网络的文本特征提取及分类方法 | |
CN107563407B (zh) | 一种面向网络空间多模态大数据的特征表示学习系统 | |
CN110111365B (zh) | 基于深度学习的训练方法和装置以及目标跟踪方法和装置 | |
CN110688502A (zh) | 一种基于深度哈希和量化的图像检索方法及存储介质 | |
CN107947921A (zh) | 基于递归神经网络和概率上下文无关文法的密码生成系统 | |
CN108154156B (zh) | 基于神经主题模型的图像集成分类方法及装置 | |
CN114780767B (zh) | 一种基于深度卷积神经网络的大规模图像检索方法及系统 | |
CN110955745B (zh) | 一种基于深度学习的文本哈希检索方法 | |
CN112749274A (zh) | 基于注意力机制和干扰词删除的中文文本分类方法 | |
CN103065158A (zh) | 基于相对梯度的isa模型的行为识别方法 | |
CN115455171B (zh) | 文本视频的互检索以及模型训练方法、装置、设备及介质 | |
CN107563430A (zh) | 一种基于稀疏自动编码器和灰度关联分析法的卷积神经网络算法优化方法 | |
CN112906853A (zh) | 模型自动优化的方法及装置、设备、存储介质 | |
CN111340057A (zh) | 一种分类模型训练的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |