CN107729992B - 一种基于反向传播的深度学习方法 - Google Patents

一种基于反向传播的深度学习方法 Download PDF

Info

Publication number
CN107729992B
CN107729992B CN201711029714.5A CN201711029714A CN107729992B CN 107729992 B CN107729992 B CN 107729992B CN 201711029714 A CN201711029714 A CN 201711029714A CN 107729992 B CN107729992 B CN 107729992B
Authority
CN
China
Prior art keywords
image
training
network
deep learning
training set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711029714.5A
Other languages
English (en)
Other versions
CN107729992A (zh
Inventor
王好谦
安王鹏
方璐
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Weilai Media Technology Research Institute
Shenzhen Graduate School Tsinghua University
Original Assignee
Shenzhen Weilai Media Technology Research Institute
Shenzhen Graduate School Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Weilai Media Technology Research Institute, Shenzhen Graduate School Tsinghua University filed Critical Shenzhen Weilai Media Technology Research Institute
Priority to CN201711029714.5A priority Critical patent/CN107729992B/zh
Publication of CN107729992A publication Critical patent/CN107729992A/zh
Application granted granted Critical
Publication of CN107729992B publication Critical patent/CN107729992B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于反向传播的深度学习方法，包括以下步骤：S1：准备训练集；S2：将所述训练集输入到卷积神经网络，得到网络输出；S3：计算所述网络输出和所述训练集中的真值之间的距离，得到交叉熵目标函数；S4：根据所述交叉熵目标函数判断步骤S2的所述网络输出的准确率是否提升，如果是，则执行步骤S5，如果否，则结束训练；S5：采用正弦指数学习速率来对所述卷积神经网络的权值进行更新，并将更新后的该权值输入到步骤S2的所述卷积神经网络中，然后重复步骤S2至S4。本发明提出的深度学习方法，能够大幅度加快分类网络的训练。

Description

一种基于反向传播的深度学习方法
技术领域
本发明涉及计算机视觉和图像处理领域，尤其涉及一种基于反向传播的深度学习方法。
背景技术
图像分类属于计算机视觉和图像处理领域，是计算机视觉领域的核心问题之一，有着各种各样实际应用，很多问题比如人脸定位、行人定位都可以归结为分类问题，所以图像分类是一个具有基础性质的图像处理问题，有着重要的学术和工业研究价值。图像超分辨的目标就是，就是已有固定的分类标签集合，然后对于输入的图像，从分类标签集合中找出一个分类标签，最后把分类标签分配给该输入图像。对于人来说，识别出一个像“猫”一样视觉概念是简单至极的，然而从计算机视觉算法的角度来看主要有以下挑战：1、视角变化：同一个物体，摄像机可以从多个角度来展现；2、大小变化：物体可视的大小通常是会变化的(不仅是在图片中，在真实世界中大小也是变化的)；3、形变：很多东西的形状并非一成不变，会有很大变化；4、遮挡：目标物体可能被挡住，有时候只有物体的一小部分(可以小到几个像素)是可见的；5、光照条件：在像素层面上，光照的影响非常大；6、背景干扰：物体可能混入背景之中，使之难以被辨认；7、类内差异：一类物体的个体之间的外形差异很大，比如椅子，这一类物体有许多不同的对象，每个都有自己的外形。面对以上所有变化及其组合，好的图像分类模型能够在维持分类结论稳定的同时，保持对类间差异足够敏感。
目前主流的图像分类方法主要分为三大类：基于最近邻分类器KNN的方法、基于支持向量机的方法和基于深度学习的方法；其中基于KNN的方法，思路简单清晰，完全不需要训练，但是在模型部署的时候会非常耗时，需要和全部训练集中的图片比对一遍；基于支持向量机的方法的计算的复杂性取决于支持向量的数目，而不是样本空间的维数，在某种意义上避免了“维数灾难”；但是其对于核函数的高维映射解释力不强，且依赖于实验者的经验，对数据缺失敏感；基于深度学习的方法从训练集中学习大量先验知识，可以对数据进行自动特征的提取，从而不依赖于人工去选择特征，因此深度神经网络已经在计算机视觉、自然语言处理、语音识别等领域取得了突破性的效果；但是在使用过程中，所涉及的神经网络超参数较多，需要长时间的调试，训练速度一般都较慢，这在一定程度上影响了深度学习在图像分类方法中的广泛应用。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
为解决上述技术问题，本发明提出了一种基于反向传播的深度学习方法，能够大幅度加快分类网络的训练。
为了达到上述目的，本发明采用以下技术方案：
本发明公开了一种基于反向传播的深度学习方法，包括以下步骤：
S1：准备训练集；
S2：将所述训练集输入到卷积神经网络，得到网络输出；
S3：计算所述网络输出和所述训练集中的真值之间的距离，得到交叉熵目标函数；
S4：根据所述交叉熵目标函数判断步骤S2的所述网络输出的准确率是否提升，如果是，则执行步骤S5，如果否，则结束训练；
S5：采用正弦指数学习速率来对所述卷积神经网络的权值进行更新，并将更新后的该权值输入到步骤S2的所述卷积神经网络中，然后重复步骤S2至S4。
优选地，步骤S1中包括：对自然图像公共数据集进行增强处理，得到增强后的数据集作为训练集。
优选地，步骤S1中的对自然图像公共数据集进行增强处理具体包括：旋转图像、剪切图像、缩放图像、对比度变换、改变图像尺寸、对图像加噪音。
优选地，其中对比度变换具体包括：在图像的HSV颜色空间，保持色调H不变，对每个像素的S和V分量进行指数运算，其中指数因子在0.25～4之间。
优选地，步骤S1中还包括采用图像差值方法将增强后的数据集统一到224×224的尺寸作为训练集。
优选地，步骤S2中的卷积神经网络中具体选择宽度残差网络作为学习的模型。
优选地，步骤S5中的正弦指数学习速率为：
Figure BDA0001449039660000031
式中，lr0表示初始的学习速率，t表示训练网络时的迭代次数，α为衰减系数，β为振荡系数，T表示训练集在网络中训练一次所需的迭代次数。
与现有技术相比，本发明的有益效果在于：本发明公开的基于反向传播的深度学习方法，采用正弦指数学习速率作为反向传播的参数来对卷积神经网络进行优化，能够大幅度地加速分类网络的训练，更快地使神经网络获取精确提取特征的能力；而且使用指数的方式，可以使学习速率不断地下降，利用正弦函数的方法，使得学习速率进行一定范围的震荡，从而可以更快速地训练深度学习分类网络。
在进一步的方案中，采用特定的正弦指数学习速率对模型的参数进行更新，使得深度学习模型可以以2～5倍的速度进行分类网络的训练。
附图说明
图1是本发明优选实施例的基于反向传播的深度学习方法的流程示意图；
图2是本发明优选实施例的正弦指数学习速率的示意图。
具体实施方式
下面对照附图并结合优选的实施方式对本发明作进一步说明。
如图1所示，本发明优选实施例的基于反向传播的深度学习方法，包括以下步骤：
S1：准备训练集；
在本实施例中，以自然图像公共数据集(如Image Net数据集)作为训练集，为了丰富图像训练集，更好的提取Image Net数据集的图像特征，并泛化模型(防止模型过拟合)，对该数据集进行图像增强，得到更大的数据集。
图像增强的内容包括：1、旋转图像，随机旋转图像一定角度，改变图像内容的朝向；2、剪切图像，随机截取图像中一块区域；3、缩放变换，按照一定的比例缩放图像；4、对比度变换，在图像的HSV颜色空间，改变饱和度S和V的亮度分量，保持色调H不变，在具体的实施例中，对每个像素的S和V分量进行指数运算，指数因子在0.25～4之间，以增加光照变化；5、改变图像尺寸，以一定概率使用Opencv的双线性差值方法对原始图像的尺寸进行改变；6、对图像加噪音，在具体实施例中，对图像加的噪声为标准正态分布的高斯函数。
在具体的实施例中，使用Opencv的图像差值方法把所有增强后的数据统一到224×224的尺寸作为网络的输入的训练集。
S2：将预处理后的数据集作为训练集输入到卷积神经网络，得到网络输出；
在具体的实施例中，选择宽度残差网络作为学习的模型，并对模型的参数进行高斯分布的初始化。
S3：根据步骤S2的网络输出和步骤S1中的数据集中的真值(数据集中可以设置数据分类标签)计算交叉熵目标函数，该目标函数表示网络输出与数据集中的真值之间的距离；
S4：根据步骤S3的交叉熵目标函数判断步骤S2的网络输出的准确率是否提升，如果是，则执行步骤S5，如果否，则结束训练；
S5：结合正弦函数的振荡特性与指数函数的递减特性，采用正弦指数学习速率来对卷积神经网络的权值进行更新，并将更新后的该权值输入到步骤S2的卷积神经网络中，重复步骤S2至S4。
其中，如图2所示，该正弦指数学习速率为：
Figure BDA0001449039660000041
式中，lr0表示初始的学习速率，t表示训练网络时的迭代次数，α为衰减系数，β为振荡系数，T表示训练集的样本数/每次迭代的样本数，也即训练集在网络中训练一次所需的迭代次数。
本发明优选实施例的基于反向传播的深度学习方法，首先对图像公共数据集进行预处理，得到增强后的数据集，作为宽度残差网络的训练集；然后将训练模型的目标函数确定为交叉熵目标函数，优化方法会不断地使目标函数减小，从而让模型的识别能力不断增强；其中优化方法采用基于反向传播的优化方法，并使用正弦指数函数学习速率来进行模型的训练，训练包括不断地根据交叉熵求模型权值的梯度，并使用正弦指数函数学习速率作为反向传播的参数来不断地更新模型的参数。通过本发明优选实施例的基于反向传播的深度学习方法，能够快速地进行神经网络的训练，使深度学习模型可以以2～5倍的速度进行分类网络的训练。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (6)

1.一种基于反向传播的深度学习方法，其特征在于，包括以下步骤：
S1：准备训练集，其中，以自然图像公共数据集作为所述训练集；
S2：将所述训练集输入到卷积神经网络，得到网络输出；
S3：计算所述网络输出和所述训练集中的真值之间的距离，得到交叉熵目标函数；
S4：根据所述交叉熵目标函数判断步骤S2的所述网络输出的准确率是否提升，如果是，则执行步骤S5，如果否，则结束训练；
S5：采用正弦指数学习速率来对所述卷积神经网络的权值进行更新，并将更新后的该权值输入到步骤S2的所述卷积神经网络中，然后重复步骤S2至S4，由此加速网络训练；
步骤S5中的正弦指数学习速率为：
Figure FDA0002670213250000011
式中，lr0表示初始的学习速率，t表示训练网络时的迭代次数，α为衰减系数，β为振荡系数，T表示训练集在网络中训练一次所需的迭代次数。
2.根据权利要求1所述的深度学习方法，其特征在于，步骤S1中包括：对自然图像公共数据集进行增强处理，得到增强后的数据集作为训练集。
3.根据权利要求2所述的深度学习方法，其特征在于，步骤S1中的对自然图像公共数据集进行增强处理具体选自以下处理方式：旋转图像、剪切图像、缩放图像、对比度变换、改变图像尺寸、对图像加噪音。
4.根据权利要求3所述的深度学习方法，其特征在于，其中对比度变换具体包括：在图像的HSV颜色空间，保持色调H不变，对每个像素的饱和度S和亮度V分量进行指数运算，其中指数因子在0.25～4之间。
5.根据权利要求2所述的深度学习方法，其特征在于，步骤S1中还包括采用图像差值方法将增强后的数据集统一到224×224的尺寸作为训练集。
6.根据权利要求1所述的深度学习方法，其特征在于，步骤S2中的卷积神经网络中具体选择宽度残差网络作为学习的模型。
CN201711029714.5A 2017-10-27 2017-10-27 一种基于反向传播的深度学习方法 Active CN107729992B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711029714.5A CN107729992B (zh) 2017-10-27 2017-10-27 一种基于反向传播的深度学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711029714.5A CN107729992B (zh) 2017-10-27 2017-10-27 一种基于反向传播的深度学习方法

Publications (2)

Publication Number Publication Date
CN107729992A CN107729992A (zh) 2018-02-23
CN107729992B true CN107729992B (zh) 2020-12-29

Family

ID=61203084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711029714.5A Active CN107729992B (zh) 2017-10-27 2017-10-27 一种基于反向传播的深度学习方法

Country Status (1)

Country Link
CN (1) CN107729992B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110110780B (zh) * 2019-04-30 2023-04-07 南开大学 一种基于对抗神经网络和海量噪声数据的图片分类方法
JP7279507B2 (ja) * 2019-05-21 2023-05-23 富士通株式会社 情報処理装置、情報処理プログラム及び制御方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850845A (zh) * 2015-05-30 2015-08-19 大连理工大学 一种基于非对称卷积神经网络的交通标志识别方法
CN105184312A (zh) * 2015-08-24 2015-12-23 中国科学院自动化研究所 一种基于深度学习的文字检测方法及装置
CN105631479A (zh) * 2015-12-30 2016-06-01 中国科学院自动化研究所 基于非平衡学习的深度卷积网络图像标注方法及装置
CN106127230A (zh) * 2016-06-16 2016-11-16 上海海事大学 基于人类视觉感知的图像识别方法
CN106296692A (zh) * 2016-08-11 2017-01-04 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN106789214A (zh) * 2016-12-12 2017-05-31 广东工业大学 一种基于正余双弦算法的网络态势感知方法及装置
CN106909924A (zh) * 2017-02-18 2017-06-30 北京工业大学 一种基于深度显著性的遥感影像快速检索方法
CN107180430A (zh) * 2017-05-16 2017-09-19 华中科技大学 一种适用于语义分割的深度学习网络构建方法及系统
CN107273517A (zh) * 2017-06-21 2017-10-20 复旦大学 基于图嵌入学习的图文跨模态检索方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104850845A (zh) * 2015-05-30 2015-08-19 大连理工大学 一种基于非对称卷积神经网络的交通标志识别方法
CN105184312A (zh) * 2015-08-24 2015-12-23 中国科学院自动化研究所 一种基于深度学习的文字检测方法及装置
CN105631479A (zh) * 2015-12-30 2016-06-01 中国科学院自动化研究所 基于非平衡学习的深度卷积网络图像标注方法及装置
CN106127230A (zh) * 2016-06-16 2016-11-16 上海海事大学 基于人类视觉感知的图像识别方法
CN106296692A (zh) * 2016-08-11 2017-01-04 深圳市未来媒体技术研究院 基于对抗网络的图像显著性检测方法
CN106789214A (zh) * 2016-12-12 2017-05-31 广东工业大学 一种基于正余双弦算法的网络态势感知方法及装置
CN106909924A (zh) * 2017-02-18 2017-06-30 北京工业大学 一种基于深度显著性的遥感影像快速检索方法
CN107180430A (zh) * 2017-05-16 2017-09-19 华中科技大学 一种适用于语义分割的深度学习网络构建方法及系统
CN107273517A (zh) * 2017-06-21 2017-10-20 复旦大学 基于图嵌入学习的图文跨模态检索方法

Also Published As

Publication number Publication date
CN107729992A (zh) 2018-02-23

Similar Documents

Publication Publication Date Title
Shan et al. Automatic facial expression recognition based on a deep convolutional-neural-network structure
CN111950453B (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN108416266B (zh) 一种利用光流提取运动目标的视频行为快速识别方法
WO2018052587A1 (en) Method and system for cell image segmentation using multi-stage convolutional neural networks
US9449253B2 (en) Learning painting styles for painterly rendering
CN109035260A (zh) 一种天空区域分割方法、装置和卷积神经网络
CN110991349B (zh) 一种基于度量学习的轻量级车辆属性识别方法
CN110136162B (zh) 无人机视角遥感目标跟踪方法及装置
CN114511576B (zh) 尺度自适应特征增强深度神经网络的图像分割方法与系统
CN109753996B (zh) 基于三维轻量化深度网络的高光谱图像分类方法
CN116740362B (zh) 一种基于注意力的轻量化非对称场景语义分割方法及系统
CN113822951A (zh) 图像处理方法、装置、电子设备及存储介质
CN110135371A (zh) 一种基于Mixup算法的柑橘黄龙病识别方法及装置
CN116310693A (zh) 基于边缘特征融合和高阶空间交互的伪装目标检测方法
CN111339902A (zh) 一种数显仪表的液晶屏示数识别方法及装置
CN107958219A (zh) 基于多模型和多尺度特征的图像场景分类方法
CN113096023A (zh) 神经网络的训练方法、图像处理方法及装置、存储介质
Heo et al. Automatic sketch colorization using DCGAN
CN110287990A (zh) 微型藻类图像分类方法、系统、设备及存储介质
CN107729992B (zh) 一种基于反向传播的深度学习方法
CN114581918A (zh) 一种文本识别模型训练方法及装置
CN113205103A (zh) 一种轻量级的文身检测方法
CN117253071B (zh) 基于多级伪标签增强的半监督目标检测方法及系统
CN117437691A (zh) 一种基于轻量化网络的实时多人异常行为识别方法及系统
CN109344852A (zh) 图像识别方法和装置、分析仪器和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant