CN108304916B - 结合注意机制与深度可分解卷积的卷积神经网络优化方法 - Google Patents

结合注意机制与深度可分解卷积的卷积神经网络优化方法 Download PDF

Info

Publication number
CN108304916B
CN108304916B CN201810023210.0A CN201810023210A CN108304916B CN 108304916 B CN108304916 B CN 108304916B CN 201810023210 A CN201810023210 A CN 201810023210A CN 108304916 B CN108304916 B CN 108304916B
Authority
CN
China
Prior art keywords
attention mechanism
depth
convolution
neural network
optimization method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810023210.0A
Other languages
English (en)
Other versions
CN108304916A (zh
Inventor
王改华
鲁鸣
刘文洲
袁国亮
吕朦
李涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN201810023210.0A priority Critical patent/CN108304916B/zh
Publication of CN108304916A publication Critical patent/CN108304916A/zh
Application granted granted Critical
Publication of CN108304916B publication Critical patent/CN108304916B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种结合注意机制与深度可分解卷积的卷积神经网络优化方法，是针对于手机等嵌入式设备提出的一种轻量级的神经网络优化方法。注意机制起源于人的大脑当中的注意力机制，人在接受信息时会将注意力集中到所需要的地方，加强对所需信息的提取，从而加快信息提取的效率。而我们知道深度可分解卷积网络本身就是用于移动和嵌入式视觉应用的一种网络结构，具有轻量级，低延迟，且精度尚可接受等特点。本发明将注意机制与深度可分解卷积两者有效结合，在低延迟的前提下，对特征提取加以改进，提高网络的精确度。

Description

结合注意机制与深度可分解卷积的卷积神经网络优化方法
技术领域
本发明属于图像识别技术领域，涉及一种针对手机等嵌入式设备的轻量级的神经网络优化方法，具体涉及一种将注意机制与深度可分解卷积相结合的优化卷积神经网络的方法。
背景技术
注意机制起源于人脑中的注意力机制，大脑在接受到外部信息比如视觉信息、听觉信息的时候，通常是不会对所有信息进行理解与分析的，而只会将注意力集中在部分显著或者感兴趣的信息上，这样有助于滤除不重要的信息，而提升信息处理的效率。实现注意机制的方法是首先输入特征图，通过sigmoid激活函数将特征图上各个像素点的输出限制在(0,1)之间，然后每个输出值加一，再与输入图像进行对应像素的点乘，这样的做法是加强有意义的特征，减弱无意义的信息。
深度可分解卷积源于mobilenet，是将标准卷积分解为深度卷积与点卷积的一种方法，深度卷积将每个卷积核应用到每一个通道，而1x1的点卷积则是用来组合通道卷积的输出。相较于标准卷积，在不影响输入输出的情况下，深度可分解卷积的计算代价要比标准卷积下小得多，并且几乎不影响精度。
发明内容
本发明针对现有技术的不足，提供一种基于注意机制与深度可分解卷积的优化卷积神经网络的方法，对特性提取加以改进，提高网络的准确率。
本发明所采用的技术方案是：一种结合注意机制与深度可分解卷积的卷积神经网络优化方法，其特征在于，包括以下步骤：
步骤1：建立注意机制框架结构，选取数张训练样本作为注意机制框架结构的输入，获得注意机制的特征系数x_res；
步骤2：应用深度可分解卷积提取图片的特征值，建立深度卷积网络结构，将训练样本通过深度卷积dw-conv得到输出，记为G(x)；
步骤3：将特征系数x_res与G(x)中各个特征值进行点乘，输出结果记为 H(x)；
步骤4：应用点卷积对输出结果H(x)进行通道之间的卷积组合，并输出。
本发明为结合注意机制与深度可分解卷积提出的一种改进的神经网络方法，在深度卷积与点卷积之间增加注意机制，加强对特征图的特征信息的提取。实验结果表明，在一些数据集的测试中，该方法较深度可分解卷积网络而言，具有收敛更快，精确度更高的特点。
附图说明
图1为本发明实施例的注意机制结合深度可分解卷积示意图；
图2为本发明实施例的注意机制示意图；
图3为本发明实施例的深度可分解卷积示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种结合注意机制与深度可分解卷积的卷积神经网络优化方法，包括以下步骤：
步骤1：建立注意机制框架结构，选取数张训练样本作为注意机制框架结构的输入，获得注意机制的特征系数x_res；获得注意机制的特征系数图(见图2)。
其具体实现包括以下子步骤：
步骤1.1：对于任意一个训练样本x，使其通过激活函数sigmoid，得到M(x)；
M(x)＝1/(1+exp(-x))；
步骤1.2：将输出的M(x)加上同等大小的全一矩阵ones(即矩阵的元素全为数值1)再输出，获得特征系数，记为x_res；
x_res＝M(x)+ones。
步骤2：应用深度可分解卷积提取图片的特征值，建立深度卷积网络结构，将训练样本通过深度卷积dw-conv得到输出，记为G(x)(见图1)；
步骤3：对深度卷积特征值进行优化；
将特征系数x_res与G(x)中各个特征值进行点乘，输出结果记为H(x)；这样的优化方法则是对特征值进行处理，由于深度卷积不存在通道的组合，所以与特征系数能够一一对应故其对有意义的特征值进行加强，而对无意义的特征值进行抑制，输出结果H(x)为：
H(x)＝x_res·G(x)＝(M(x)+ones)·G(x)
步骤4：应用点卷积对输出结果H(x)进行通道之间的卷积组合。将H(x)通过点卷积网络结构，进行通道组合输出。则步骤2与步骤4构成深度可分解卷积(见图3)。而步骤1与步骤2构成特征值注意机制的优化加强。需要额外说明的是，深度卷积与点卷积之后均有BN层和Relu激活函数处理。
本实施例首先通过一定数量的图片对网络进行训练，训练完毕之后再通过一定的测试样本进行测试，根据正确分类的图片比例来确定分类效果的好坏，结果显示，这种网络结构要优于一般的深度可分解卷积网络。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (1)

1.一种结合注意机制与深度可分解卷积的卷积神经网络优化方法，其特征在于，包括以下步骤：
步骤1：建立注意机制框架结构，选取数张训练样本作为注意机制框架结构的输入，获得注意机制的特征系数x_res；
步骤1的具体实现包括以下子步骤：
步骤1.1：对于任意一个训练样本x，使其通过激活函数sigmoid，得到M(x)；
M(x)＝1/(1+exp(-x))；
步骤1.2：将输出的M(x)加上同等大小的全一矩阵ones再输出，获得特征系数，记为x_res；
x_res＝M(x)+ones；
步骤2：应用深度可分解卷积提取图片的特征值，建立深度卷积网络结构，将训练样本通过深度卷积dw-conv得到输出，记为G(x)；
步骤3：将特征系数x_res与G(x)中各个特征值进行点乘，输出结果记为H(x)；
步骤4：应用点卷积对输出结果H(x)进行通道之间的卷积组合，并输出。
CN201810023210.0A 2018-01-10 2018-01-10 结合注意机制与深度可分解卷积的卷积神经网络优化方法 Expired - Fee Related CN108304916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810023210.0A CN108304916B (zh) 2018-01-10 2018-01-10 结合注意机制与深度可分解卷积的卷积神经网络优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810023210.0A CN108304916B (zh) 2018-01-10 2018-01-10 结合注意机制与深度可分解卷积的卷积神经网络优化方法

Publications (2)

Publication Number Publication Date
CN108304916A CN108304916A (zh) 2018-07-20
CN108304916B true CN108304916B (zh) 2020-06-09

Family

ID=62868888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810023210.0A Expired - Fee Related CN108304916B (zh) 2018-01-10 2018-01-10 结合注意机制与深度可分解卷积的卷积神经网络优化方法

Country Status (1)

Country Link
CN (1) CN108304916B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146944B (zh) * 2018-10-30 2020-06-26 浙江科技学院 一种基于深度可分卷积神经网络的视觉深度估计方法
CN109711258A (zh) * 2018-11-27 2019-05-03 哈尔滨工业大学（深圳） 基于卷积网络的轻量级人脸关键点检测方法、系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469100A (zh) * 2015-11-30 2016-04-06 广东工业大学 基于深度学习的皮肤活检图像病理特性识别方法
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置
CN106841216A (zh) * 2017-02-28 2017-06-13 浙江工业大学 基于全景图像cnn的隧道病害自动识别装置
CN107203134A (zh) * 2017-06-02 2017-09-26 浙江零跑科技有限公司 一种基于深度卷积神经网络的前车跟随方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469100A (zh) * 2015-11-30 2016-04-06 广东工业大学 基于深度学习的皮肤活检图像病理特性识别方法
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置
CN106841216A (zh) * 2017-02-28 2017-06-13 浙江工业大学 基于全景图像cnn的隧道病害自动识别装置
CN107203134A (zh) * 2017-06-02 2017-09-26 浙江零跑科技有限公司 一种基于深度卷积神经网络的前车跟随方法

Also Published As

Publication number Publication date
CN108304916A (zh) 2018-07-20

Similar Documents

Publication Publication Date Title
CN109493303B (zh) 一种基于生成对抗网络的图像去雾方法
CN109035163B (zh) 一种基于深度学习的自适应图像去噪方法
TWI717865B (zh) 影像處理方法及裝置、電子設備、電腦可讀取的記錄媒體和電腦程式產品
WO2019047949A1 (zh) 图像质量评估方法及图像质量评估系统
CN111028177A (zh) 一种基于边缘的深度学习图像去运动模糊方法
CN109086779B (zh) 一种基于卷积神经网络的注意力目标识别方法
CN107464217B (zh) 一种图像处理方法及装置
CN110766050B (zh) 模型生成方法、文本识别方法、装置、设备及存储介质
CN110189260B (zh) 一种基于多尺度并行门控神经网络的图像降噪方法
CN111985281B (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN112084927B (zh) 一种融合多种视觉信息的唇语识别方法
CN108304916B (zh) 结合注意机制与深度可分解卷积的卷积神经网络优化方法
CN111127331A (zh) 基于像素级全局噪声估计编解码网络的图像去噪方法
CN109377494A (zh) 一种用于图像的语义分割方法和装置
CN113705361A (zh) 活体检测模型的方法、装置及电子设备
CN114581799A (zh) 一种基于多尺度特征融合的无人机小目标检测方法
CN114998756A (zh) 一种基于yolov5的遥感图像检测方法、装置及存储介质
CN110163855B (zh) 一种基于多路深度卷积神经网络的彩色图像质量评价方法
CN112085668B (zh) 一种基于区域自适应自监督学习的图像色调映射的方法
CN110728316A (zh) 一种课堂行为检测方法、系统、装置和存储介质
CN111784726A (zh) 人像抠图方法和装置
CN114821146A (zh) 一种基于增强的弱监督细粒度阿尔兹海默症分类方法
Sazonova et al. Fast and efficient iris image enhancement using logarithmic image processing
CN114048349A (zh) 一种推荐视频封面的方法、装置及电子设备
CN113554045B (zh) 数据集制作方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200609

CF01 Termination of patent right due to non-payment of annual fee