CN108304916A - 结合注意机制与深度可分解卷积的卷积神经网络优化方法 - Google Patents

结合注意机制与深度可分解卷积的卷积神经网络优化方法 Download PDF

Info

Publication number
CN108304916A
CN108304916A CN201810023210.0A CN201810023210A CN108304916A CN 108304916 A CN108304916 A CN 108304916A CN 201810023210 A CN201810023210 A CN 201810023210A CN 108304916 A CN108304916 A CN 108304916A
Authority
CN
China
Prior art keywords
depth
attention mechanism
convolution
asymmetric choice
decomposable asymmetric
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810023210.0A
Other languages
English (en)
Other versions
CN108304916B (zh
Inventor
王改华
鲁鸣
刘文洲
袁国亮
吕朦
李涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei University of Technology
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN201810023210.0A priority Critical patent/CN108304916B/zh
Publication of CN108304916A publication Critical patent/CN108304916A/zh
Application granted granted Critical
Publication of CN108304916B publication Critical patent/CN108304916B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种结合注意机制与深度可分解卷积的卷积神经网络优化方法，是针对于手机等嵌入式设备提出的一种轻量级的神经网络优化方法。注意机制起源于人的大脑当中的注意力机制，人在接受信息时会将注意力集中到所需要的地方，加强对所需信息的提取，从而加快信息提取的效率。而我们知道深度可分解卷积网络本身就是用于移动和嵌入式视觉应用的一种网络结构，具有轻量级，低延迟，且精度尚可接受等特点。本发明将注意机制与深度可分解卷积两者有效结合，在低延迟的前提下，对特征提取加以改进，提高网络的精确度。

Description

结合注意机制与深度可分解卷积的卷积神经网络优化方法
技术领域
本发明属于图像识别技术领域，涉及一种针对手机等嵌入式设备的轻量级的神经网络优化方法，具体涉及一种将注意机制与深度可分解卷积相结合的优化卷积神经网络的方法。
背景技术
注意机制起源于人脑中的注意力机制，大脑在接受到外部信息比如视觉信息、听觉信息的时候，通常是不会对所有信息进行理解与分析的，而只会将注意力集中在部分显著或者感兴趣的信息上，这样有助于滤除不重要的信息，而提升信息处理的效率。实现注意机制的方法是首先输入特征图，通过sigmoid激活函数将特征图上各个像素点的输出限制在(0,1)之间，然后每个输出值加一，再与输入图像进行对应像素的点乘，这样的做法是加强有意义的特征，减弱无意义的信息。
深度可分解卷积源于mobilenet，是将标准卷积分解为深度卷积与点卷积的一种方法，深度卷积将每个卷积核应用到每一个通道，而1x1的点卷积则是用来组合通道卷积的输出。相较于标准卷积，在不影响输入输出的情况下，深度可分解卷积的计算代价要比标准卷积下小得多，并且几乎不影响精度。
发明内容
本发明针对现有技术的不足，提供一种基于注意机制与深度可分解卷积的优化卷积神经网络的方法，对特性提取加以改进，提高网络的准确率。
本发明所采用的技术方案是：一种结合注意机制与深度可分解卷积的卷积神经网络优化方法，其特征在于，包括以下步骤：
步骤1：建立注意机制框架结构，选取数张训练样本作为注意机制框架结构的输入，获得注意机制的特征系数x_res；
步骤2：应用深度可分解卷积提取图片的特征值，建立深度卷积网络结构，将训练样本通过深度卷积dw-conv得到输出，记为G(x)；
步骤3：将特征系数x_res与G(x)中各个特征值进行点乘，输出结果记为 H(x)；
步骤4：应用点卷积对输出结果H(x)进行通道之间的卷积组合，并输出。
本发明为结合注意机制与深度可分解卷积提出的一种改进的神经网络方法，在深度卷积与点卷积之间增加注意机制，加强对特征图的特征信息的提取。实验结果表明，在一些数据集的测试中，该方法较深度可分解卷积网络而言，具有收敛更快，精确度更高的特点。
附图说明
图1为本发明实施例的注意机制结合深度可分解卷积示意图；
图2为本发明实施例的注意机制示意图；
图3为本发明实施例的深度可分解卷积示意图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种结合注意机制与深度可分解卷积的卷积神经网络优化方法，包括以下步骤：
步骤1：建立注意机制框架结构，选取数张训练样本作为注意机制框架结构的输入，获得注意机制的特征系数x_res；获得注意机制的特征系数图(见图2)。
其具体实现包括以下子步骤：
步骤1.1：对于任意一个训练样本x，使其通过激活函数sigmoid，得到M(x)；
M(x)＝1/(1+exp(-x))；
步骤1.2：将输出的M(x)加上同等大小的全一矩阵ones(即矩阵的元素全为数值1)再输出，获得特征系数，记为x_res；
x_res＝M(x)+ones。
步骤2：应用深度可分解卷积提取图片的特征值，建立深度卷积网络结构，将训练样本通过深度卷积dw-conv得到输出，记为G(x)(见图1)；
步骤3：对深度卷积特征值进行优化；
将特征系数x_res与G(x)中各个特征值进行点乘，输出结果记为H(x)；这样的优化方法则是对特征值进行处理，由于深度卷积不存在通道的组合，所以与特征系数能够一一对应故其对有意义的特征值进行加强，而对无意义的特征值进行抑制，输出结果H(x)为：
H(x)＝x_res·G(x)＝(M(x)+ones)·G(x)
步骤4：应用点卷积对输出结果H(x)进行通道之间的卷积组合。将H(x)通过点卷积网络结构，进行通道组合输出。则步骤2与步骤4构成深度可分解卷积(见图3)。而步骤1与步骤2构成特征值注意机制的优化加强。需要额外说明的是，深度卷积与点卷积之后均有BN层和Relu激活函数处理。
本实施例首先通过一定数量的图片对网络进行训练，训练完毕之后再通过一定的测试样本进行测试，根据正确分类的图片比例来确定分类效果的好坏，结果显示，这种网络结构要优于一般的深度可分解卷积网络。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (2)

1.一种结合注意机制与深度可分解卷积的卷积神经网络优化方法，其特征在于，包括以下步骤：
步骤1：建立注意机制框架结构，选取数张训练样本作为注意机制框架结构的输入，获得注意机制的特征系数x_res；
步骤2：应用深度可分解卷积提取图片的特征值，建立深度卷积网络结构，将训练样本通过深度卷积dw-conv得到输出，记为G(x)；
步骤3：将特征系数x_res与G(x)中各个特征值进行点乘，输出结果记为H(x)；
步骤4：应用点卷积对输出结果H(x)进行通道之间的卷积组合，并输出。
2.根据权利要求1所述的结合注意机制与深度可分解卷积的卷积神经网络优化方法，其特征在于，步骤1的具体实现包括以下子步骤：
步骤1.1：对于任意一个训练样本x，使其通过激活函数sigmoid，得到M(x)；
M(x)＝1/(1+exp(-x))；
步骤1.2：将输出的M(x)加上同等大小的全一矩阵ones再输出，获得特征系数，记为x_res；
x_res＝M(x)+ones。
CN201810023210.0A 2018-01-10 2018-01-10 结合注意机制与深度可分解卷积的卷积神经网络优化方法 Expired - Fee Related CN108304916B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810023210.0A CN108304916B (zh) 2018-01-10 2018-01-10 结合注意机制与深度可分解卷积的卷积神经网络优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810023210.0A CN108304916B (zh) 2018-01-10 2018-01-10 结合注意机制与深度可分解卷积的卷积神经网络优化方法

Publications (2)

Publication Number Publication Date
CN108304916A true CN108304916A (zh) 2018-07-20
CN108304916B CN108304916B (zh) 2020-06-09

Family

ID=62868888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810023210.0A Expired - Fee Related CN108304916B (zh) 2018-01-10 2018-01-10 结合注意机制与深度可分解卷积的卷积神经网络优化方法

Country Status (1)

Country Link
CN (1) CN108304916B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146944A (zh) * 2018-10-30 2019-01-04 浙江科技学院 一种基于深度可分卷积神经网络的视觉深度估计方法
CN109711258A (zh) * 2018-11-27 2019-05-03 哈尔滨工业大学（深圳） 基于卷积网络的轻量级人脸关键点检测方法、系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469100A (zh) * 2015-11-30 2016-04-06 广东工业大学 基于深度学习的皮肤活检图像病理特性识别方法
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置
CN106841216A (zh) * 2017-02-28 2017-06-13 浙江工业大学 基于全景图像cnn的隧道病害自动识别装置
CN107203134A (zh) * 2017-06-02 2017-09-26 浙江零跑科技有限公司 一种基于深度卷积神经网络的前车跟随方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105469100A (zh) * 2015-11-30 2016-04-06 广东工业大学 基于深度学习的皮肤活检图像病理特性识别方法
CN105891215A (zh) * 2016-03-31 2016-08-24 浙江工业大学 基于卷积神经网络的焊接视觉检测方法及装置
CN106841216A (zh) * 2017-02-28 2017-06-13 浙江工业大学 基于全景图像cnn的隧道病害自动识别装置
CN107203134A (zh) * 2017-06-02 2017-09-26 浙江零跑科技有限公司 一种基于深度卷积神经网络的前车跟随方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146944A (zh) * 2018-10-30 2019-01-04 浙江科技学院 一种基于深度可分卷积神经网络的视觉深度估计方法
CN109711258A (zh) * 2018-11-27 2019-05-03 哈尔滨工业大学（深圳） 基于卷积网络的轻量级人脸关键点检测方法、系统及存储介质

Also Published As

Publication number Publication date
CN108304916B (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN111476200B (zh) 基于生成对抗网络的人脸去识别化生成方法
CN112954312B (zh) 一种融合时空特征的无参考视频质量评估方法
CN109871845B (zh) 证件图像提取方法及终端设备
CN107464217B (zh) 一种图像处理方法及装置
Panetta et al. Tmo-net: A parameter-free tone mapping operator using generative adversarial network, and performance benchmarking on large scale hdr dataset
EP3994690B1 (en) Audio processing apparatus and method for denoising a multi-channel audio signal
Cai et al. CURE-Net: a cascaded deep network for underwater image enhancement
CN111985281A (zh) 图像生成模型的生成方法、装置及图像生成方法、装置
CN113379606B (zh) 一种基于预训练生成模型的人脸超分辨方法
Liu et al. Learning hadamard-product-propagation for image dehazing and beyond
CN109949200B (zh) 基于滤波器子集选择和cnn的隐写分析框架构建方法
DE112016005482T5 (de) Objektdetektion mit adaptiven Kanalmerkmalen
Li et al. An adaptive enhancement method for low illumination color images
CN108304916A (zh) 结合注意机制与深度可分解卷积的卷积神经网络优化方法
An et al. HFM: A hybrid fusion method for underwater image enhancement
CN111369477A (zh) 一种针对视频恢复任务的预分析和工具自适应的方法
CN112085668A (zh) 一种基于区域自适应自监督学习的图像色调映射的方法
Tran et al. Impacts of retina-related zones on quality perception of omnidirectional image
CN113554047A (zh) 图像处理模型的训练方法、图像处理方法及对应的装置
Wang et al. Learning a self‐supervised tone mapping operator via feature contrast masking loss
Hu et al. Hierarchical discrepancy learning for image restoration quality assessment
Kandula et al. Illumination-adaptive unpaired low-light enhancement
Mehta et al. Evrnet: Efficient video restoration on edge devices
CN108492275B (zh) 基于深度神经网络的无参考立体图像质量评价方法
CN117152019A (zh) 一种基于双分支特征处理的低照度图像增强方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200609

CF01 Termination of patent right due to non-payment of annual fee