CN108447048A - 基于关注层的卷积神经网络图像特征处理方法 - Google Patents

基于关注层的卷积神经网络图像特征处理方法 Download PDF

Info

Publication number
CN108447048A
CN108447048A CN201810155060.9A CN201810155060A CN108447048A CN 108447048 A CN108447048 A CN 108447048A CN 201810155060 A CN201810155060 A CN 201810155060A CN 108447048 A CN108447048 A CN 108447048A
Authority
CN
China
Prior art keywords
layer
concern
input
characteristic pattern
neural networks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810155060.9A
Other languages
English (en)
Other versions
CN108447048B (zh
Inventor
冀中
李晟嘉
庞彦伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201810155060.9A priority Critical patent/CN108447048B/zh
Publication of CN108447048A publication Critical patent/CN108447048A/zh
Application granted granted Critical
Publication of CN108447048B publication Critical patent/CN108447048B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及机器学习、图像处理，为提出基于关注层的卷积神经网络处理方法，减少池化对特征图带来的像素和位置信息的损失，即减少对卷积操作信息的削弱，从而优化从卷积层中输出的特征图，本发明，基于关注层的卷积神经网络图像特征处理方法，步骤如下：(1)搭建并初始化卷积神经网络；(2)将从卷积层得到的m个特征图输入到关注层；(3)将训练后数据输入到全连接层中，再经过一些训练迭代后，输入到Softmax之中进行结果的输出；(4)通过不断的迭代训练得到较为准确的结果。本发明主要应用于图像处理场合。

Description

基于关注层的卷积神经网络图像特征处理方法
技术领域
本发明涉及机器学习，人工智能领域，特别是涉及卷积神经网络结构设计的领域。
背景技术
随着神经网络的不断发展，以卷积神经网络为代表的深度学习模型在越来越多的领域取得了很好的结果。卷积神经网络以卷积层，池化层交错的方式进行训练，并最后通过全连接层进行输出。目前GoogleNet和VggNet等表现优良的较为先进的深度神经网络也依然延续这种结构，大多数卷积神经网络是通过卷积层和池化层的不同搭配以及层数巨大的增加进行一些结果的改进。
在现有卷积神经网络中，卷积层中设置的若干个卷积核相当于人眼中的感光细胞。每个卷积核在卷积输入图像之后都会得到特征图，这些特征图类似于感光细胞接受到光线后产生的激励。在现有的卷积神网络中，经过卷积层后得到的特征图会被直接输入到池化层进行池化操作。卷积操作是将卷积区域内的像素点浓缩为一个新的像素点，池化操作则是对一些浓缩的新像素点进行简单取舍，并且取舍时是孤立了各个特征图之间的关系。这样会损失大量的信息特征。与此同时，池化取舍的像素值是原图不同区域卷积得来的，经过池化后被放置在同一个位置进行后续的输入，会损失很多最初的位置信息。
发明内容
为克服现有技术的不足，本发明旨在提出基于关注层的卷积神经网络处理方法，减少池化对特征图带来的像素和位置信息的损失，即减少对卷积操作信息的削弱，从而优化从卷积层中输出的特征图，为此，本发明采用的技术方案是，基于关注层的卷积神经网络图像特征处理方法，步骤如下：
(1)搭建并初始化卷积神经网络，在卷积层和池化层之间插入关注层，关注层的层数可以根据需求确定，对关注层中所有的权重w进行随机赋值准备训练；
(2)将从卷积层得到的m个特征图输入到关注层，在关注层中将输入的m个特征图随机分为m/y组，每组y张特征图，同一组中的y张特征图中相同位置的像素点进行加权平均的操作，并把得到的新的像素点组合成新的特征图，最终会得到m/y张新特征图，将这些新特征图输入到池化层中进行池化；
(3)将训练后数据输入到全连接层中，再经过一些训练迭代后，输入到Softmax之中进行结果的输出；
(4)采用反向传播的方式对关注层中所有权重w进行调整，通过不断的迭代训练得到较为准确的结果。
具体地，将特征图输入到关注层之中进行关联协作处理，关注层前一层的卷积层中含有m个卷积核，输入图像经过卷积之后得到了m张i×i的特征图，第q张特征图中的像素值表示为{f1 q,f2 q,f3 q…fi q}，y是能够整除m的数字，在m张特征图中，随机选取y张特征图为一组，一共选取m/y组，在第u组之中，对y张特征图相同位置i的像素值{fi 1,fi 2,fi 3…fi y}之间进行加权平均的操作后得到新的像素点其中相对应的权重为即
将第u组之中得到的所有新像素点按照现有的位置i的重新排列成一张全新的特征图，那么，经过关注层后便会得到m/y张新特征图，将所述新特征图输出到池化层。
本发明的特点及有益效果是：
本发明的核心是在传统的卷积神经网络的结构中加入全新的处理层，即关注层。关注层通过特征图之间的加权平均得到较为重要的部分，让特征信息更稠密，减少池化损失并且可以强调出重要的样本部分，保留了一些较为重要的像素和位置信息。
(1)新颖性：首次提出了关注层的概念，在卷积层与池化层之间增加的关注层，打破了十几年以来一成不变的卷积层与池化层交错的卷积神经网结构。
(2)有效性：与直接将特征图进行池化处理相比，可以减少池化带来的信息损失。使卷积神经网络提取的特征图承载更多的信息，不仅可以使卷积核之间的重要程度有所区分，而且可以使同一个卷积核内部的不同位置的重要程度也有所区分。
(3)实用性：让特征图更好的体现原有图像的特征，提高训练效果，并且可以进一步实现降维。可以解决一些人工智能，机器学习相关方面的工作和问题。
附图说明
图1是本发明关注层的卷积神经网络结构正向传播的流程图。
图2是本发明关注层的结构功能示意图。
具体实施方式
人眼中每个感光细胞感受到光线后会与其他感光细胞之间相互协作处理而实现视觉的传输与成像，说明感光细胞之间会存在相互的影响和连接。根据这一原理启发，本发明模仿在同一层面上的感光细胞相互关联协作，提出了关注层。
卷积神经网络是在图像处理以及机器学习中至为重要的网络模型，用于对原始图像的特征提取并进行物体的检测、识别和分类。其中，通过卷积神经网络提取的特征图对于物体的检测、识别和分类等最终结果起到了决定性作用。
为了减少池化对特征图带来的像素和位置信息的损失，即减少对卷积操作信息的削弱。本发明将特征图输入到池化层之前，先输入到本发明提出的关注层之中进行关联协作处理，从而优化从卷积层中输出的特征图。
设关注层前一层的卷积层中含有m个卷积核，输入图像经过卷积之后得到了m张i×i的特征图，第q张特征图中的像素值可表示为{f1 q，f2 q，f3 q…fi q}设y是可以整除m的数字，在m张特征图中，随机选取y张特征图为一组，一共选取m/y组。在第u组之中，对y张特征图相同位置i的像素值{fi 1,fi 2,fi 3…fi y}之间进行加权平均的操作后得到新的像素点Ni u，其中相对应的权重为即
将第u组之中得到的所有新像素点按照现有的位置i的重新排列成一张全新的特征图。那么，经过关注层后便会得到m/y张新特征图。这些新特征图则会包含更为丰富信息，对于最终准确率较为重要的像素部分，会给予更大的权值进行关注。
基于本发明提出的关注层，与已有的卷积层和池化层进行搭配组合，可以构成的全新的卷积神经网络结构。
(1)搭建并初始化卷积神经网络，在卷积层和池化层之间插入关注层，关注层的层数可以根据需求确定。对关注层中所有的权重w进行随机赋值准备训练。
(2)将从卷积层得到的m个特征图输入到关注层。在关注层中将输入的m个特征图随机分为m/y组，每组y张特征图。同一组中的y张特征图中相同位置的像素点进行加权平均的操作，并把得到的新的像素点组合成新的特征图，最终会得到m/y张新特征图。将这些新特征图输入到池化层中进行池化。
(3)将训练后数据输入到全连接层中，再经过一些训练迭代后，输入到Softmax之中进行结果的输出。
(4)该卷积神经网络依然采用反向传播的方式对关注层中所有权重w进行调整，通过不断的迭代训练得到较为准确的结果。
关注层与已有的卷积层和池化层进行搭配组合”是简单的输入、输出关系。按照图1进行描述：数据依次经若干个卷积层、若干个关注层以及若干个池化层，具体的个数可以根据需求设定。然后重复上述的过程直到达到使用者的要求，最终输入到全连接层以及Softmax并输出结果。

Claims (2)

1.一种基于关注层的卷积神经网络图像特征处理方法，其特征是，步骤如下：
(1)搭建并初始化卷积神经网络，在卷积层和池化层之间插入关注层，关注层的层数可以根据需求确定，对关注层中所有的权重w进行随机赋值准备训练；
(2)将从卷积层得到的m个特征图输入到关注层，在关注层中将输入的m个特征图随机分为m/y组，每组y张特征图，同一组中的y张特征图中相同位置的像素点进行加权平均的操作，并把得到的新的像素点组合成新的特征图，最终会得到m/y张新特征图，将这些新特征图输入到池化层中进行池化；
(3)将训练后数据输入到全连接层中，再经过一些训练迭代后，输入到Softmax之中进行结果的输出；
(4)采用反向传播的方式对关注层中所有权重w进行调整，通过不断的迭代训练得到较为准确的结果。
2.如权利要求1所述的基于关注层的卷积神经网络图像特征处理方法，其特征是，具体地，将特征图输入到关注层之中进行关联协作处理，关注层前一层的卷积层中含有m个卷积核，输入图像经过卷积之后得到了m张i×i的特征图，第q张特征图中的像素值表示为y是能够整除m的数字，在m张特征图中，随机选取y张特征图为一组，一共选取m/y组，在第u组之中，对y张特征图相同位置i的像素值{fi 1,fi 2,fi 3…fi y}之间进行加权平均的操作后得到新的像素点其中相对应的权重为即
将第u组之中得到的所有新像素点按照现有的位置i的重新排列成一张全新的特征图，那么，经过关注层后便会得到m/y张新特征图，将所述新特征图输出到池化层。
CN201810155060.9A 2018-02-23 2018-02-23 基于关注层的卷积神经网络图像特征处理方法 Active CN108447048B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810155060.9A CN108447048B (zh) 2018-02-23 2018-02-23 基于关注层的卷积神经网络图像特征处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810155060.9A CN108447048B (zh) 2018-02-23 2018-02-23 基于关注层的卷积神经网络图像特征处理方法

Publications (2)

Publication Number Publication Date
CN108447048A true CN108447048A (zh) 2018-08-24
CN108447048B CN108447048B (zh) 2021-09-14

Family

ID=63192764

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810155060.9A Active CN108447048B (zh) 2018-02-23 2018-02-23 基于关注层的卷积神经网络图像特征处理方法

Country Status (1)

Country Link
CN (1) CN108447048B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109597087A (zh) * 2018-11-15 2019-04-09 天津大学 一种基于点云数据的3d目标检测方法
CN110119728A (zh) * 2019-05-23 2019-08-13 哈尔滨工业大学 基于多尺度融合语义分割网络的遥感图像云检测方法
CN110876062A (zh) * 2018-08-31 2020-03-10 三星电子株式会社 用于特征图的高速压缩处理的电子设备及其控制方法
CN111104830A (zh) * 2018-10-29 2020-05-05 富士通株式会社 用于图像识别的深度学习模型、该模型的训练装置及方法
WO2020113355A1 (en) * 2018-12-03 2020-06-11 Intel Corporation A content adaptive attention model for neural network-based image and video encoders

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020168100A1 (en) * 2001-05-10 2002-11-14 Woodall Roger L. Spatial image processor
CN106340309A (zh) * 2016-08-23 2017-01-18 南京大空翼信息技术有限公司 一种基于深度学习的狗叫情感识别方法及装置
CN106503729A (zh) * 2016-09-29 2017-03-15 天津大学 一种基于顶层权值的图像卷积特征的生成方法
CN107180247A (zh) * 2017-05-19 2017-09-19 中国人民解放军国防科学技术大学 基于选择性注意力卷积神经网络的关系分类器及其方法
CN107194559A (zh) * 2017-05-12 2017-09-22 杭州电子科技大学 一种基于三维卷积神经网络的工作流识别方法
CN107480642A (zh) * 2017-08-18 2017-12-15 深圳市唯特视科技有限公司 一种基于时域分段网络的视频动作识别方法
CN107515895A (zh) * 2017-07-14 2017-12-26 中国科学院计算技术研究所 一种基于目标检测的视觉目标检索方法与系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020168100A1 (en) * 2001-05-10 2002-11-14 Woodall Roger L. Spatial image processor
CN106340309A (zh) * 2016-08-23 2017-01-18 南京大空翼信息技术有限公司 一种基于深度学习的狗叫情感识别方法及装置
CN106503729A (zh) * 2016-09-29 2017-03-15 天津大学 一种基于顶层权值的图像卷积特征的生成方法
CN107194559A (zh) * 2017-05-12 2017-09-22 杭州电子科技大学 一种基于三维卷积神经网络的工作流识别方法
CN107180247A (zh) * 2017-05-19 2017-09-19 中国人民解放军国防科学技术大学 基于选择性注意力卷积神经网络的关系分类器及其方法
CN107515895A (zh) * 2017-07-14 2017-12-26 中国科学院计算技术研究所 一种基于目标检测的视觉目标检索方法与系统
CN107480642A (zh) * 2017-08-18 2017-12-15 深圳市唯特视科技有限公司 一种基于时域分段网络的视频动作识别方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110876062A (zh) * 2018-08-31 2020-03-10 三星电子株式会社 用于特征图的高速压缩处理的电子设备及其控制方法
CN111104830A (zh) * 2018-10-29 2020-05-05 富士通株式会社 用于图像识别的深度学习模型、该模型的训练装置及方法
CN109597087A (zh) * 2018-11-15 2019-04-09 天津大学 一种基于点云数据的3d目标检测方法
CN109597087B (zh) * 2018-11-15 2022-07-01 天津大学 一种基于点云数据的3d目标检测方法
WO2020113355A1 (en) * 2018-12-03 2020-06-11 Intel Corporation A content adaptive attention model for neural network-based image and video encoders
US11887005B2 (en) 2018-12-03 2024-01-30 Intel Corporation Content adaptive attention model for neural network-based image and video encoders
CN110119728A (zh) * 2019-05-23 2019-08-13 哈尔滨工业大学 基于多尺度融合语义分割网络的遥感图像云检测方法
CN110119728B (zh) * 2019-05-23 2023-12-05 哈尔滨工业大学 基于多尺度融合语义分割网络的遥感图像云检测方法

Also Published As

Publication number Publication date
CN108447048B (zh) 2021-09-14

Similar Documents

Publication Publication Date Title
CN108447048A (zh) 基于关注层的卷积神经网络图像特征处理方法
CN109447906B (zh) 一种基于生成对抗网络的图片合成方法
CN108985377B (zh) 一种基于深层网络的多特征融合的图像高级语义识别方法
CN106504064A (zh) 基于深度卷积神经网络的服装分类与搭配推荐方法及系统
CN107742107A (zh) 人脸图像分类方法、装置及服务器
CN107808132A (zh) 一种融合主题模型的场景图像分类方法
CN110503598A (zh) 基于条件循环一致性生成对抗网络的字体风格迁移方法
CN106022392B (zh) 一种深度神经网络样本自动取舍的训练方法
CN110458060A (zh) 一种基于对抗学习的车辆图像优化方法及系统
CN107506722A (zh) 一种基于深度稀疏卷积神经网络人脸情感识别方法
CN107153810A (zh) 一种基于深度学习的手写体数字识别方法及系统
CN106778810A (zh) 基于rgb特征与深度特征的原始图像层融合方法及系统
CN108665005A (zh) 一种利用dcgan提高基于cnn图像识别性能的方法
CN109063724A (zh) 一种增强型生成式对抗网络以及目标样本识别方法
CN107066934A (zh) 胃部肿瘤细胞图像识别判定装置、方法及胃部肿瘤切片识别判定设备
CN110009057A (zh) 一种基于深度学习的图形验证码识别方法
CN107844740A (zh) 一种脱机手写、印刷汉字识别方法及系统
CN107145893A (zh) 一种基于卷积深度网络的图像识别算法及系统
CN110321967A (zh) 基于卷积神经网络的图像分类改进算法
CN109344888A (zh) 一种基于卷积神经网络的图像识别方法、装置及设备
CN107665352A (zh) 一种基于多通道残差网络的珍珠分类方法
CN109087375A (zh) 基于深度学习的图像空洞填充方法
CN106778701A (zh) 一种加入Dropout的卷积神经网络的果蔬图像识别方法
CN107766828A (zh) 基于小波卷积神经网络的无人机着陆地貌分类方法
CN107016371A (zh) 基于改进的深度置信网络的无人机着陆地貌分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant