CN113469335B - 一种利用不同卷积层特征间关系为特征分配权重的方法 - Google Patents
一种利用不同卷积层特征间关系为特征分配权重的方法 Download PDFInfo
- Publication number
- CN113469335B CN113469335B CN202110726926.9A CN202110726926A CN113469335B CN 113469335 B CN113469335 B CN 113469335B CN 202110726926 A CN202110726926 A CN 202110726926A CN 113469335 B CN113469335 B CN 113469335B
- Authority
- CN
- China
- Prior art keywords
- dimension
- features
- output
- layer
- weight
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims abstract description 13
- 238000011176 pooling Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims abstract description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000006835 compression Effects 0.000 claims description 2
- 238000007906 compression Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 6
- 238000001514 detection method Methods 0.000 abstract description 5
- 230000007246 mechanism Effects 0.000 description 8
- 238000003909 pattern recognition Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
一种利用不同卷积层特征间关系为特征分配权重的方法，首先，确定要关注的特征层A，取出A对应的前一层特征A'，A和A'通道数需相同，其次利用全局平均池化获得它们的通道特征，利用RELU‑Dot‑Product函数计算通道间的关系，然后将关系矩阵输入到第一个全连接层进行权重学习，该全连接的输出维度为A通道数的1/16以控制网络的参数量，第一个全连接层的输出输入到第二个全连接层，再次进行权重学习，该层的输出维度和A的通道数目相同，最后对此输出进行填充，填充到和A一样的维度做Hadamar积，为A的每个通道分配权重。本发明可以更加突出卷积层中重要的特征，抑制不重要的特征，提升网络的检测效果。
Description
技术领域
本发明涉及计算机视觉、模式识别与计算机应用领域，具体而言涉及一种利用不同卷积层特征间关系为特征分配权重的方法。
背景技术
注意力机制可以大幅度提升网络的检测效果而只需要增加较少参数和计算量，因此它在神经网络中的地位越来越重要，是提升网络检测效果的核心手段之一。常用的注意力机制有通道注意力机制、空间注意力机制、通道-空间注意力机制。SENet是一种广泛使用的通道注意力机制，它通过将某一层的特征用平均池化进行特征变换，再利用全连接层让网络自己学习该层特征的权重，是一种直接由特征获取权重的方式。大多数的注意力机制采用和SENnet类似的模式，不同点在于输入全连接层前的特征变换不一样。
调研文献发现，有许多根据特征学习权重的注意力模块被提出。如：scSENet(Abhijit R,Nassir N,Christian W.Concurrent Spatial and Channel‘Squeeze&Excitation’in Fully Convolutional Networks[J].Medical Image Computing andComputer Assisted Intervention-MICCAI,2018,1107:2011-2023.即：Abhijit R等.应用在全卷机网络中的并行空间和通道‘挤压&激发’网络[J].医学图像计算和计算机辅助干预-MICCAL，2018,1107:2011-2023)、CBAM(S.Woo,J.Park,J.Y.Lee,I.S.Kweon.CBAM:Convolutional Block Attention Module[C].Proceedings of the EuropeanConference on Computer Vision and Pattern Recognition,2018:3-19.即S.Woo等CBAM：卷积阻塞注意力模块[C].计算机视觉和模式识别欧洲会议记录，2018:3-19.)、BAM(Park J,Woo S,Lee J,Kweon I.BAM:Bottleneck Attention Module[C].ComputerVision and Patten Recognition(CVPR)(2018)arXiv:1807.06514v2.即Park J等.瓶颈注意力模块[C].计算机视觉会议，2018，arXiv:1807.06514v2)、DANet(J.Fu,J.Liu,H.Tian,Y.Li,Y.Bao,Z.Fang,H.Lu.Dual Attention Network for Scene Segmentation[C].Proceedings of the IEEE Conference on Computer Vision and PatternRecognition,2019:3141-3149.即J.Fu等，用于场景分割的双重注意力网络[C].IEEE国际计算机视觉与模式识别会议，2019:3141-3149.)。上述注意力模块，均是直接对某一层的特征进行操作，或是直接对通道特征进行变换或是直接对空间特征进行变换，然后利用全连接层得到该层特征的权重。直接通过特征来学习该层特征的权重没有有效的利用特征之间的关系，利用特征之间的关系来学习某个特征的权重可以进一步提取出重要的特征，提升网络的检测效果。
综上所述，挖掘特征间的关系并采用注意力模块中直接由特征学习权重的方式对挖掘出的关系进行学习，学习到的权重可以更加突出重要特征，抑制不重要特征，进一步提升网络检测效果。
发明内容
为了克服已有的注意力模块学习到的权重没有利用特征间关系的不足，本发明提出一种挖掘前一层通道与当前层通道的关系，通过网络对这种关系的学习为当前层特征分配权重的方法。
本发明解决其技术问题所采用的技术方案是：
一种利用不同卷积层特征间关系为特征分配权重的方法，所述方法包括以下步骤：
1)输入当前层卷积层与前一层卷积层的输出A、A'，A与A'的通道数需相同，利用全局平均池化分别获得A和A'的通道信息X、X'；
2)对X'做转置操作，并对X和X'的转置做矩阵乘法，得到X和X'的特征关系矩阵M；
3)使用RELU函数，滤除M中小于0的元素；
4)将M输入第一个全连接层，该全连接的输出L1(M)维度为原始输入A的通道数的1/16；
5)将L1(M)输入第二个全连接层，该全连接层的输出L2(M)维度和原始输入A的通道数目相同；
6)L2(M)中的元素即是A的各个通道应该被赋予的权重值，对L2(M)进行填充，将其扩充到与A一样的维度；
7)填充后的L2(M)中各个元素与A中的各个元素对应相乘，给A中的各个通道分配权重。
本发明的技术构思为：计算当前卷积层的输出与前一层卷积层的输出间的通道关系，让网络对计算出的关系进行学习，得到当前层特征的权重矩阵，根据权重矩阵为当前层特征分配权重。首先要确定需要分配权重的卷积层的特征A，然后取出与之对应的前一层卷积层的特征A'(A和A'的通道数目要一致)，用全局平均池化分别获得A和A’的通道特征X、X'。X和X'的转置做矩阵乘法，得到X和X'各通道之间的关系，得到关系矩阵M。将M输入到第一个全连接层L1进行权重学习，L1的输出维度是输入A的通道数的1/16以控制参数量，L1的输出作为第二个全连接层L2的输入近一步进行权重学习，L2输出的维度与原始输入A的通道数目一致，L2的输出即是A的通道特征的权重，对L2的输出进行填充，将其填充到与A一样的维度，将填充后的结果中的各个元素与A中的各个元素对应位置相乘，给A分配权重。
本发明的有益效果表现在：以层与层特征间的关系为基础，让网络通过对该关系学习获得当前层特征的权重，与直接通过特征来学习权重的方法相比，学习出的权重可以进一步提取出该层比较重要特征，抑制不重要的特征；在特征学习时，本发明采用与SENet类似的结构，因此本发明不仅具有计算量小、使用方便的优点，而且在对网络的效果提升方面，本发明也胜过SENet。
附图说明
图1为一种利用不同卷积层特征间关系为特征分配权重方法的结构示意图。
图2为一种利用不同卷积层特征间关系为特征分配权重方法嵌入ResNet的结构示意图
具体实施方式
下面结合附图对本发明作进一步描述。
参照图1和图2，一种利用不同卷积层特征间关系为特征分配权重的方法，包括以下步骤：
1)输入当前卷积层的输出A以及前一层卷积层的输出A'，利用全局平均池化(Avgpool)获得A和A'的通道信息X和X'；
2)对X'进行转置，X与X'的转置做矩阵乘法，学习权重矩阵M；
3)使用RELU函数滤除M中小于0的元素；
4)将M输入第一个全连接层L1进行权值学习，L1的输出维度为A的通道数1/16；
5)将L1(M)输入第二个全连接层，该全连接层的输出L2(M)维度和原始输入A的通道数目相同；
6)L2(M)中的元素即是A的各个通道应该被赋予的权重值，对L2(M)进行填充，将其扩充到与A一样的维度；
7)填充后的L2(M)中各个元素与A中的各个元素对应相乘，给A中的各个通道分配权重。
本实施例以嵌入ResNet并应用于图像分类任务为例，一种利用特征间关系为特征分配权重的方法包括以下步骤：
1)确定输入：当前层的卷积输出A的维度是B×C×H×W(B、C、H、W分别为batch_size,通道数，特征图的高，特征图的宽)，前一层的卷积输出A'的维度为B×C×H×W；
2)利用全局平均池化(Avgpool)获得A和A'的通道信息X、X':X维度是B×C
×1×1；X'维度是B×C×1×1
3)将X和X'进行维度压缩：X的维度是B×C×1，X'的维度是B×C×1
4)对X'进行转置，X'的维度是B×1×C
5)X与X'的转置做矩阵乘法学习权值矩阵M：M的维度是B×C×C；
6)使用RELU函数滤除M中小于0的元素；
7)将M输入第一个全连接层L1，输出的维度是B×C/16
8)将L1的输出输入第二个全连接层L2，输出的维度是B×C
9)对L2的输出进行填充，维度变成B×C×H×W
10)将扩充后的输出与A中对应位置元素相乘，为A分配权重。
11)ResNet的每个basic_block中均按上述步骤为每个basic_block的输出分配权重，
最后一个basic_block的输出输入全连接层进行类别预测。
以上说明是本发明以嵌入ResNet并应用于图像分类任务为例进行的说明，并非限定本发明的实施范围，在不偏离本发明基本内容所涉及范围的前提下对其做各种变形和改进，不应排除在本发明的保护范围之外。
Claims (1)
1.一种利用特征间关系为特征分配权重的方法，其特征在于，该方法应用于图像分类任务，所述方法包括以下步骤：
1)确定输入：当前层的卷积输出A的维度是B×C×H×W，B、C、H、W分别为batch_size、通道数、特征图的高和特征图的宽，前一层的卷积输出A'的维度为B×C×H×W；
2)利用全局平均池化获得A和A'的通道信息X、X':X维度是B×C×1×1；X'维度是B×C×1×1；
3)将X和X'进行维度压缩：X的维度是B×C×1，X'的维度是B×C×1；
4)对X'进行转置，X'的维度是B×1×C；
5)X与X'的转置做矩阵乘法学习权值矩阵M：M的维度是B×C×C；
6)使用RELU函数滤除M中小于0的元素；
7)将M输入第一个全连接层L1，输出的维度是B×C/16；
8)将L1的输出输入第二个全连接层L2，输出的维度是B×C；
9)对L2的输出进行填充，维度变成B×C×H×W；
10)将扩充后的输出与A中对应位置元素相乘，为A分配权重；
11)ResNet的每个basic_block中均按上述步骤为每个basic_block的输出分配权重，最后一个basic_block的输出输入全连接层进行类别预测。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110726926.9A CN113469335B (zh) | 2021-06-29 | 2021-06-29 | 一种利用不同卷积层特征间关系为特征分配权重的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110726926.9A CN113469335B (zh) | 2021-06-29 | 2021-06-29 | 一种利用不同卷积层特征间关系为特征分配权重的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113469335A CN113469335A (zh) | 2021-10-01 |
| CN113469335B true CN113469335B (zh) | 2024-05-10 |
Family
ID=77873610
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110726926.9A Active CN113469335B (zh) | 2021-06-29 | 2021-06-29 | 一种利用不同卷积层特征间关系为特征分配权重的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113469335B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110610129A (zh) * | 2019-08-05 | 2019-12-24 | 华中科技大学 | 一种基于自注意力机制的深度学习人脸识别系统及方法 |
| CN110782022A (zh) * | 2019-10-31 | 2020-02-11 | 福州大学 | 一种面向可编程逻辑器件移动终端的小型神经网络的实现方法 |
| CN111177282A (zh) * | 2019-12-30 | 2020-05-19 | 福州大学 | 一种融入注意力机制的预测方法 |
| WO2020140633A1 (zh) * | 2019-01-04 | 2020-07-09 | 平安科技（深圳）有限公司 | 文本主题提取方法、装置、电子设备及存储介质 |
| WO2021115159A1 (zh) * | 2019-12-09 | 2021-06-17 | 中兴通讯股份有限公司 | 文字识别网络模型训练方法、文字识别方法、装置、终端及其计算机存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11403486B2 (en) * | 2019-11-13 | 2022-08-02 | Huawei Technologies Co., Ltd. | Methods and systems for training convolutional neural network using built-in attention |
-
2021
- 2021-06-29 CN CN202110726926.9A patent/CN113469335B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020140633A1 (zh) * | 2019-01-04 | 2020-07-09 | 平安科技（深圳）有限公司 | 文本主题提取方法、装置、电子设备及存储介质 |
| CN110610129A (zh) * | 2019-08-05 | 2019-12-24 | 华中科技大学 | 一种基于自注意力机制的深度学习人脸识别系统及方法 |
| CN110782022A (zh) * | 2019-10-31 | 2020-02-11 | 福州大学 | 一种面向可编程逻辑器件移动终端的小型神经网络的实现方法 |
| WO2021115159A1 (zh) * | 2019-12-09 | 2021-06-17 | 中兴通讯股份有限公司 | 文字识别网络模型训练方法、文字识别方法、装置、终端及其计算机存储介质 |
| CN111177282A (zh) * | 2019-12-30 | 2020-05-19 | 福州大学 | 一种融入注意力机制的预测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113469335A (zh) | 2021-10-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112132023B (zh) | 基于多尺度上下文增强网络的人群计数方法 | |
| CN110245665B (zh) | 基于注意力机制的图像语义分割方法 | |
| CN111523521B (zh) | 一种双支路融合多尺度注意神经网络的遥感图像分类方法 | |
| CN112163601B (zh) | 图像分类方法、系统、计算机设备及存储介质 | |
| CN115249332B (zh) | 基于空谱双分支卷积网络的高光谱图像分类方法及设备 | |
| CN113609896A (zh) | 基于对偶相关注意力的对象级遥感变化检测方法及系统 | |
| CN112489164B (zh) | 基于改进深度可分离卷积神经网络的图像着色方法 | |
| CN113554032B (zh) | 基于高度感知的多路并行网络的遥感图像分割方法 | |
| CN112733693B (zh) | 一种全局感知高分辨率遥感影像多尺度残差道路提取方法 | |
| CN113743269B (zh) | 一种轻量化识别视频人体姿态的方法 | |
| CN112884758B (zh) | 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统 | |
| CN111798469A (zh) | 基于深度卷积神经网络的数字图像小数据集语义分割方法 | |
| CN110993037A (zh) | 一种基于多视图分类模型的蛋白质活性预测装置 | |
| CN112991350A (zh) | 一种基于模态差异缩减的rgb-t图像语义分割方法 | |
| CN113449691A (zh) | 一种基于非局部注意力机制的人形识别系统及方法 | |
| CN116612288B (zh) | 一种多尺度轻量级实时语义分割方法、系统 | |
| CN112329801A (zh) | 一种卷积神经网络非局部信息构建方法 | |
| CN114550308B (zh) | 基于时空图的人体骨骼动作识别方法 | |
| CN110728683B (zh) | 一种基于密集连接的图像语义分割方法 | |
| CN113469335B (zh) | 一种利用不同卷积层特征间关系为特征分配权重的方法 | |
| CN114529450B (zh) | 基于改进深度迭代协作网络的人脸图像超分辨方法 | |
| CN114494284B (zh) | 一种基于显式监督区域关系的场景解析模型及方法 | |
| CN115861664A (zh) | 基于局部特征融合与自注意力机制的特征匹配方法及系统 | |
| CN114022716B (zh) | 一种基于注意力机制与图关系网络的服饰属性预测方法 | |
| CN113780305B (zh) | 一种基于两种线索交互的显著性目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |