CN113239954A - 基于注意力机制的图像语义分割特征融合方法 - Google Patents
基于注意力机制的图像语义分割特征融合方法 Download PDFInfo
- Publication number
- CN113239954A CN113239954A CN202110356093.1A CN202110356093A CN113239954A CN 113239954 A CN113239954 A CN 113239954A CN 202110356093 A CN202110356093 A CN 202110356093A CN 113239954 A CN113239954 A CN 113239954A
- Authority
- CN
- China
- Prior art keywords
- feature map
- matrix
- deep
- feature
- shallow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于注意力机制的图像语义分割特征融合方法,步骤如下:采集样本图像,利用卷积神经网络提取特征,获取样本图像的深层特征图和浅层特征图,调整特征图,将调整后的深层特征图和浅层特征图输入到注意力机制模块;在注意力模块中,将深层特征图进行降维,再将深层特征图聚类得到的语义特征分配到浅层特征图中,将特征图通道数恢复后输出融合特征图;将步骤2输出的融合特征图和步骤1调整之后的浅层特征图进行融合,之后再和步骤1调整后的深层特征图进行融合,得到最后融合特征图。本发明采用注意力机制辅助特征融合,将深层网络提取的语义特征与浅层网络保留的细节特征进行高效融合,提升了语义分割网络的分割精度。
Description
技术领域
本发明涉及图像处理领域,特别涉及一种基于注意力机制的图像语义分割特征融合方法。
背景技术
图像分割是一种将图像根据灰度、色彩、纹理和几何形状等划分成多个有互不相交区域的图像处理技术,是从图像处理到图像分析的关键步骤。语义分割是图像分割的子问题,在语义分割中,每个像素被划分到一个预定义的类集合中,使得同一类的像素属于图像中唯一的语义实体。
目前语义分割通常采用全卷积网络的架构算法,具有良好的分割效果,其中卷积神经网络的深层特征图包含丰富的语义信息,适合指导分类,但存在分辨率较低、难以得到准确结果的缺点;浅层特征图分辨率高,拥有丰富的细节信息,但缺乏语义信息导致难以分类。为达到更好分割效果,需要将深层特征图经过上采样后与浅层特征图融合,目前常用的特征融合方法包括逐点相加法和通道拼接法,但简单的叠加或拼接较粗糙,难以有效利用卷积神经网络不同层次提取的特征,对小物体、边缘细节、易混淆物体、被遮挡物体的分割效果较差。
发明内容
发明目的:针对以上问题,本发明目的是提供一种基于注意力机制的图像语义分割特征融合方法,利用注意力机制辅助特征融合,提升语义分割效果。
技术方案:本发明的基于注意力机制的图像语义分割特征融合方法,步骤如下:
(1)采集样本图像,利用卷积神经网络提取特征,获取样本图像的深层特征图和浅层特征图,调整特征图使深层特征图和浅层特征图的分辨率一致、通道数一致,将调整后的深层特征图和浅层特征图输入到注意力机制模块;
(2)在注意力模块中,将深层特征图进行降维,使高维空间的特征映射到低维空间,再将深层特征图聚类得到的语义特征分配到浅层特征图中,将特征图通道数恢复后输出融合特征图;
(3)将步骤(2)输出的融合特征图和步骤(1)调整之后的浅层特征图进行融合,之后再和步骤(1)调整后的深层特征图进行融合,得到最后融合特征图。
进一步,所述步骤(1)包括:
(11)将深层特征图Fd0进行反卷积得到特征图Fd1,使得深层特征图尺寸和通道数与浅层特征图对齐,将Fd1输入到语义分割模块,用X表示输入的特征图,K为通道数,H为特征图的长,W为特征图的宽,为自然空间坐标系的符号;
进一步,所述步骤(2)包括:
(21)Y经过两个映射运算得到矩阵B和矩阵C,其中映射运算包括1×1卷积和维度转换,计算过程表示为:
(22)X经过1×1卷积将深层特征图的通道数缩减至M,M为语义分割任务分类数,建立高秩特征向低秩特征的映射,之后经过维度转换得到矩阵A,1×1卷积和维度转换记为映射运算,计算过程表示为:
其中φ代表映射运算,Wφ代表运算参数;
(25)矩阵D经过1×1卷积层,将特征图的通道数扩大至K,得到注意力机制模块的输出融合特征图Z:
其中ρ代表映射运算,Wρ代表运算参数。
进一步,所述步骤(3)包括:
(31)Z与Y拥有相同的尺寸和相同的通道数,将Z与Y进行通道拼接,经过1×1卷积层,进行特征融合,并将通道数降低一半,得到特征图R;
(32)R与X拥有相同的尺寸和相同的通道数,将R与X进行通道拼接,经过1×1卷积层,进行特征融合,并将通道数降低一半,得到特征图S,S为最终融合输出特征图。
进一步,步骤(2)注意力权重矩阵计算表示式为:
其中softmax为归一化函数。
有益效果:本发明与现有技术相比,其显著优点是:
1、本发明采用注意力机制辅助特征融合,将深层网络提取的语义特征与浅层网络保留的细节特征进行高效融合,提升了语义分割网络的分割精度;
2、采用的注意力机制为一种轻量级注意力机制,在取得良好分割效果的同时,减少了计算成本,适用于需要实时语义分割的场景。
附图说明
图1为本发明流程图。
具体实施方式
本实施例所述的一种基于注意力机制的图像语义分割特征融合方法,流程图如图1所示,本实施例中将特征图尺寸为32×32、通道数为1024的深层特征与特征图尺寸为64×64、通道数为1024的浅层特征进行融合,在任务分类数位为20的训练网络模型需要数据集Cityscapes进行语义分割为例,详述本融合方法。
本实施例所述的一种基于注意力机制的图像语义分割特征融合方法,步骤如下:
(1)采集样本图像,利用卷积神经网络提取特征,获取样本图像的深层特征图和浅层特征图,调整特征图使深层特征图和浅层特征图的分辨率一致、通道数一致,将调整后的深层特征图和浅层特征图输入到注意力机制模块:
(11)深层32×32×1024的特征图Fd0首先进行反卷积将特征图尺寸和通道数与浅层特征图对齐得到64×64×512的浅层特征图Fd1,作为语义分割模块的输入特征图X;
(12)浅层64×64×512的特征图FS0经过1×1的卷积操作得到特征图FS1,其中没有改变特征图的尺寸,将特征图FS1作为语义分割模块的输入特征图Y。
(2)在注意力模块中,将深层特征图进行降维,使高维空间的特征映射到低维空间,再将深层特征图聚类得到的语义特征分配到浅层特征图中,将特征图通道数恢复后输出融合特征图:
(21)Y经过两个映射运算得到矩阵B和矩阵C,其中映射运算包括1×1卷积和维度转换,将B和C作为注意力机制模块的输入。
(22)X经过1×1的卷积操作将深层特征图的通道数缩减至20,建立了高秩特征向低秩特征的映射,之后经过维度转换得到矩阵A,映射运算包括1×1卷积和维度转换,A的尺寸为64×64×20,计算过程表示为:
A=φ(X;Wφ);
其中φ代表映射运算,Wφ代表运算参数;
(25)D经过一个1×1的卷积层,将特征图的通道数降低至20,得到注意力模块的最终输出Z。
(3)将步骤(2)输出的融合特征图和步骤(1)调整之后的浅层特征图进行融合,之后再和步骤(1)调整后的深层特征图进行融合,得到最后的输出特征图:
(31)Z与Y拥有相同的尺寸和相同的通道数512,将Z与Y直接进行通道拼接,总通道数为1024,之后经过一个1×1的卷积层,进行特征整合,并将通道数降低一半,为512,得到特征图R;
(32)R与X拥有相同的尺寸和相同的通道数,为64×64×512,将R与X直接进行通道拼接,之后经过一个1×1的卷积层,进行特征整合,并将通道数降低一半为512,得到特征图S,S为最终融合输出特征图。
Claims (5)
1.基于注意力机制的图像语义分割特征融合方法,其特征在于,步骤如下:
(1)采集样本图像,利用卷积神经网络提取特征,获取样本图像的深层特征图和浅层特征图,调整特征图使深层特征图和浅层特征图的分辨率一致、通道数一致,将调整后的深层特征图和浅层特征图输入到注意力机制模块;
(2)在注意力模块中,将深层特征图进行降维,使高维空间的特征映射到低维空间,再将深层特征图聚类得到的语义特征分配到浅层特征图中,将特征图通道数恢复后输出融合特征图;
(3)将步骤(2)输出的融合特征图和步骤(1)调整之后的浅层特征图进行融合,之后再和步骤(1)调整后的深层特征图进行融合,得到最终融合特征图。
3.根据权利要求2所述的注意力机制的图像语义分割特征融合方法,其特征在于,所述步骤(2)包括:
(21)Y经过两个映射运算得到矩阵B和矩阵C,其中映射运算包括1×1卷积和维度转换,计算过程表示为:
(22)X经过1×1卷积将深层特征图的通道数缩减至M,M为语义分割任务分类数,建立高秩特征向低秩特征的映射,之后经过维度转换得到矩阵A,1×1卷积和维度转换记为映射运算,计算过程表示为:
其中φ代表映射运算,Wφ代表运算参数;
(25)矩阵D经过1×1卷积层,将特征图的通道数扩大至K,得到注意力机制模块的输出融合特征图Z:
其中ρ代表映射运算,Wρ代表运算参数。
4.根据权利要求3所述的注意力机制的图像语义分割特征融合方法,其特征在于,所述步骤(3)包括:
(31)Z与Y拥有相同的尺寸和相同的通道数,将Z与Y进行通道拼接,经过1×1卷积层,进行特征融合,并将通道数降低一半,得到特征图R;
(32)R与X拥有相同的尺寸和相同的通道数,将R与X进行通道拼接,经过1×1卷积层,进行特征融合,并将通道数降低一半,得到特征图S,S为最终融合输出特征图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110356093.1A CN113239954B (zh) | 2021-04-01 | 2021-04-01 | 基于注意力机制的图像语义分割特征融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110356093.1A CN113239954B (zh) | 2021-04-01 | 2021-04-01 | 基于注意力机制的图像语义分割特征融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113239954A true CN113239954A (zh) | 2021-08-10 |
CN113239954B CN113239954B (zh) | 2022-10-25 |
Family
ID=77130944
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110356093.1A Active CN113239954B (zh) | 2021-04-01 | 2021-04-01 | 基于注意力机制的图像语义分割特征融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113239954B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113837353A (zh) * | 2021-08-17 | 2021-12-24 | 中国地质大学(武汉) | 基于特征筛选和深度融合的卷积神经网络特征融合算法 |
CN114581456A (zh) * | 2022-05-09 | 2022-06-03 | 深圳市华汉伟业科技有限公司 | 一种多图像分割模型的构建方法、图像检测方法及装置 |
CN114627426A (zh) * | 2022-05-13 | 2022-06-14 | 盈嘉互联(北京)科技有限公司 | 一种融合建筑数字孪生语义图的图像检测方法及装置 |
CN114723760A (zh) * | 2022-05-19 | 2022-07-08 | 北京世纪好未来教育科技有限公司 | 人像分割模型的训练方法、装置及人像分割方法、装置 |
CN115359261A (zh) * | 2022-10-21 | 2022-11-18 | 阿里巴巴(中国)有限公司 | 图像识别方法、计算机可读存储介质以及电子设备 |
CN115719309A (zh) * | 2023-01-10 | 2023-02-28 | 湖南大学 | 一种基于低秩张量网络的光谱超分重建方法及系统 |
CN116884005A (zh) * | 2023-09-08 | 2023-10-13 | 江西财经大学 | 一种结合卷积网络与图特征的快速语义分割方法与系统 |
CN117492398A (zh) * | 2023-11-16 | 2024-02-02 | 北京雷格讯电子股份有限公司 | 一种高速数据采集系统及其采集方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110009648A (zh) * | 2019-03-04 | 2019-07-12 | 东南大学 | 基于深浅特征融合卷积神经网络的路侧图像车辆分割方法 |
CN111259906A (zh) * | 2020-01-17 | 2020-06-09 | 陕西师范大学 | 含多级通道注意力的条件生成对抗遥感图像目标分割方法 |
CN111523546A (zh) * | 2020-04-16 | 2020-08-11 | 湖南大学 | 图像语义分割方法、系统及计算机存储介质 |
CN112330696A (zh) * | 2020-12-02 | 2021-02-05 | 青岛大学 | 人脸分割方法、装置及计算机可读存储介质 |
-
2021
- 2021-04-01 CN CN202110356093.1A patent/CN113239954B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110009648A (zh) * | 2019-03-04 | 2019-07-12 | 东南大学 | 基于深浅特征融合卷积神经网络的路侧图像车辆分割方法 |
CN111259906A (zh) * | 2020-01-17 | 2020-06-09 | 陕西师范大学 | 含多级通道注意力的条件生成对抗遥感图像目标分割方法 |
CN111523546A (zh) * | 2020-04-16 | 2020-08-11 | 湖南大学 | 图像语义分割方法、系统及计算机存储介质 |
CN112330696A (zh) * | 2020-12-02 | 2021-02-05 | 青岛大学 | 人脸分割方法、装置及计算机可读存储介质 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113837353A (zh) * | 2021-08-17 | 2021-12-24 | 中国地质大学(武汉) | 基于特征筛选和深度融合的卷积神经网络特征融合算法 |
CN114581456A (zh) * | 2022-05-09 | 2022-06-03 | 深圳市华汉伟业科技有限公司 | 一种多图像分割模型的构建方法、图像检测方法及装置 |
CN114581456B (zh) * | 2022-05-09 | 2022-10-14 | 深圳市华汉伟业科技有限公司 | 一种多图像分割模型的构建方法、图像检测方法及装置 |
CN114627426B (zh) * | 2022-05-13 | 2022-08-23 | 盈嘉互联(北京)科技有限公司 | 一种融合建筑数字孪生语义图的图像检测方法及装置 |
CN114627426A (zh) * | 2022-05-13 | 2022-06-14 | 盈嘉互联(北京)科技有限公司 | 一种融合建筑数字孪生语义图的图像检测方法及装置 |
CN114723760A (zh) * | 2022-05-19 | 2022-07-08 | 北京世纪好未来教育科技有限公司 | 人像分割模型的训练方法、装置及人像分割方法、装置 |
CN114723760B (zh) * | 2022-05-19 | 2022-08-23 | 北京世纪好未来教育科技有限公司 | 人像分割模型的训练方法、装置及人像分割方法、装置 |
CN115359261A (zh) * | 2022-10-21 | 2022-11-18 | 阿里巴巴(中国)有限公司 | 图像识别方法、计算机可读存储介质以及电子设备 |
CN115719309A (zh) * | 2023-01-10 | 2023-02-28 | 湖南大学 | 一种基于低秩张量网络的光谱超分重建方法及系统 |
CN116884005A (zh) * | 2023-09-08 | 2023-10-13 | 江西财经大学 | 一种结合卷积网络与图特征的快速语义分割方法与系统 |
CN116884005B (zh) * | 2023-09-08 | 2023-11-07 | 江西财经大学 | 一种结合卷积网络与图特征的快速语义分割方法与系统 |
CN117492398A (zh) * | 2023-11-16 | 2024-02-02 | 北京雷格讯电子股份有限公司 | 一种高速数据采集系统及其采集方法 |
CN117492398B (zh) * | 2023-11-16 | 2024-05-28 | 北京雷格讯电子股份有限公司 | 一种高速数据采集系统及其采集方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113239954B (zh) | 2022-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113239954B (zh) | 基于注意力机制的图像语义分割特征融合方法 | |
CN110287849B (zh) | 一种适用于树莓派的轻量化深度网络图像目标检测方法 | |
CN112287940B (zh) | 一种基于深度学习的注意力机制的语义分割的方法 | |
CN108629338B (zh) | 一种基于lbp和卷积神经网络的人脸美丽预测方法 | |
CN115063573B (zh) | 一种基于注意力机制的多尺度目标检测方法 | |
CN107451565B (zh) | 一种半监督小样本深度学习图像模式分类识别方法 | |
CN109919013A (zh) | 视频图像中基于深度学习的人脸检测方法及装置 | |
CN109285162A (zh) | 一种基于局部区域条件随机场模型的图像语义分割方法 | |
CN113705641B (zh) | 基于富上下文网络的高光谱图像分类方法 | |
CN110992374B (zh) | 一种基于深度学习的头发精细化分割方法及系统 | |
CN113642445B (zh) | 一种基于全卷积神经网络的高光谱影像分类方法 | |
CN107944459A (zh) | 一种rgb‑d物体识别方法 | |
CN112347970A (zh) | 一种基于图卷积神经网络的遥感影像地物识别方法 | |
CN111652273A (zh) | 一种基于深度学习的rgb-d图像分类方法 | |
CN108898269A (zh) | 基于度量的电力图像环境影响评估方法 | |
CN111401380A (zh) | 一种基于深度特征增强和边缘优化的rgb-d图像语义分割方法 | |
CN113344110B (zh) | 一种基于超分辨率重建的模糊图像分类方法 | |
CN111401156A (zh) | 基于Gabor卷积神经网络的图像识别方法 | |
CN108491863A (zh) | 基于非负矩阵分解和卷积神经网络的彩色图像处理方法 | |
CN111640116A (zh) | 基于深层卷积残差网络的航拍图建筑物分割方法及装置 | |
CN114758224A (zh) | 一种基于深度学习的垃圾分类检测方法 | |
CN113903043B (zh) | 一种基于孪生度量模型的印刷汉字字体识别方法 | |
CN110136113B (zh) | 一种基于卷积神经网络的阴道病理图像分类方法 | |
CN112967296B (zh) | 一种点云动态区域图卷积方法、分类方法及分割方法 | |
CN113688715A (zh) | 面部表情识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |