CN113420838B - 基于多尺度注意力特征融合的sar与光学图像分类方法 - Google Patents
基于多尺度注意力特征融合的sar与光学图像分类方法 Download PDFInfo
- Publication number
- CN113420838B CN113420838B CN202110957839.4A CN202110957839A CN113420838B CN 113420838 B CN113420838 B CN 113420838B CN 202110957839 A CN202110957839 A CN 202110957839A CN 113420838 B CN113420838 B CN 113420838B
- Authority
- CN
- China
- Prior art keywords
- image
- conv
- optical image
- attention
- sar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000004927 fusion Effects 0.000 title claims abstract description 23
- 230000003595 spectral effect Effects 0.000 claims abstract description 29
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 26
- 238000001228 spectrum Methods 0.000 claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 24
- 238000000605 extraction Methods 0.000 claims description 18
- 239000004576 sand Substances 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 11
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 101100379081 Emericella variicolor andC gene Proteins 0.000 claims description 3
- 238000012512 characterization method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 claims description 3
- 239000000203 mixture Substances 0.000 claims description 3
- 230000002250 progressing effect Effects 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多尺度注意力特征融合的SAR与光学图像分类方法,包括步骤:将配准好的SAR图像和光学图像作为数据集;构建卷积神经网络,并进行训练;将各卷积层的输出作为空间/光谱注意力模块的输入,再经过注意力机制的加权操作,得到具有空间和光谱特性的增强融合特征;将卷积神经网络输出的特征图与空间和光谱注意力模块得到的增强特征进行跳跃连接;将两部分多层卷积网络提取出的SAR和光学图像特征进行融合,通过全连接层进行分类,获取遥感图像的分类结果。本发明的方法有效的融合了SAR图像和光学图像的特征,而且能够提取SAR和光学图像各自的有效细节特征,去除无效特征,极大的提高了分类的精度。
Description
技术领域
本发明属于遥感图像分类应用领域,尤其涉及一种基于多尺度注意力特征融合的SAR图像与光学图像分类方法。
背景技术
遥感图像分类是通过分析各种类型特征的光谱特征来选择特征参数,将特征空间划分为非重叠子空间,然后将图像中的图像元素划分为子空间以实现分类。
一般来说,分类任务包括两个步骤:特征提取和标签分类。分类方法根据提取的特征可分为两类:基于手工特征的方法和基于语义特征的方法。基于手工特征的方法对图像处理的专业知识要求较高,在具有复杂空间分布的场景中,手工特征的表达能力会受到限制;随着深度学习的迅速发展,基于语义特征的方法(如卷积神经网络,CNN)在性能上显示出了传统方法无法比拟的优越性,它能够有效地提取与图像类别高度相关的高层抽象语义信息。
在遥感场景分类任务中,鉴别特征的提取至关重要。鉴别特征是指图像中可以判断一幅图像所属正确类别的特征。相对于自然图像而言,遥感影像的背景更加复杂。同一类别的图像中,除了相似的鉴别特征以外,还包含不同类别不同分布的地物背景,增加了分类判断的难度。网络中的多级别特征对于提高分类精度具有很大的潜力。
根据分析基元尺度的大小,遥感影像的地物分类方法可分为像元级分类法与对象级分类法。基于像元的遥感影像分类方法存在以下公认的不足:(1)无法避免“同物异谱、同谱异物”等光谱信息局限性导致的问题;(2)监督分类和非监督分类都缺乏人类知识和专家经验参与;(3)分类结果普遍存在“椒盐效应”现象。
由于存在上述问题,针对遥感图像分类依据提出一些算法,但是效果仍没有达到最佳,性能提升空间很大,因此遥感图像分类问题依然有很大的研究价值。
发明内容
针对上述技术问题,本发明提供一种基于多尺度注意力特征融合的SAR与光学图像分类方法。首先将配准好的SAR图像和光学图像作为数据集,并划分训练集、测试集和验证集;构建卷积神经网络,利用有标注的SAR图像和光学图像数据集对网络模型进行训练;将各卷积层的输出作为空间和光谱注意力模块的输入,再经过注意力机制的加权操作,得到具有空间和光谱特性的增强特征;将卷积神经网络输出的特征图与空间和光谱注意力模块得到的增强特征进行跳跃连接;将两部分多层卷积网络提取出的SAR图像和光学图像特征进行特征融合,并通过全连接层进行分类,以获取遥感图像的分类结果。
本发明提出的多尺度注意力特征融和方法,不仅有效的融合了SAR图像和光学图像的特征,而且通过空间和光谱注意力模块,使各个图像关注重点特征抑制非必要特征,进一步增强特征的表达能力,再与原特征融合,综合所有特征对遥感图像进行分类,提高了分类的能力。
本发明采用的技术方案是:一种基于多尺度注意力特征融合的SAR图像和光学图像分类方法,包括以下步骤:
步骤一、将配准好的SAR图像和光学图像作为数据集,并划分训练集、测试集和验证集:
步骤101、将已知的SAR图像和光学图像的像素点划分为L×L大小的像素块大小作为输入,在利用中心点特征信息的同时,利用中心点周围的像素点信息;
步骤102、将获取的遥感图像分别按照预定比例分为训练集、测试集和验证集,输入到多尺度注意力特征融合模型。
步骤二、构建卷积神经网络,利用有标注的SAR图像和光学图像数据集对卷积神经网络的网络模型进行训练;
步骤201、构建卷积神经网络作为基础网络,共包含两部分多层卷积网络,分别为光学和SAR图像特征提取的卷积层,其中SAR图像特征提取的卷积层包括Conv1_S、Conv2_S、Conv3_S、Conv4_S,光学图像特征提取的卷积层包括Conv1_O、Conv2_O、Conv3_O、Conv4_O,卷积核的大小均为3×3,步幅为1,以实现特征降维;
步骤202、SAR图像经过Conv1_S、Conv2_S、Conv3_S、Conv4_S四个卷积层进行特征提取,输出降维后的特征图C 1_S、C 2_S、C 3_S、C 4_S,由深到浅特征图尺寸分别为13×13、11×11、9×9、7×7,其中,浅层特征图包含更多的细节纹理信息,但是不具备高级语义;深层特征图包含更多抽象的高级语义信息,但是分辨率会降低,造成细节损失;
步骤203、光学图像经过Conv1_O、Conv2_O、Conv3_O、Conv4_O四个卷积层进行特征提取,输出降维后的特征图C 1_O、C 2_O、C 3_O、C 4_O, 尺寸分别为13×13、11×11、9×9、7×7。
步骤三、将各卷积层的输出作为空间和光谱注意力模块的输入,再经过注意力机制的加权操作,得到具有空间和光谱特性的增强特征:
步骤301、SAR图像使用C 1×H×W的原特征通过卷积层后得到的特征计算空间自注意力,将由SAR图像得到的C 1×H×W的特征C 1_S输入到三个卷积层中,,其中C 1为通道数,H×W为像素点数,表示张量的维度为C 1×H×W,分别得到三个新的特征图Q s1、K s1和V s1,,这三个特征图均保留SAR图像原始空间和光谱特征信息,将维度转化为,其中N=H×W是像素数,H为图像像素高度,W为图像像素宽度,C 1为通道数;
步骤302、在K s1和Q s1的转置之间进行矩阵乘法,再通过一个Softmax层计算空间注意力特征S 1,,然后在S 1和V s1的转置之间进行矩阵乘法得到SAR图像的空间自注意力F s1,将结果转化为;
F s1=V s1 S 1
步骤303、与SAR图像的自注意力不同,光学图像直接使用C 1×H×W的原始特征C 1_O来计算光谱自注意力,,C 1_O经过维度转换可得到Q o1、K o1和V o1,,其中N=H×W是像素数,然后在Q o1和K o1的转置之间进行矩阵乘法,再通过一个softmax层计算光谱注意力特征O 1,,然后在O 1和V o1之间进行矩阵乘法得到光学图像的自注意力F o1,将结果转化为;
F o1=O 1 V o1
步骤304、将由光学图像得到的光谱注意力特征O 1与由SAR图像卷积得到的特征图V s1进行矩阵乘法,结果既保留SAR图像的原始特征,又增添光学图像的通道特征,得到SAR图像和光学图像的互注意力F s2,将结果转化为;
F s2=O 1 V s1
步骤305、将由SAR图像得到的空间注意力特征S 1与由光学图像转换维度得到的V o1的转置之间进行矩阵乘法,结果既保留光学图像的原始特征,又增添SAR的空间特征,得到光学图像与SAR图像的互注意力F o2,将结果转化为;
F o2=V o1 S 1
步骤306、将SAR图像的自注意力F s1与互注意力F s2进行逐元素相加,即可得到具有空间和光谱注意力的增强特征;将光学图像的自注意力F o1与互注意力F o2进行逐元素相加,即可得到具有空间和光谱注意力的增强特征C 1_c;
步骤307、将Conv2_S、Conv3_S两个卷积层提取的SAR图像特征C 2_S、C 3_S和Conv2_O、Conv3_O两个卷积层提取的光学图像特征C 2_O、C 3_O分别进行步骤301到步骤307的操作,逐层递进,分别得到具有SAR图像和光学图像注意力模块增强特征的特征图、和C 2_c、C 3_c。
步骤四、将卷积神经网络输出的特征图与空间和光谱注意力模块得到的增强特征进行跳跃连接:
步骤401、将由注意力模块得到的增强特征作为原始特征的加权,将与SAR图像经过Conv1_S直接提取出的特征C 1_S相加,得到融合特征C 1_S',该特征既保留SAR图像的原始信息又包含了融合SAR图像和光学图像的空间和光谱特征;
步骤402、将由注意力模块得到的增强特征作为原始特征的加权,将C 1_c与光学图像经过Conv1_O直接提取出的特征C 1_O相加,得到融合特征C 1_O',该特征既保留光学图像的原始信息又包含了融合光学图像和SAR图像的空间和光谱特征;
步骤403、将具有SAR图像和光学图像特征增强的特征图、和C 2_c、C 3_c,分别作为卷积层Conv2_S、Conv3_S和Conv2_O、Conv3_O的输出的特征C 2_S、C 3_S和C 2_O、C 3_O的加权,进行跳跃连接,即重复步骤401和步骤402,可得到融合特征C 2_S'、C 3_S'和C 2_O'、C 3_O';
步骤404、将融合特征C 1_S'作为卷积层Conv2_S的输入,融合特征C 1_O'作为卷积层Conv2_O的输入,以此类推,SAR图像和光学图像分别经过四个卷积层和三次空间和光谱注意力模块的加权后,得到多次融合后的增强特征C 4_S和C 4_O。
步骤五、将两部分多层卷积网络提取出的SAR图像和光学图像特征进行特征融合,并通过全连接层进行分类,以获取遥感图像的分类结果:
步骤502、展开层用来将多维的输入一维化,使用展开层将SAR图像和光学图像融合后的特征F s ,转化为1×(C 1×H×W)的二维矩阵;
步骤503、再将步骤502中得到的二维矩阵输入到全连接层进行分类,将全连接层的通道数设置为与遥感图像分类类别M相等,由此即可得到图像属于各个类别的得分,得分最高的类别即为预测的结果。
与现有技术相比,本发明具有以下特点:
本发明适用于遥感图像分类,与已有方法相比,本发明提供了一种多尺度注意力模块加权的方法,通过卷积层的特征提取和注意力模块的特征加权,使得融合的特征既包含浅层特征图的细节纹理特征,又包含深层特征图抽象的高级语义信息,从而增强了特征的表达能力。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程图;
图2为本发明的空间和光谱注意力模块结构示意图。
具体实施方式
下面结合附图及本发明的实施对本发明的方法作进一步的详细的说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1表示的是一种基于多尺度注意力特征融合的SAR图像和光学图像分类方法流程图,图2表示空间和光谱注意力模块的结构示意图。
本发明使用python语言基于Pytorch深度学习框架实现,本发明具体选取的是具有红、绿、蓝三个波段的SAR图像和光学图像。
如图1所示,以SAR图像和光学图像数据集作为输入,说明本发明的合理性与有效性,包含具体步骤如下:
步骤一、将配准好的SAR图像和光学图像作为数据集,并划分训练集、测试集和验证集:
步骤101、将配准好的SAR图像和光学图像的像素点划分为15×15的像素块大小作为输入,在利用中心点特征信息的同时,利用中心点周围的像素点信息;
步骤102、将获取的遥感图像分别按照7:2:1的比例分为训练集、测试集和验证集,输入到多尺度注意力特征融合模型。
步骤二、构建卷积神经网络,利用有标注的SAR图像和光学图像数据集对卷积神经网络的网络模型进行训练;
步骤201、构建卷积神经网络作为基础网络,共包含两部分多层卷积网络,分别为光学和SAR图像特征提取的卷积层,其中SAR图像特征提取的卷积层包括Conv1_S、Conv2_S、Conv3_S、Conv4_S,光学图像特征提取的卷积层包括Conv1_O、Conv2_O、Conv3_O、Conv4_O,卷积核的大小均为3×3,步幅为1,以实现特征降维;
步骤202、SAR图像经过Conv1_S、Conv2_S、Conv3_S、Conv4_S四个卷积层进行特征提取,输出降维后的特征图C 1_S、C 2_S、C 3_S、C 4_S,由深到浅特征图尺寸分别为13×13、11×11、9×9、7×7,其中,浅层特征图包含更多的细节纹理信息,但是不具备高级语义;深层特征图包含更多抽象的高级语义信息,但是分辨率会降低,造成细节损失;
步骤203、光学图像经过Conv1_O、Conv2_O、Conv3_O、Conv4_O四个卷积层进行特征提取,输出降维后的特征图C 1_O、C 2_O、C 3_O、C 4_O,尺寸分别为13×13、11×11、9×9、7×7。
步骤三、将各卷积层的输出作为空间和光谱注意力模块的输入,再经过注意力机制的加权操作,得到具有空间和光谱特性的增强特征:
步骤301、SAR图像使用C 1×H×W的原特征通过卷积层后得到的特征计算空间自注意力,将由SAR图像得到的C 1×H×W的特征C 1_S输入到三个卷积层中,,其中C 1为通道数,H×W为像素点数,表示张量的维度为C 1×H×W分别得到三个新的特征图Q s1、K s1和V s1,这三个特征图均保留SAR图像原始空间和光谱特征信息,,将维度转化为,其中N=H×W是像素数,H为图像像素高度,W为图像像素宽度,C1为通道数;
步骤302、在K s1和Q s1的转置之间进行矩阵乘法,再通过一个Softmax层计算空间注意力特征S 1,,然后在S 1和V s1的转置之间进行矩阵乘法得到SAR图像的空间自注意力F s1,将结果转化为;
F s1=V s1 S 1
步骤303、与SAR图像的自注意力不同,光学图像直接使用C 1×H×W的原始特征C 1_O来计算光谱自注意力,,C 1_O经过维度转换可得到Q o1、K o1和V o1,,其中N=H×W是像素数,然后在Q o1和K o1的转置之间进行矩阵乘法,再通过一个softmax层计算光谱注意力特征O 1,,然后在O 1和V o1之间进行矩阵乘法得到光学图像的自注意力F o1,将结果转化为;
F o1=O 1 V o1
步骤304、将由光学图像得到的光谱注意力特征O 1与由SAR图像卷积得到的特征图V s1进行矩阵乘法,结果既保留SAR图像的原始特征,又增添光学图像的通道特征,得到SAR图像和光学图像的互注意力F s2,将结果转化为;
F s2=O 1 V s1
步骤305、将由SAR图像得到的空间注意力特征S 1与由光学图像转换维度得到的V o1的转置之间进行矩阵乘法,结果既保留光学图像的原始特征,又增添SAR的空间特征,得到光学图像与SAR图像的互注意力F o2,将结果转化为;
F o2=V o1 S 1
步骤306、将SAR图像的自注意力F s1与互注意力F s2进行逐元素相加,即可得到具有空间和光谱注意力的增强特征;将光学图像的自注意力F o1与互注意力F o2进行逐元素相加,即可得到具有空间和光谱注意力的增强特征C 1_c;
步骤307、将Conv2_S、Conv3_S两个卷积层提取的SAR图像特征C 2_S、C 3_S和Conv2_O、Conv3_O两个卷积层提取的光学图像特征C 2_O、C 3_O分别进行步骤301到步骤307的操作,逐层递进,分别得到具有SAR图像和光学图像注意力模块增强特征的特征图、和C 2_c、C 3_c。
步骤四、将卷积神经网络输出的特征图与空间和光谱注意力模块得到的增强特征进行跳跃连接:
步骤401、将由注意力模块得到的增强特征作为原始特征的加权,将与SAR图像经过Conv1_S直接提取出的特征C 1_S相加,得到融合特征C 1_S',该特征既保留SAR图像的原始信息又包含了融合SAR图像和光学图像的空间和光谱特征;
步骤402、将由注意力模块得到的增强特征作为原始特征的加权,将C 1_c与光学图像经过Conv1_O直接提取出的特征C 1_O相加,得到融合特征C 1_O',该特征既保留光学图像的原始信息又包含了融合光学图像和SAR图像的空间和光谱特征;
步骤403、将具有SAR图像和光学图像特征增强的特征图、和C 2_c、C 3_c,分别作为卷积层Conv2_S、Conv3_S和Conv2_O、Conv3_O的输出的特征C 2_S、C 3_S和C 2_O、C 3_O的加权,进行跳跃连接,即重复步骤401和步骤402,可得到融合特征C 2_S'、C 3_S'和C 2_O'、C 3_O';
步骤404、将融合特征C 1_S'作为卷积层Conv2_S的输入,融合特征C 1_O'作为卷积层Conv2_O的输入,以此类推,SAR图像和光学图像分别经过四个卷积层和三次空间和光谱注意力模块的加权后,得到多次融合后的增强特征C 4_S和C 4_O。
步骤五、将卷积神经网络提取出的SAR图像和光学图像特征进行特征融合,并通过全连接层进行分类,以获取遥感图像的分类结果:
步骤502、展开层用来将多维的输入一维化,使用展开层将SAR图像和光学图像融合后的特征F s ,转化为1×(C 1×H×W)的二维矩阵;
步骤503、再将步骤502中得到的二维矩阵输入到全连接层进行分类,将全连接层的通道数设置为与遥感图像分类类别M相等,由此即可得到图像属于各个类别的得分,得分最高的类别即为预测的结果。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领域的技术人员理解本发明,且应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
Claims (4)
1.一种基于多尺度注意力特征融合的SAR与光学图像分类方法,其特征在于,包括以下步骤:
步骤一、将配准好的SAR图像和光学图像作为数据集,并划分训练集、测试集和验证集;
步骤二、构建卷积神经网络,利用有标注的SAR图像和光学图像数据集对卷积神经网络的网络模型进行训练;
所述步骤二、构建卷积神经网络,利用有标注的SAR图像和光学图像数据集对卷积神经网络的网络模型进行训练;
步骤201、构建卷积神经网络作为基础网络,共包含两部分多层卷积网络,分别为光学和SAR图像特征提取的卷积层,其中SAR图像特征提取的卷积层包括Conv1_S、Conv2_S、Conv3_S、Conv4_S,光学图像特征提取的卷积层包括Conv1_O、Conv2_O、Conv3_O、Conv4_O,以实现特征降维;
步骤202、SAR图像经过Conv1_S、Conv2_S、Conv3_S、Conv4_S四个卷积层进行特征提取,输出降维后的特征图C 1_S、C 2_S、C 3_S、C 4_S;
步骤203、光学图像经过Conv1_O、Conv2_O、Conv3_O、Conv4_O四个卷积层进行特征提取,输出降维后的特征图C 1_O、C 2_O、C 3_O、C 4_O;
步骤三、将各卷积层的输出作为空间和光谱注意力模块的输入,再经过注意力机制的加权操作,得到具有空间和光谱特性的增强特征;
所述步骤三、将各卷积层的输出作为空间和光谱注意力模块的输入,再经过注意力机制的加权操作,得到具有空间和光谱特性的增强特征,具体包括如下步骤:
步骤301、SAR图像使用C 1×H×W的原特征通过卷积层后得到的特征计算空间自注意力,将由SAR图像得到的C 1×H×W的特征C 1_S输入到三个卷积层中,,其中C 1为通道数,H×W为像素点数,表示张量的维度为C 1×H×W,分别得到三个新的特征图Q s1、K s1和V s1,这三个特征图均保留SAR图像原始空间和光谱特征信息,,将维度转化为,其中N=H×W是像素数,H为图像像素高度,W为图像像素宽度;
步骤302、在K s1和Q s1的转置之间进行矩阵乘法,再通过一个Softmax层计算空间注意力特征S 1,,然后在S 1和V s1的转置之间进行矩阵乘法得到SAR图像的空间自注意力F s1,将结果转化为;
F s1=V s1 S 1
步骤303、光学图像直接使用C 1×H×W的原始特征C 1_O来计算光谱自注意力,,C 1_O经过维度转换得到Q o1、K o1和V o1,,其中N=H×W是像素数,然后在Q o1和K o1的转置之间进行矩阵乘法,再通过一个softmax层计算光谱注意力特征O 1,,然后在O 1和V o1之间进行矩阵乘法得到光学图像的自注意力F o1,将结果转化为;
F o1=O 1 V o1
步骤304、将由光学图像得到的光谱注意力特征O 1与由SAR图像卷积得到的特征图V s1进行矩阵乘法,结果既保留SAR图像的原始特征,又增添光学图像的通道特征,得到SAR图像和光学图像的互注意力F s2,将结果转化为;
F s2=O 1 V s1
步骤305、将由SAR图像得到的空间注意力特征S 1与由光学图像转换维度得到的V o1的转置之间进行矩阵乘法,结果既保留光学图像的原始特征,又增添SAR的空间特征,得到光学图像与SAR图像的互注意力F o2,将结果转化为;
F o2=V o1 S 1
步骤306、将SAR图像的自注意力F s1与互注意力F s2进行逐元素相加,即可得到具有空间和光谱注意力的增强特征;将光学图像的自注意力F o1与互注意力F o2进行逐元素相加,即可得到具有空间和光谱注意力的增强特征C 1_c;
步骤307、将Conv2_S、Conv3_S两个卷积层提取的SAR图像特征C 2_S、C 3_S和Conv2_O、Conv3_O两个卷积层提取的光学图像特征C 2_O、C 3_O分别进行步骤301到步骤307的操作,逐层递进,分别得到具有SAR图像和光学图像注意力模块增强特征的特征图、和C 2_c、C 3_c;
步骤四、将卷积神经网络输出的特征图与空间和光谱注意力模块得到的增强特征进行跳跃连接;
步骤五、将卷积神经网络提取出的SAR图像和光学图像特征进行特征融合,并通过全连接层进行分类,以获取遥感图像的分类结果。
2.根据权利要求1所述的一种基于多尺度注意力特征融合的SAR与光学图像分类方法,其特征在于,所述步骤一、将配准好的SAR图像和光学图像作为数据集,并划分训练集、测试集和验证集,具体包括如下步骤:
步骤101、将配准好的SAR图像和光学图像的像素点划分为L×L大小的像素块大小作为输入,在利用中心点特征信息的同时,利用中心点周围的像素点信息;
步骤102、将获取的遥感图像分别按照预定比例分为训练集、测试集和验证集,输入到多尺度注意力特征融合模型。
3.根据权利要求1所述的一种基于多尺度注意力特征融合的SAR与光学图像分类方法,其特征在于,所述步骤四、将卷积神经网络输出的特征图与空间和光谱注意力模块得到的增强特征进行跳跃连接,具体包括如下步骤:
步骤401、将由注意力模块得到的增强特征作为原始特征的加权,将与SAR图像经过Conv1_S直接提取出的特征C 1_S相加,得到融合特征C 1_S',该特征既保留SAR图像的原始信息又包含了融合SAR图像和光学图像的空间和光谱特征;
步骤402、将由注意力模块得到的增强特征作为原始特征的加权,将C 1_c与光学图像经过Conv1_O直接提取出的特征C 1_O相加,得到融合特征C 1_O',该特征既保留光学图像的原始信息又包含了融合光学图像和SAR图像的空间和光谱特征;
步骤403、将具有SAR图像和光学图像特征增强的特征图、和C 2_c、C 3_c,分别作为卷积层Conv2_S、Conv3_S和Conv2_O、Conv3_O的输出的特征C 2_S、C 3_S和C 2_O、C 3_O的加权,进行跳跃连接,即重复步骤401和步骤402,得到融合特征C 2_S'、C 3_S'和C 2_O'、C 3_O';
步骤404、将融合特征C 1_S'作为卷积层Conv2_S的输入,融合特征C 1_O'作为卷积层Conv2_O的输入,以此类推,SAR图像和光学图像分别经过四个卷积层和三次空间和光谱注意力模块的加权后,得到多次融合后的增强特征C 4_S和C 4_O。
4.根据权利要求3所述的一种基于多尺度注意力特征融合的SAR与光学图像分类方法,其特征在于,所述步骤五、将卷积神经网络提取出的SAR图像和光学图像特征进行特征融合,并通过全连接层进行分类,以获取遥感图像的分类结果,具体包括如下步骤:
步骤502、展开层用来将多维的输入一维化,使用展开层将SAR图像和光学图像融合后的特征F s ,转化为1×(C 1×H×W)的二维矩阵;
步骤503、再将步骤502中得到的二维矩阵输入到全连接层进行分类,将全连接层的通道数设置为与遥感图像分类类别M相等,由此即可得到图像属于各个类别的得分,得分最高的类别即为预测的结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110957839.4A CN113420838B (zh) | 2021-08-20 | 2021-08-20 | 基于多尺度注意力特征融合的sar与光学图像分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110957839.4A CN113420838B (zh) | 2021-08-20 | 2021-08-20 | 基于多尺度注意力特征融合的sar与光学图像分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113420838A CN113420838A (zh) | 2021-09-21 |
CN113420838B true CN113420838B (zh) | 2021-11-02 |
Family
ID=77719135
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110957839.4A Active CN113420838B (zh) | 2021-08-20 | 2021-08-20 | 基于多尺度注意力特征融合的sar与光学图像分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113420838B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113887645B (zh) * | 2021-10-13 | 2024-02-13 | 西北工业大学 | 一种基于联合注意力孪生网络的遥感图像融合分类方法 |
CN115015910B (zh) * | 2022-05-30 | 2024-02-13 | 深圳大学 | 微波与光学视觉的交互感知识别方法、装置、终端及介质 |
CN116468906A (zh) * | 2023-04-24 | 2023-07-21 | 中国测绘科学研究院 | 基于空间扩展卷积和光谱扩展卷积的高光谱数据分类方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106295714A (zh) * | 2016-08-22 | 2017-01-04 | 中国科学院电子学研究所 | 一种基于深度学习的多源遥感图像融合方法 |
CN106682675A (zh) * | 2016-12-29 | 2017-05-17 | 中国电子科技集团公司第五十四研究所 | 一种面向高光谱图像的空谱联合特征提取方法 |
EP3359978B1 (fr) * | 2015-10-09 | 2020-01-08 | Thales | Methode de traitement d'une image radar de type sar et methode de detection de cible associee |
CN111179217A (zh) * | 2019-12-04 | 2020-05-19 | 天津大学 | 一种基于注意力机制的遥感图像多尺度目标检测方法 |
CN112733746A (zh) * | 2021-01-14 | 2021-04-30 | 中国海洋大学 | 融合InSAR相干性与多光谱遥感的协同分类方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111738124B (zh) * | 2020-06-15 | 2023-08-22 | 西安电子科技大学 | 基于Gabor变换和注意力的遥感图像云检测方法 |
CN112347888B (zh) * | 2020-10-29 | 2023-08-08 | 河海大学 | 基于双向特征迭代融合的遥感图像场景分类方法 |
-
2021
- 2021-08-20 CN CN202110957839.4A patent/CN113420838B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3359978B1 (fr) * | 2015-10-09 | 2020-01-08 | Thales | Methode de traitement d'une image radar de type sar et methode de detection de cible associee |
CN106295714A (zh) * | 2016-08-22 | 2017-01-04 | 中国科学院电子学研究所 | 一种基于深度学习的多源遥感图像融合方法 |
CN106682675A (zh) * | 2016-12-29 | 2017-05-17 | 中国电子科技集团公司第五十四研究所 | 一种面向高光谱图像的空谱联合特征提取方法 |
CN111179217A (zh) * | 2019-12-04 | 2020-05-19 | 天津大学 | 一种基于注意力机制的遥感图像多尺度目标检测方法 |
CN112733746A (zh) * | 2021-01-14 | 2021-04-30 | 中国海洋大学 | 融合InSAR相干性与多光谱遥感的协同分类方法 |
Non-Patent Citations (4)
Title |
---|
基于注意力机制的CNN与稀疏ELM的高光谱图像分类;伍宇;《中国优秀博硕士学位论文全文数据库(硕士)基础科学辑》;20200215(第2期);全文 * |
基于特征融合SSD的遥感图像舰船目标检测;马健 等;《计算机应用》;20191230;全文 * |
多源遥感图像融合的数据对象选择;周强 等;《测绘通报》;20060125(第1期);全文 * |
高分辨率SAR与光学图像融合用于建筑物屋顶提取;朱俊杰 等;《中国科学院研究生院学报》;20060330;第23卷(第2期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113420838A (zh) | 2021-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113420838B (zh) | 基于多尺度注意力特征融合的sar与光学图像分类方法 | |
Zhao et al. | Efficient and model-based infrared and visible image fusion via algorithm unrolling | |
CN110399909B (zh) | 一种基于标签约束弹性网图模型的高光谱图像分类方法 | |
Yang et al. | Canonical correlation analysis networks for two-view image recognition | |
Yuan et al. | Hyperspectral image superresolution by transfer learning | |
CN110555458B (zh) | 基于注意力机制生成对抗网络的多波段图像特征级融合方法 | |
Liu et al. | Deep multiple instance learning-based spatial–spectral classification for PAN and MS imagery | |
CN108491849B (zh) | 基于三维稠密连接卷积神经网络的高光谱图像分类方法 | |
Liu et al. | Interactformer: Interactive transformer and CNN for hyperspectral image super-resolution | |
CN112819910B (zh) | 基于双鬼注意力机制网络的高光谱图像重建方法 | |
CN108460391B (zh) | 基于生成对抗网络的高光谱图像无监督特征提取方法 | |
Zhang et al. | Symmetric all convolutional neural-network-based unsupervised feature extraction for hyperspectral images classification | |
CN112819737B (zh) | 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法 | |
Ji et al. | Colorformer: Image colorization via color memory assisted hybrid-attention transformer | |
Zhang et al. | CNN cloud detection algorithm based on channel and spatial attention and probabilistic upsampling for remote sensing image | |
CN113902622B (zh) | 基于深度先验联合注意力的光谱超分辨率方法 | |
Wang et al. | Infrared and visible image fusion via interactive compensatory attention adversarial learning | |
CN112818920B (zh) | 一种双时相高光谱图像空谱联合变化检测方法 | |
CN111914909A (zh) | 基于空谱联合三方向卷积网络的高光谱变化检测方法 | |
Huang et al. | An evidential combination method with multi-color spaces for remote sensing image scene classification | |
Zhao et al. | Band selection via explanations from convolutional neural networks | |
CN114863173A (zh) | 一种面向土地资源审计的自互注意力高光谱图像分类方法 | |
Shao et al. | Iviu-net: Implicit variable iterative unrolling network for hyperspectral sparse unmixing | |
CN103530860B (zh) | 基于自适应的自回归模型的高光谱图像超分辨率方法 | |
CN111695436B (zh) | 一种基于目标增强的高空间分辨率遥感图像场景分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |