CN113420838B - 基于多尺度注意力特征融合的sar与光学图像分类方法 - Google Patents

基于多尺度注意力特征融合的sar与光学图像分类方法 Download PDF

Info

Publication number
CN113420838B
CN113420838B CN202110957839.4A CN202110957839A CN113420838B CN 113420838 B CN113420838 B CN 113420838B CN 202110957839 A CN202110957839 A CN 202110957839A CN 113420838 B CN113420838 B CN 113420838B
Authority
CN
China
Prior art keywords
image
conv
optical image
attention
sar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110957839.4A
Other languages
English (en)
Other versions
CN113420838A (zh
Inventor
沈汀
潘洁
朱金彪
吴一戎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202110957839.4A priority Critical patent/CN113420838B/zh
Publication of CN113420838A publication Critical patent/CN113420838A/zh
Application granted granted Critical
Publication of CN113420838B publication Critical patent/CN113420838B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多尺度注意力特征融合的SAR与光学图像分类方法，包括步骤：将配准好的SAR图像和光学图像作为数据集；构建卷积神经网络，并进行训练；将各卷积层的输出作为空间/光谱注意力模块的输入，再经过注意力机制的加权操作，得到具有空间和光谱特性的增强融合特征；将卷积神经网络输出的特征图与空间和光谱注意力模块得到的增强特征进行跳跃连接；将两部分多层卷积网络提取出的SAR和光学图像特征进行融合，通过全连接层进行分类，获取遥感图像的分类结果。本发明的方法有效的融合了SAR图像和光学图像的特征，而且能够提取SAR和光学图像各自的有效细节特征，去除无效特征，极大的提高了分类的精度。

Description

基于多尺度注意力特征融合的SAR与光学图像分类方法
技术领域
本发明属于遥感图像分类应用领域，尤其涉及一种基于多尺度注意力特征融合的SAR图像与光学图像分类方法。
背景技术
遥感图像分类是通过分析各种类型特征的光谱特征来选择特征参数，将特征空间划分为非重叠子空间，然后将图像中的图像元素划分为子空间以实现分类。
一般来说，分类任务包括两个步骤：特征提取和标签分类。分类方法根据提取的特征可分为两类：基于手工特征的方法和基于语义特征的方法。基于手工特征的方法对图像处理的专业知识要求较高，在具有复杂空间分布的场景中，手工特征的表达能力会受到限制；随着深度学习的迅速发展，基于语义特征的方法(如卷积神经网络，CNN)在性能上显示出了传统方法无法比拟的优越性，它能够有效地提取与图像类别高度相关的高层抽象语义信息。
在遥感场景分类任务中，鉴别特征的提取至关重要。鉴别特征是指图像中可以判断一幅图像所属正确类别的特征。相对于自然图像而言，遥感影像的背景更加复杂。同一类别的图像中，除了相似的鉴别特征以外，还包含不同类别不同分布的地物背景，增加了分类判断的难度。网络中的多级别特征对于提高分类精度具有很大的潜力。
根据分析基元尺度的大小，遥感影像的地物分类方法可分为像元级分类法与对象级分类法。基于像元的遥感影像分类方法存在以下公认的不足：（1）无法避免“同物异谱、同谱异物”等光谱信息局限性导致的问题；（2）监督分类和非监督分类都缺乏人类知识和专家经验参与；（3）分类结果普遍存在“椒盐效应”现象。
由于存在上述问题，针对遥感图像分类依据提出一些算法，但是效果仍没有达到最佳，性能提升空间很大，因此遥感图像分类问题依然有很大的研究价值。
发明内容
针对上述技术问题，本发明提供一种基于多尺度注意力特征融合的SAR与光学图像分类方法。首先将配准好的SAR图像和光学图像作为数据集，并划分训练集、测试集和验证集；构建卷积神经网络，利用有标注的SAR图像和光学图像数据集对网络模型进行训练；将各卷积层的输出作为空间和光谱注意力模块的输入，再经过注意力机制的加权操作，得到具有空间和光谱特性的增强特征；将卷积神经网络输出的特征图与空间和光谱注意力模块得到的增强特征进行跳跃连接；将两部分多层卷积网络提取出的SAR图像和光学图像特征进行特征融合，并通过全连接层进行分类，以获取遥感图像的分类结果。
本发明提出的多尺度注意力特征融和方法，不仅有效的融合了SAR图像和光学图像的特征，而且通过空间和光谱注意力模块，使各个图像关注重点特征抑制非必要特征，进一步增强特征的表达能力，再与原特征融合，综合所有特征对遥感图像进行分类，提高了分类的能力。
本发明采用的技术方案是：一种基于多尺度注意力特征融合的SAR图像和光学图像分类方法，包括以下步骤：
步骤一、将配准好的SAR图像和光学图像作为数据集，并划分训练集、测试集和验证集：
步骤101、将已知的SAR图像和光学图像的像素点划分为L×L大小的像素块大小作为输入，在利用中心点特征信息的同时，利用中心点周围的像素点信息；
步骤102、将获取的遥感图像分别按照预定比例分为训练集、测试集和验证集，输入到多尺度注意力特征融合模型。
步骤二、构建卷积神经网络，利用有标注的SAR图像和光学图像数据集对卷积神经网络的网络模型进行训练；
步骤201、构建卷积神经网络作为基础网络，共包含两部分多层卷积网络，分别为光学和SAR图像特征提取的卷积层，其中SAR图像特征提取的卷积层包括Conv1_S、Conv2_S、Conv3_S、Conv4_S,光学图像特征提取的卷积层包括Conv1_O、Conv2_O、Conv3_O、Conv4_O，卷积核的大小均为3×3，步幅为1，以实现特征降维；
步骤202、SAR图像经过Conv1_S、Conv2_S、Conv3_S、Conv4_S四个卷积层进行特征提取，输出降维后的特征图C 1_S、C 2_S、C 3_S、C 4_S，由深到浅特征图尺寸分别为13×13、11×11、9×9、7×7，其中，浅层特征图包含更多的细节纹理信息，但是不具备高级语义；深层特征图包含更多抽象的高级语义信息，但是分辨率会降低，造成细节损失；
步骤203、光学图像经过Conv1_O、Conv2_O、Conv3_O、Conv4_O四个卷积层进行特征提取，输出降维后的特征图C 1_O、C 2_O、C 3_O、C 4_O， 尺寸分别为13×13、11×11、9×9、7×7。
步骤三、将各卷积层的输出作为空间和光谱注意力模块的输入，再经过注意力机制的加权操作，得到具有空间和光谱特性的增强特征：
步骤301、SAR图像使用C 1×H×W的原特征通过卷积层后得到的特征计算空间自注意力，将由SAR图像得到的C 1×H×W的特征C 1_S输入到三个卷积层中，
Figure DEST_PATH_IMAGE001
，其中C 1为通道数，H×W为像素点数，
Figure 108807DEST_PATH_IMAGE002
表示张量的维度为C 1×H×W，分别得到三个新的特征图Q s1、K s1和V s1，
Figure DEST_PATH_IMAGE003
，这三个特征图均保留SAR图像原始空间和光谱特征信息，将维度转化为
Figure 758094DEST_PATH_IMAGE004
，其中N=H×W是像素数，H为图像像素高度，W为图像像素宽度，C 1为通道数；
步骤302、在K s1和Q s1的转置之间进行矩阵乘法，再通过一个Softmax层计算空间注意力特征S 1，
Figure DEST_PATH_IMAGE005
，然后在S 1和V s1的转置之间进行矩阵乘法得到SAR图像的空间自注意力F s1，将结果转化为
Figure 308768DEST_PATH_IMAGE002
；
Figure 447625DEST_PATH_IMAGE006
其中，S 1中的每个特征
Figure DEST_PATH_IMAGE007
测量位置i对位置j的影响，两者的位置特征表现越相似，关联性就越大；
F s1=V s1 S 1
步骤303、与SAR图像的自注意力不同，光学图像直接使用C 1×H×W的原始特征C 1_O来计算光谱自注意力，
Figure 968736DEST_PATH_IMAGE008
，C 1_O经过维度转换可得到Q o1、K o1和V o1，
Figure DEST_PATH_IMAGE009
，其中N=H×W是像素数，然后在Q o1和K o1的转置之间进行矩阵乘法，再通过一个softmax层计算光谱注意力特征O 1，
Figure 405403DEST_PATH_IMAGE010
，然后在O 1和V o1之间进行矩阵乘法得到光学图像的自注意力F o1，将结果转化为
Figure 390676DEST_PATH_IMAGE002
；
Figure DEST_PATH_IMAGE011
其中，O 1中每个特征
Figure 700435DEST_PATH_IMAGE012
测量位置i对位置j的影响，两者的位置特征表现越相似，关联性就越大；
F o1=O 1 V o1
步骤304、将由光学图像得到的光谱注意力特征O 1与由SAR图像卷积得到的特征图V s1进行矩阵乘法，结果既保留SAR图像的原始特征，又增添光学图像的通道特征，得到SAR图像和光学图像的互注意力F s2，将结果转化为
Figure 708842DEST_PATH_IMAGE002
；
F s2=O 1 V s1
步骤305、将由SAR图像得到的空间注意力特征S 1与由光学图像转换维度得到的V o1的转置之间进行矩阵乘法，结果既保留光学图像的原始特征，又增添SAR的空间特征，得到光学图像与SAR图像的互注意力F o2，将结果转化为
Figure 762249DEST_PATH_IMAGE002
；
F o2=V o1 S 1
步骤306、将SAR图像的自注意力F s1与互注意力F s2进行逐元素相加，即可得到具有空间和光谱注意力的增强特征
Figure DEST_PATH_IMAGE013
；将光学图像的自注意力F o1与互注意力F o2进行逐元素相加，即可得到具有空间和光谱注意力的增强特征C 1_c；
步骤307、将Conv2_S、Conv3_S两个卷积层提取的SAR图像特征C 2_S、C 3_S和Conv2_O、Conv3_O两个卷积层提取的光学图像特征C 2_O、C 3_O分别进行步骤301到步骤307的操作，逐层递进，分别得到具有SAR图像和光学图像注意力模块增强特征的特征图
Figure 602029DEST_PATH_IMAGE014
、
Figure DEST_PATH_IMAGE015
和C 2_c、C 3_c。
步骤四、将卷积神经网络输出的特征图与空间和光谱注意力模块得到的增强特征进行跳跃连接：
步骤401、将由注意力模块得到的增强特征作为原始特征的加权，将
Figure 771104DEST_PATH_IMAGE013
与SAR图像经过Conv1_S直接提取出的特征C 1_S相加，得到融合特征C 1_S'，该特征既保留SAR图像的原始信息又包含了融合SAR图像和光学图像的空间和光谱特征；
步骤402、将由注意力模块得到的增强特征作为原始特征的加权，将C 1_c与光学图像经过Conv1_O直接提取出的特征C 1_O相加，得到融合特征C 1_O'，该特征既保留光学图像的原始信息又包含了融合光学图像和SAR图像的空间和光谱特征；
步骤403、将具有SAR图像和光学图像特征增强的特征图
Figure 63545DEST_PATH_IMAGE014
、
Figure 920643DEST_PATH_IMAGE015
和C 2_c、C 3_c，分别作为卷积层Conv2_S、Conv3_S和Conv2_O、Conv3_O的输出的特征C 2_S、C 3_S和C 2_O、C 3_O的加权，进行跳跃连接，即重复步骤401和步骤402，可得到融合特征C 2_S'、C 3_S'和C 2_O'、C 3_O'；
步骤404、将融合特征C 1_S'作为卷积层Conv2_S的输入，融合特征C 1_O'作为卷积层Conv2_O的输入，以此类推，SAR图像和光学图像分别经过四个卷积层和三次空间和光谱注意力模块的加权后，得到多次融合后的增强特征C 4_S和C 4_O。
步骤五、将两部分多层卷积网络提取出的SAR图像和光学图像特征进行特征融合，并通过全连接层进行分类，以获取遥感图像的分类结果：
步骤501、将Conv4_S的输出C 4_S与Conv4_O的输出C 4_O相加，得到SAR图像和光学图像融合后的特征F s ，其中
Figure 614929DEST_PATH_IMAGE016
，其中C1为通道数，H为图像像素高度，W为图像像素宽度；
步骤502、展开层用来将多维的输入一维化，使用展开层将SAR图像和光学图像融合后的特征F s ，转化为1×(C 1×H×W)的二维矩阵；
步骤503、再将步骤502中得到的二维矩阵输入到全连接层进行分类，将全连接层的通道数设置为与遥感图像分类类别M相等，由此即可得到图像属于各个类别的得分，得分最高的类别即为预测的结果。
与现有技术相比，本发明具有以下特点：
本发明适用于遥感图像分类，与已有方法相比，本发明提供了一种多尺度注意力模块加权的方法，通过卷积层的特征提取和注意力模块的特征加权，使得融合的特征既包含浅层特征图的细节纹理特征，又包含深层特征图抽象的高级语义信息，从而增强了特征的表达能力。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的方法流程图；
图2为本发明的空间和光谱注意力模块结构示意图。
具体实施方式
下面结合附图及本发明的实施对本发明的方法作进一步的详细的说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1表示的是一种基于多尺度注意力特征融合的SAR图像和光学图像分类方法流程图，图2表示空间和光谱注意力模块的结构示意图。
本发明使用python语言基于Pytorch深度学习框架实现，本发明具体选取的是具有红、绿、蓝三个波段的SAR图像和光学图像。
如图1所示，以SAR图像和光学图像数据集作为输入，说明本发明的合理性与有效性，包含具体步骤如下：
步骤一、将配准好的SAR图像和光学图像作为数据集，并划分训练集、测试集和验证集：
步骤101、将配准好的SAR图像和光学图像的像素点划分为15×15的像素块大小作为输入，在利用中心点特征信息的同时，利用中心点周围的像素点信息；
步骤102、将获取的遥感图像分别按照7:2:1的比例分为训练集、测试集和验证集，输入到多尺度注意力特征融合模型。
步骤二、构建卷积神经网络，利用有标注的SAR图像和光学图像数据集对卷积神经网络的网络模型进行训练；
步骤201、构建卷积神经网络作为基础网络，共包含两部分多层卷积网络，分别为光学和SAR图像特征提取的卷积层，其中SAR图像特征提取的卷积层包括Conv1_S、Conv2_S、Conv3_S、Conv4_S,光学图像特征提取的卷积层包括Conv1_O、Conv2_O、Conv3_O、Conv4_O，卷积核的大小均为3×3，步幅为1，以实现特征降维；
步骤202、SAR图像经过Conv1_S、Conv2_S、Conv3_S、Conv4_S四个卷积层进行特征提取，输出降维后的特征图C 1_S、C 2_S、C 3_S、C 4_S，由深到浅特征图尺寸分别为13×13、11×11、9×9、7×7，其中，浅层特征图包含更多的细节纹理信息，但是不具备高级语义；深层特征图包含更多抽象的高级语义信息，但是分辨率会降低，造成细节损失；
步骤203、光学图像经过Conv1_O、Conv2_O、Conv3_O、Conv4_O四个卷积层进行特征提取，输出降维后的特征图C 1_O、C 2_O、C 3_O、C 4_O，尺寸分别为13×13、11×11、9×9、7×7。
步骤三、将各卷积层的输出作为空间和光谱注意力模块的输入，再经过注意力机制的加权操作，得到具有空间和光谱特性的增强特征：
步骤301、SAR图像使用C 1×H×W的原特征通过卷积层后得到的特征计算空间自注意力，将由SAR图像得到的C 1×H×W的特征C 1_S输入到三个卷积层中，
Figure 204174DEST_PATH_IMAGE001
，其中C 1为通道数，H×W为像素点数，
Figure 249490DEST_PATH_IMAGE002
表示张量的维度为C 1×H×W分别得到三个新的特征图Q s1、K s1和V s1，这三个特征图均保留SAR图像原始空间和光谱特征信息，
Figure 644699DEST_PATH_IMAGE003
，将维度转化为
Figure 193492DEST_PATH_IMAGE004
，其中N=H×W是像素数，H为图像像素高度，W为图像像素宽度，C1为通道数；
步骤302、在K s1和Q s1的转置之间进行矩阵乘法，再通过一个Softmax层计算空间注意力特征S 1，
Figure 468485DEST_PATH_IMAGE005
，然后在S 1和V s1的转置之间进行矩阵乘法得到SAR图像的空间自注意力F s1，将结果转化为
Figure 735518DEST_PATH_IMAGE002
；
Figure 934418DEST_PATH_IMAGE006
其中，S1中的每个特征
Figure 337718DEST_PATH_IMAGE007
测量位置i对位置j的影响，两者的位置特征表现越相似关联性就越大；
F s1=V s1 S 1
步骤303、与SAR图像的自注意力不同，光学图像直接使用C 1×H×W的原始特征C 1_O来计算光谱自注意力，
Figure 534344DEST_PATH_IMAGE008
，C 1_O经过维度转换可得到Q o1、K o1和V o1，
Figure 288673DEST_PATH_IMAGE009
，其中N=H×W是像素数，然后在Q o1和K o1的转置之间进行矩阵乘法，再通过一个softmax层计算光谱注意力特征O 1，
Figure 25685DEST_PATH_IMAGE010
，然后在O 1和V o1之间进行矩阵乘法得到光学图像的自注意力F o1，将结果转化为
Figure 549070DEST_PATH_IMAGE002
；
Figure 978915DEST_PATH_IMAGE011
其中，O 1中每个特征
Figure 640447DEST_PATH_IMAGE012
测量位置i对位置j的影响，两者的位置特征表现越相似，关联性就越大；
F o1=O 1 V o1
步骤304、将由光学图像得到的光谱注意力特征O 1与由SAR图像卷积得到的特征图V s1进行矩阵乘法，结果既保留SAR图像的原始特征，又增添光学图像的通道特征，得到SAR图像和光学图像的互注意力F s2，将结果转化为
Figure 181149DEST_PATH_IMAGE002
；
F s2=O 1 V s1
步骤305、将由SAR图像得到的空间注意力特征S 1与由光学图像转换维度得到的V o1的转置之间进行矩阵乘法，结果既保留光学图像的原始特征，又增添SAR的空间特征，得到光学图像与SAR图像的互注意力F o2，将结果转化为
Figure 824620DEST_PATH_IMAGE002
；
F o2=V o1 S 1
步骤306、将SAR图像的自注意力F s1与互注意力F s2进行逐元素相加，即可得到具有空间和光谱注意力的增强特征
Figure 159787DEST_PATH_IMAGE013
；将光学图像的自注意力F o1与互注意力F o2进行逐元素相加，即可得到具有空间和光谱注意力的增强特征C 1_c；
步骤307、将Conv2_S、Conv3_S两个卷积层提取的SAR图像特征C 2_S、C 3_S和Conv2_O、Conv3_O两个卷积层提取的光学图像特征C 2_O、C 3_O分别进行步骤301到步骤307的操作，逐层递进，分别得到具有SAR图像和光学图像注意力模块增强特征的特征图
Figure 826392DEST_PATH_IMAGE014
、
Figure 905206DEST_PATH_IMAGE015
和C 2_c、C 3_c。
步骤四、将卷积神经网络输出的特征图与空间和光谱注意力模块得到的增强特征进行跳跃连接：
步骤401、将由注意力模块得到的增强特征作为原始特征的加权，将
Figure 403183DEST_PATH_IMAGE013
与SAR图像经过Conv1_S直接提取出的特征C 1_S相加，得到融合特征C 1_S'，该特征既保留SAR图像的原始信息又包含了融合SAR图像和光学图像的空间和光谱特征；
步骤402、将由注意力模块得到的增强特征作为原始特征的加权，将C 1_c与光学图像经过Conv1_O直接提取出的特征C 1_O相加，得到融合特征C 1_O'，该特征既保留光学图像的原始信息又包含了融合光学图像和SAR图像的空间和光谱特征；
步骤403、将具有SAR图像和光学图像特征增强的特征图
Figure 909251DEST_PATH_IMAGE014
、
Figure 125469DEST_PATH_IMAGE015
和C 2_c、C 3_c，分别作为卷积层Conv2_S、Conv3_S和Conv2_O、Conv3_O的输出的特征C 2_S、C 3_S和C 2_O、C 3_O的加权，进行跳跃连接，即重复步骤401和步骤402，可得到融合特征C 2_S'、C 3_S'和C 2_O'、C 3_O'；
步骤404、将融合特征C 1_S'作为卷积层Conv2_S的输入，融合特征C 1_O'作为卷积层Conv2_O的输入，以此类推，SAR图像和光学图像分别经过四个卷积层和三次空间和光谱注意力模块的加权后，得到多次融合后的增强特征C 4_S和C 4_O。
步骤五、将卷积神经网络提取出的SAR图像和光学图像特征进行特征融合，并通过全连接层进行分类，以获取遥感图像的分类结果：
步骤501、将Conv4_S的输出C 4_S与Conv4_O的输出C 4_O相加，得到SAR图像和光学图像融合后的特征F s ，其中
Figure 194925DEST_PATH_IMAGE016
，其中C1为通道数，H为图像像素高度，W为图像像素宽度；
步骤502、展开层用来将多维的输入一维化，使用展开层将SAR图像和光学图像融合后的特征F s ，转化为1×(C 1×H×W)的二维矩阵；
步骤503、再将步骤502中得到的二维矩阵输入到全连接层进行分类，将全连接层的通道数设置为与遥感图像分类类别M相等，由此即可得到图像属于各个类别的得分，得分最高的类别即为预测的结果。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，且应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (4)

1.一种基于多尺度注意力特征融合的SAR与光学图像分类方法，其特征在于，包括以下步骤：
步骤一、将配准好的SAR图像和光学图像作为数据集，并划分训练集、测试集和验证集；
步骤二、构建卷积神经网络，利用有标注的SAR图像和光学图像数据集对卷积神经网络的网络模型进行训练；
所述步骤二、构建卷积神经网络，利用有标注的SAR图像和光学图像数据集对卷积神经网络的网络模型进行训练；
步骤201、构建卷积神经网络作为基础网络，共包含两部分多层卷积网络，分别为光学和SAR图像特征提取的卷积层，其中SAR图像特征提取的卷积层包括Conv1_S、Conv2_S、Conv3_S、Conv4_S,光学图像特征提取的卷积层包括Conv1_O、Conv2_O、Conv3_O、Conv4_O，以实现特征降维；
步骤202、SAR图像经过Conv1_S、Conv2_S、Conv3_S、Conv4_S四个卷积层进行特征提取，输出降维后的特征图C 1_S、C 2_S、C 3_S、C 4_S；
步骤203、光学图像经过Conv1_O、Conv2_O、Conv3_O、Conv4_O四个卷积层进行特征提取，输出降维后的特征图C 1_O、C 2_O、C 3_O、C 4_O；
步骤三、将各卷积层的输出作为空间和光谱注意力模块的输入，再经过注意力机制的加权操作，得到具有空间和光谱特性的增强特征；
所述步骤三、将各卷积层的输出作为空间和光谱注意力模块的输入，再经过注意力机制的加权操作，得到具有空间和光谱特性的增强特征，具体包括如下步骤：
步骤301、SAR图像使用C 1×H×W的原特征通过卷积层后得到的特征计算空间自注意力，将由SAR图像得到的C 1×H×W的特征C 1_S输入到三个卷积层中，
Figure 21275DEST_PATH_IMAGE001
，其中C 1为通道数，H×W为像素点数，
Figure 774336DEST_PATH_IMAGE002
表示张量的维度为C 1×H×W，分别得到三个新的特征图Q s1、K s1和V s1，这三个特征图均保留SAR图像原始空间和光谱特征信息，
Figure 76005DEST_PATH_IMAGE003
，将维度转化为
Figure 436579DEST_PATH_IMAGE004
，其中N=H×W是像素数，H为图像像素高度，W为图像像素宽度；
步骤302、在K s1和Q s1的转置之间进行矩阵乘法，再通过一个Softmax层计算空间注意力特征S 1，
Figure 761381DEST_PATH_IMAGE005
，然后在S 1和V s1的转置之间进行矩阵乘法得到SAR图像的空间自注意力F s1，将结果转化为
Figure 131182DEST_PATH_IMAGE002
；
Figure 21778DEST_PATH_IMAGE006
其中S 1中的每个特征
Figure 818833DEST_PATH_IMAGE007
测量位置i对位置j的影响，两者的位置特征表现越相似，关联性就越大；
F s1=V s1 S 1
步骤303、光学图像直接使用C 1×H×W的原始特征C 1_O来计算光谱自注意力，
Figure 119014DEST_PATH_IMAGE008
，C 1_O经过维度转换得到Q o1、K o1和V o1，
Figure 292506DEST_PATH_IMAGE009
，其中N=H×W是像素数，然后在Q o1和K o1的转置之间进行矩阵乘法，再通过一个softmax层计算光谱注意力特征O 1，
Figure 303188DEST_PATH_IMAGE010
，然后在O 1和V o1之间进行矩阵乘法得到光学图像的自注意力F o1，将结果转化为
Figure 271144DEST_PATH_IMAGE002
；
Figure 304959DEST_PATH_IMAGE011
其中，O 1中每个特征
Figure 16563DEST_PATH_IMAGE012
测量位置i对位置j的影响，两者的位置特征表现越相似，关联性就越大；
F o1=O 1 V o1
步骤304、将由光学图像得到的光谱注意力特征O 1与由SAR图像卷积得到的特征图V s1进行矩阵乘法，结果既保留SAR图像的原始特征，又增添光学图像的通道特征，得到SAR图像和光学图像的互注意力F s2，将结果转化为
Figure 881751DEST_PATH_IMAGE002
；
F s2=O 1 V s1
步骤305、将由SAR图像得到的空间注意力特征S 1与由光学图像转换维度得到的V o1的转置之间进行矩阵乘法，结果既保留光学图像的原始特征，又增添SAR的空间特征，得到光学图像与SAR图像的互注意力F o2，将结果转化为
Figure 20608DEST_PATH_IMAGE002
；
F o2=V o1 S 1
步骤306、将SAR图像的自注意力F s1与互注意力F s2进行逐元素相加，即可得到具有空间和光谱注意力的增强特征
Figure 790987DEST_PATH_IMAGE013
；将光学图像的自注意力F o1与互注意力F o2进行逐元素相加，即可得到具有空间和光谱注意力的增强特征C 1_c；
步骤307、将Conv2_S、Conv3_S两个卷积层提取的SAR图像特征C 2_S、C 3_S和Conv2_O、Conv3_O两个卷积层提取的光学图像特征C 2_O、C 3_O分别进行步骤301到步骤307的操作，逐层递进，分别得到具有SAR图像和光学图像注意力模块增强特征的特征图
Figure 40702DEST_PATH_IMAGE014
、
Figure 25976DEST_PATH_IMAGE015
和C 2_c、C 3_c；
步骤四、将卷积神经网络输出的特征图与空间和光谱注意力模块得到的增强特征进行跳跃连接；
步骤五、将卷积神经网络提取出的SAR图像和光学图像特征进行特征融合，并通过全连接层进行分类，以获取遥感图像的分类结果。
2.根据权利要求1所述的一种基于多尺度注意力特征融合的SAR与光学图像分类方法，其特征在于，所述步骤一、将配准好的SAR图像和光学图像作为数据集，并划分训练集、测试集和验证集，具体包括如下步骤：
步骤101、将配准好的SAR图像和光学图像的像素点划分为L×L大小的像素块大小作为输入，在利用中心点特征信息的同时，利用中心点周围的像素点信息；
步骤102、将获取的遥感图像分别按照预定比例分为训练集、测试集和验证集，输入到多尺度注意力特征融合模型。
3.根据权利要求1所述的一种基于多尺度注意力特征融合的SAR与光学图像分类方法，其特征在于，所述步骤四、将卷积神经网络输出的特征图与空间和光谱注意力模块得到的增强特征进行跳跃连接，具体包括如下步骤：
步骤401、将由注意力模块得到的增强特征作为原始特征的加权，将
Figure 335734DEST_PATH_IMAGE016
与SAR图像经过Conv1_S直接提取出的特征C 1_S相加，得到融合特征C 1_S'，该特征既保留SAR图像的原始信息又包含了融合SAR图像和光学图像的空间和光谱特征；
步骤402、将由注意力模块得到的增强特征作为原始特征的加权，将C 1_c与光学图像经过Conv1_O直接提取出的特征C 1_O相加，得到融合特征C 1_O'，该特征既保留光学图像的原始信息又包含了融合光学图像和SAR图像的空间和光谱特征；
步骤403、将具有SAR图像和光学图像特征增强的特征图
Figure 344142DEST_PATH_IMAGE014
、
Figure 397548DEST_PATH_IMAGE015
和C 2_c、C 3_c，分别作为卷积层Conv2_S、Conv3_S和Conv2_O、Conv3_O的输出的特征C 2_S、C 3_S和C 2_O、C 3_O的加权，进行跳跃连接，即重复步骤401和步骤402，得到融合特征C 2_S'、C 3_S'和C 2_O'、C 3_O'；
步骤404、将融合特征C 1_S'作为卷积层Conv2_S的输入，融合特征C 1_O'作为卷积层Conv2_O的输入，以此类推，SAR图像和光学图像分别经过四个卷积层和三次空间和光谱注意力模块的加权后，得到多次融合后的增强特征C 4_S和C 4_O。
4.根据权利要求3所述的一种基于多尺度注意力特征融合的SAR与光学图像分类方法，其特征在于，所述步骤五、将卷积神经网络提取出的SAR图像和光学图像特征进行特征融合，并通过全连接层进行分类，以获取遥感图像的分类结果，具体包括如下步骤：
步骤501、将Conv4_S的输出C 4_S与Conv4_O的输出C 4_O相加，得到SAR图像和光学图像融合后的特征F s ，其中
Figure 237328DEST_PATH_IMAGE017
；
步骤502、展开层用来将多维的输入一维化，使用展开层将SAR图像和光学图像融合后的特征F s ，转化为1×(C 1×H×W)的二维矩阵；
步骤503、再将步骤502中得到的二维矩阵输入到全连接层进行分类，将全连接层的通道数设置为与遥感图像分类类别M相等，由此即可得到图像属于各个类别的得分，得分最高的类别即为预测的结果。
CN202110957839.4A 2021-08-20 2021-08-20 基于多尺度注意力特征融合的sar与光学图像分类方法 Active CN113420838B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110957839.4A CN113420838B (zh) 2021-08-20 2021-08-20 基于多尺度注意力特征融合的sar与光学图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110957839.4A CN113420838B (zh) 2021-08-20 2021-08-20 基于多尺度注意力特征融合的sar与光学图像分类方法

Publications (2)

Publication Number Publication Date
CN113420838A CN113420838A (zh) 2021-09-21
CN113420838B true CN113420838B (zh) 2021-11-02

Family

ID=77719135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110957839.4A Active CN113420838B (zh) 2021-08-20 2021-08-20 基于多尺度注意力特征融合的sar与光学图像分类方法

Country Status (1)

Country Link
CN (1) CN113420838B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887645B (zh) * 2021-10-13 2024-02-13 西北工业大学 一种基于联合注意力孪生网络的遥感图像融合分类方法
CN115015910B (zh) * 2022-05-30 2024-02-13 深圳大学 微波与光学视觉的交互感知识别方法、装置、终端及介质
CN116468906A (zh) * 2023-04-24 2023-07-21 中国测绘科学研究院 基于空间扩展卷积和光谱扩展卷积的高光谱数据分类方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106295714A (zh) * 2016-08-22 2017-01-04 中国科学院电子学研究所 一种基于深度学习的多源遥感图像融合方法
CN106682675A (zh) * 2016-12-29 2017-05-17 中国电子科技集团公司第五十四研究所 一种面向高光谱图像的空谱联合特征提取方法
EP3359978B1 (fr) * 2015-10-09 2020-01-08 Thales Methode de traitement d'une image radar de type sar et methode de detection de cible associee
CN111179217A (zh) * 2019-12-04 2020-05-19 天津大学 一种基于注意力机制的遥感图像多尺度目标检测方法
CN112733746A (zh) * 2021-01-14 2021-04-30 中国海洋大学 融合InSAR相干性与多光谱遥感的协同分类方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111738124B (zh) * 2020-06-15 2023-08-22 西安电子科技大学 基于Gabor变换和注意力的遥感图像云检测方法
CN112347888B (zh) * 2020-10-29 2023-08-08 河海大学 基于双向特征迭代融合的遥感图像场景分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3359978B1 (fr) * 2015-10-09 2020-01-08 Thales Methode de traitement d'une image radar de type sar et methode de detection de cible associee
CN106295714A (zh) * 2016-08-22 2017-01-04 中国科学院电子学研究所 一种基于深度学习的多源遥感图像融合方法
CN106682675A (zh) * 2016-12-29 2017-05-17 中国电子科技集团公司第五十四研究所 一种面向高光谱图像的空谱联合特征提取方法
CN111179217A (zh) * 2019-12-04 2020-05-19 天津大学 一种基于注意力机制的遥感图像多尺度目标检测方法
CN112733746A (zh) * 2021-01-14 2021-04-30 中国海洋大学 融合InSAR相干性与多光谱遥感的协同分类方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
基于注意力机制的CNN与稀疏ELM的高光谱图像分类;伍宇;《中国优秀博硕士学位论文全文数据库(硕士)基础科学辑》;20200215(第2期);全文 *
基于特征融合SSD的遥感图像舰船目标检测;马健 等;《计算机应用》;20191230;全文 *
多源遥感图像融合的数据对象选择;周强 等;《测绘通报》;20060125(第1期);全文 *
高分辨率SAR与光学图像融合用于建筑物屋顶提取;朱俊杰 等;《中国科学院研究生院学报》;20060330;第23卷(第2期);全文 *

Also Published As

Publication number Publication date
CN113420838A (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN113420838B (zh) 基于多尺度注意力特征融合的sar与光学图像分类方法
Zhao et al. Efficient and model-based infrared and visible image fusion via algorithm unrolling
Yuan et al. Hyperspectral image superresolution by transfer learning
CN110399909B (zh) 一种基于标签约束弹性网图模型的高光谱图像分类方法
Žeger et al. Grayscale image colorization methods: Overview and evaluation
CN108491849B (zh) 基于三维稠密连接卷积神经网络的高光谱图像分类方法
Liu et al. Interactformer: Interactive transformer and CNN for hyperspectral image super-resolution
Xu et al. HAM-MFN: Hyperspectral and multispectral image multiscale fusion network with RAP loss
CN112819910B (zh) 基于双鬼注意力机制网络的高光谱图像重建方法
CN110111256B (zh) 基于残差蒸馏网络的图像超分辨重建方法
CN108460391B (zh) 基于生成对抗网络的高光谱图像无监督特征提取方法
Hu et al. Pan-sharpening via multiscale dynamic convolutional neural network
Zhang et al. Symmetric all convolutional neural-network-based unsupervised feature extraction for hyperspectral images classification
Tan et al. Photograph aesthetical evaluation and classification with deep convolutional neural networks
Zorzi et al. Regularization of building boundaries in satellite images using adversarial and regularized losses
Ji et al. Colorformer: Image colorization via color memory assisted hybrid-attention transformer
CN112818920B (zh) 一种双时相高光谱图像空谱联合变化检测方法
Wang et al. Infrared and visible image fusion via interactive compensatory attention adversarial learning
CN111914909A (zh) 基于空谱联合三方向卷积网络的高光谱变化检测方法
Zhong et al. Highly efficient natural image matting
CN114863173A (zh) 一种面向土地资源审计的自互注意力高光谱图像分类方法
Zhao et al. Band selection via explanations from convolutional neural networks
Huang et al. An evidential combination method with multi-color spaces for remote sensing image scene classification
Shao et al. Iviu-net: Implicit variable iterative unrolling network for hyperspectral sparse unmixing
CN114299382A (zh) 高光谱遥感图像分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant