CN112926533A - 基于双向特征融合的光学遥感图像地物分类方法及系统 - Google Patents

基于双向特征融合的光学遥感图像地物分类方法及系统 Download PDF

Info

Publication number
CN112926533A
CN112926533A CN202110358349.2A CN202110358349A CN112926533A CN 112926533 A CN112926533 A CN 112926533A CN 202110358349 A CN202110358349 A CN 202110358349A CN 112926533 A CN112926533 A CN 112926533A
Authority
CN
China
Prior art keywords
feature
feature map
upsampling
size
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110358349.2A
Other languages
English (en)
Inventor
王裕沛
樊嘉禾
师皓
陈亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Chongqing Innovation Center of Beijing University of Technology
Original Assignee
Beijing Institute of Technology BIT
Chongqing Innovation Center of Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT, Chongqing Innovation Center of Beijing University of Technology filed Critical Beijing Institute of Technology BIT
Priority to CN202110358349.2A priority Critical patent/CN112926533A/zh
Publication of CN112926533A publication Critical patent/CN112926533A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于双向特征融合的光学遥感图像地物分类方法及系统，涉及光学遥感图像成像技术领域，能够结合不同层的特征进行多尺度的特征融合，得到较好的特征融合结果。构建地物分类网络，用于执行如下步骤：对于输入图像，提取五个不同尺度的特征图，先分组融合然后交叉融合，生成最终融合结果。对所构建的地物分类网络进行训练，训练完成后的地物分类网络用于执行光学遥感图像的地物分类任务。本发明在融合时结合了浅层的细节信息和深层的语义信息，能够结合不同层的特征进行多尺度的特征融合，得到较好的特征融合结果。其中还采用了与特征图内容相关的上采样方式，能够更有效聚合不同层次的特征图。

Description

基于双向特征融合的光学遥感图像地物分类方法及系统
技术领域
本发明涉及光学遥感图像成像技术领域，具体涉及一种基于双向特征融合的光学遥感图像地物分类方法及系统。
背景技术
光学遥感图像成像技术不断发展，图像的分辨率不断提高。光学遥感图像地物分类的应用场景不断增加，其在民用国防等领域起着越来越重的作用。光学遥感图像的地物分割是遥感图像信息提取的重要环节。影像分割是面向对象的影像分析方法的关键步骤，其分割结果质量直接影响着后续影像信息的提取质量。准确及时地从得到的遥感影像中获取地物信息有着实际需求。
以深度学习技术的兴起为界，可以将遥感图像的地物分类划分为两个阶段，即基于传统方法的地物分类和基于深度学习技术的地物分类。传统的遥感图像地物分类方法主要包括：遥感图像的特征提取、遥感图像的特征选择和分类算法三大部分。近年来光学遥感图像的分辨率不断提高，对光学遥感图像的分割精细度有了更高的要求。
通常基于卷积神经网络的地物分割方法，利用级联的卷积和池化操作获得高级的分类语义信息，为弥补分辨率降低带来的空间信息损失，需结合不同层次的特征图来细化分割结果。之前采用的自下而上的特征融合与上采样方式，信息流仅仅在单个方向上流动，浅层特征图的细节信息与深层特征图的语义信息无法很好的融合进而影响最终的分割结果。
因此如何结合不同层的特征，进行多尺度的特征融合，从而得到较好的特征融合结果，从而为提高图像分割精度提供基础，是目前亟待解决的问题。
发明内容
有鉴于此，本发明提供了一种基于双向特征融合的光学遥感图像地物分类方法及系统，能够结合不同层的特征进行多尺度的特征融合，得到较好的特征融合结果。
为达到上述目的，本发明的技术方案基于双向特征融合的光学遥感图像地物分类方法，构建地物分类网络，用于执行如下步骤：
对于输入图像，提取五个不同尺度的特征图，按照尺度大到小进行排序分别为第一～第五特征图m11、m12、m13、m14、m15。
将相邻的3个不同尺度的特征图作为一组融合组，即(m1,m2,m3)、(m2,m3,m4)、(m3,m4,m5)；每个融合组中以中等尺度特征图的尺寸为基准，融合组中尺度大于基准的特征图进行下采样操作，融合组中尺度小于基准的特征图进行上采样操作，从而将同一融合组中的3个不同尺度的特征图转换为同一尺度，之后进行特征融合处理，得到三个融合后的特征图m21、m22和m23；
将三个融合后的特征图m21、m22和m23，再次融合得到融合特征图m31，其尺寸为输入图像的1/8，对于m31进行上采样操作后与m21进行拼接和卷积操作，生成尺寸大小为输入图像1/4的m41，对于融合后的特征图m21和第一特征图m11融合生成融合特征图m42，最后将m41上采样后与m42进行融合并上采样，生成最终融合结果。
对所构建的地物分类网络进行训练，训练完成后的地物分类网络用于执行光学遥感图像的地物分类任务。
进一步地，上采样操作具体包括如下步骤：
上采样操作的输入特征图大小为H×W×C，H为输入特征图的高度，W为输入特征图的宽度，C为输入特征图的特征通道数。
利用1×1卷积对上采样操作的输入特征图进行特征通道压缩，将通道数压缩为C2，生成大小为H×W×C2的通道压缩特征图，其中C2<C。
针对通道压缩特征图利用卷积操作进行上下文编码，输出大小为H×W×C3的上下文编码后的特征图，C3为上下文编码后的特征通道数，对C3进行分解，C3＝σ2k2，
Figure BDA0003004503700000031
且σ,k≥2，其中σ和k为分解参数一与分解参数二。
对上下文编码后的特征图进行矩阵变换，变换后的矩阵为预测的上采样核，其大小为σH×σW×C4，其中C4为预测的上采样核对应通道数，C4＝k2。
对预测的上采样核进行归一化处理，使预测的上采样核权重和为1，得到上采样内核。
将上采样操作的输入特征图与上采样内核进行特征重采样，得到上采样后特征图。
进一步地，将上采样操作的输入特征图与上采样内核进行特征重采样，得到上采样后特征图，具体为：
在上采样内核中选取位置点B(x2,y2)；其中(x2,y2)为位置点B在上采样内核中高度和宽度的数值，x2≤σH,y2≤σW，提取位置点B所有特征通道的特征值，生成大小为1×1×k2的向量，通过矩阵变换生成大小为1×k×k的重采样向量N。
在上采样操作的输入特征图中选取通道z1的像素点A(x1,y1)；其中x1和y1分别为像素点A在输入特征图中的高度和宽度的数值，x1≤H,y1≤W；z1为所选通道，z1≤C；则像素点A的坐标位置由公式(1)(2)确定；
Figure BDA0003004503700000032
Figure BDA0003004503700000033
以像素点A为区域的中心选取大小为k×k的候选区域M，将候选区域M与重采样向量N的每个像素点做点乘运算，生成上采样后特征图的像素点D1(x3,y3,z1)，其中x3,y3,为上采样后特征图的像素点D1的高度和宽度的数值，x3≤σH,y3≤σW。
对于上采样操作的输入特征图中的各个通道的像素点A做相同的候选区域选取和重采样向量N的点乘操作，组成生成上采样后的特征向量D，其大小为1×1×C4。
对上采样内核中各个位置点做相同处理，每个位置点对应得到一个上采样后的特征向量D，最终组成上采样后的特征图O。
进一步地，提取五个不同尺度的特征图，按照尺度大到小进行排序分别为第一～第五特征图m11、m12、m13、m14、m15；
具体为：
采用ResNet101为特征提取网络来提取特征图，ResNet101由多个交替的残差块组成，每个残差块由2个大小为1×1的卷积和1个3×3的卷积所组成，首先利用7×7卷积提取特征图m11，其大小为输入图像的1/2，之后对m11利用3个级联的残差块提取特征图m12，其大小为输入图像的1/4，之后对m12利用4个级联的残差块提取特征图m13，其大小为原输入图像的1/4，之后对m13利用23个级联的残差块提取特征图m14，其大小为原输入图像的1/8，之后对m14利用23个级联的残差块提取特征图m14，其大小为原输入图像的1/16，之后对m14利用3个级联的残差块提取特征图m15，将最后一个残差块中的卷积利用空洞卷积进行替换，令输出特征图为原输入图像的1/16。
经过上述处理，产生大小分别为输入图像1/2，1/4，1/8，1/16，1/16的5个不同尺度的特征图m11,m12,m13,m14,m15。
本发明的另一个实施例还提供了基于双向特征融合的光学遥感图像地物分类系统，包括特征图提取模块、组内融合模块和交叉融合模块。
特征图提取模块，用于对于输入图像，提取五个不同尺度的特征图，按照尺度大到小进行排序分别为第一～第五特征图m11、m12、m13、m14、m15；
组内融合模块，用于将相邻的3个不同尺度的特征图作为一组融合组，即(m1,m2,m3)、(m2,m3,m4)、(m3,m4,m5)；每个融合组中以中等尺度特征图的尺寸为基准，融合组中尺度大于基准的特征图进行下采样操作，融合组中尺度小于基准的特征图输入上采样模块进行上采样，从而将同一融合组中的3个不同尺度的特征图转换为同一尺度，之后进行特征融合处理，得到三个融合后的特征图m21、m22和m23。
交叉融合模块，用于将三个融合后的特征图m21、m22和m23，再次融合得到融合特征图m31，其尺寸为输入图像的1/8，对于m31输入上采样模块进行上采样，之后与m21进行拼接和卷积操作，生成尺寸大小为输入图像1/4的m41，对于融合后的特征图m21和第一特征图m11融合生成融合特征图m42，最后将m41上采样后与m42进行融合并上采样，生成最终融合结果。
针对对所构建的地物分类系统进行训练，训练完成后的地物分类系统用于执行光学遥感图像的地物分类任务。
进一步地，上采样模块，具体包括特征通道压缩模块、上下文编码模块、上采样核预测模块、归一化模块以及特征重采样模块：
其中上采样模块的输入特征图大小为H×W×C，H为输入特征图的高度，W为输入特征图的宽度，C为输入特征图的特征通道数。
特征通道压缩模块，利用1×1卷积对上采样操作的输入特征图进行特征通道压缩，将通道数压缩为C2，生成大小为H×W×C2的通道压缩特征图，其中C2<C。
上下文编码模块，用于针对通道压缩特征图利用卷积操作进行上下文编码，输出大小为H×W×C3的上下文编码后的特征图，C3为上下文编码后的特征通道数，对C3进行分解，C3＝σ2k2，
Figure BDA0003004503700000061
且σ,k≥2，其中σ和k为分解参数一与分解参数二。
上采样核预测模块，用于对上下文编码后的特征图进行矩阵变换，变换后的矩阵为预测的上采样核，其大小为σH×σW×C4，其中C4为预测的上采样核对应通道数，C4＝k2；。
归一化模块，用于对预测的上采样核进行归一化处理，使预测的上采样核权重和为1，得到上采样内核。
特征重采样模块，将上采样操作的输入特征图与上采样内核进行特征重采样，得到上采样后特征图。
有益效果：
1、本发明提供了基于双向特征融合的光学遥感图像地物分类方法，针对传统单向信息流的多尺度特征融合方式无法很好地结合不同层的特征，影响最终的分割准确度的问题，本方法通过双向信息流来实现不同尺度特征的融合，结合了浅层的细节信息和深层的语义信息，能够结合不同层的特征进行多尺度的特征融合，得到较好的特征融合结果，避免了之前的特征融合方式中存在的信息损失问题，改善了网络的分割性能。
2、本发明提供的基于双向特征融合的光学遥感图像地物分类方法，其中采用了一种与特征图内容相关的上采样方式，能够更有效聚合不同层次的特征图，现有方法多采用线性上采样来恢复输出图像的分辨率，这种方法忽略了图像内部像素间的相关性，通常无法获得令人满意的上采样结果。本方法采用的上采样操作结合特征图语义信息进行上采样，多次重复的融合操作更有效聚合不同层次的特征。
3、本发明还提供了一种基于双向特征融合的光学遥感图像地物分类系统，与其他的利用单向自下而上的信息流来丰富特征的交互方法不同，本系统利用提出的双向融合体系结构，通过添加自上而下的信息流来丰富特征交互的多样性。利用双向信息流可以使两条路径当中的信息相互补充。
附图说明
图1为本发明实施例提供的一种基于双向特征融合的光学遥感图像地物分类网络结构；
图2为本发明实施例提供的上采样操作的流程原理图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
本发明提供了一种基于双向特征融合的光学遥感图像地物分类方法，构建地物分类网络，用于执行如下步骤：
步骤1、对于输入图像，提取五个不同尺度的特征图，按照尺度大到小进行排序分别为第一～第五特征图m11、m12、m13、m14、m15。
具体为：采用ResNet101为特征提取网络来提取特征图，ResNet101由多个交替的残差块组成，每个残差块由2个大小为1×1的卷积和1个3×3的卷积所组成，首先利用7×7卷积提取特征图m11，其大小为输入图像的1/2，之后对m11利用3个级联的残差块提取特征图m12，其大小为输入图像的1/4，之后对m12利用4个级联的残差块提取特征图m13，其大小为原输入图像的1/4，之后对m13利用23个级联的残差块提取特征图m14，其大小为原输入图像的1/8，之后对m14利用23个级联的残差块提取特征图m14，其大小为原输入图像的1/16，之后对m14利用3个级联的残差块提取特征图m15，将最后一个残差块中的卷积利用空洞卷积进行替换，令输出特征图为原输入图像的1/16。
经过上述处理，产生大小分别为输入图像1/2，1/4，1/8，1/16，1/16的5个不同尺度的特征图m11,m12,m13,m14,m15。
步骤2、将相邻的3个不同尺度的特征图作为一组融合组，即(m1,m2,m3)、(m2,m3,m4)、(m3,m4,m5)；每个融合组中以中等尺度特征图的尺寸为基准，融合组中尺度大于基准的特征图进行下采样操作，融合组中尺度小于基准的特征图进行上采样操作，从而将同一融合组中的3个不同尺度的特征图转换为同一尺度，之后进行特征融合处理，得到三个融合后的特征图m21、m22和m23。
步骤3、将三个融合后的特征图m21、m22和m23，再次融合得到融合特征图m31，其尺寸为输入图像的1/8，对于m31进行上采样操作后与m21进行拼接和卷积操作，生成尺寸大小为输入图像1/4的m41，对于融合后的特征图m21和第一特征图m11融合生成融合特征图m42，最后将m41上采样后与m42进行融合并上采样，生成最终融合结果.
上采样操作具体包括如下步骤：
上采样操作的输入特征图大小为H×W×C，H为输入特征图的高度，W为输入特征图的宽度，C为输入特征图的特征通道数；
利用1×1卷积对上采样操作的输入特征图进行特征通道压缩，将通道数压缩为C2，生成大小为H×W×C2的通道压缩特征图，其中C2<C；
针对通道压缩特征图利用卷积操作进行上下文编码，输出大小为H×W×C3的上下文编码后的特征图，C3为上下文编码后的特征通道数，对C3进行分解，C3＝σ2k2，
Figure BDA0003004503700000081
且σ,k≥2，其中σ和k为分解参数一与分解参数二；
对上下文编码后的特征图进行矩阵变换，变换后的矩阵为预测的上采样核，其大小为σH×σW×C4，其中C4为预测的上采样核对应通道数，C4＝k2；
对预测的上采样核进行归一化处理，使预测的上采样核权重和为1，得到上采样内核。
本方法采用的上采样操作结合特征图语义信息进行上采样，多次重复的融合操作更有效聚合不同层次的特征。
将上采样操作的输入特征图与上采样内核进行特征重采样，得到上采样后特征图，具体为：
在上采样内核中选取位置点B(x2,y2)；其中(x2,y2)为位置点B在上采样内核中高度和宽度的数值，x2≤σH,y2≤σW，提取位置点B所有特征通道的特征值，生成大小为1×1×k2的向量，通过矩阵变换生成大小为1×k×k的重采样向量N；
在上采样操作的输入特征图中选取通道z1的像素点A(x1,y1)；其中x1和y1分别为像素点A在输入特征图中的高度和宽度的数值，x1≤H,y1≤W；z1为所选通道，z1≤C；则像素点A的坐标位置由公式(1)(2)确定；
Figure BDA0003004503700000091
Figure BDA0003004503700000092
以像素点A为区域的中心选取大小为k×k的候选区域M，将候选区域M与重采样向量N的每个像素点做点乘运算，生成上采样后特征图的像素点D1(x3,y3，z1)，其中x3,y3，为上采样后特征图的像素点D1的高度和宽度的数值，x3≤σH,y3≤σW；
对于上采样操作的输入特征图中的各个通道的像素点A做相同的候选区域选取和重采样向量N的点乘操作，组成生成上采样后的特征向量D，其大小为1×1×C4；
对上采样内核中各个位置点做相同处理，每个位置点对应得到一个上采样后的特征向量D，最终组成上采样后的特征图O，其大小为σH×σW×C4。
步骤4、对所构建的地物分类网络进行训练，训练完成后的地物分类网络用于执行光学遥感图像的地物分类任务。
本方法通过双向信息流来实现不同尺度特征的融合，结合了浅层的细节信息和深层的语义信息，能够结合不同层的特征进行多尺度的特征融合，得到较好的特征融合结果，避免了之前的特征融合方式中存在的信息损失问题，改善了网络的分割性能。
基于双向特征融合的光学遥感图像地物分类系统，其结构如图1所示，包括特征图提取模块、组内融合模块和交叉融合模块。
特征图提取模块，用于对于输入图像，提取五个不同尺度的特征图，按照尺度大到小进行排序分别为第一～第五特征图m11、m12、m13、m14、m15；
组内融合模块，用于将相邻的3个不同尺度的特征图作为一组融合组，即(m1,m2,m3)、(m2,m3,m4)、(m3,m4,m5)；每个融合组中以中等尺度特征图的尺寸为基准，融合组中尺度大于基准的特征图进行下采样操作，融合组中尺度小于基准的特征图输入上采样模块进行上采样，从而将同一融合组中的3个不同尺度的特征图转换为同一尺度，之后进行特征融合处理，得到三个融合后的特征图m21、m22和m23。
交叉融合模块，用于将三个融合后的特征图m21、m22和m23，再次融合得到融合特征图m31，其尺寸为输入图像的1/8，对于m31输入上采样模块进行上采样，之后与m21进行拼接和卷积操作，生成尺寸大小为输入图像1/4的m41，对于融合后的特征图m21和第一特征图m11融合生成融合特征图m42，最后将m41上采样后与m42进行融合并上采样，生成最终融合结果；
针对对所构建的地物分类系统进行训练，训练完成后的地物分类系统用于执行光学遥感图像的地物分类任务。
如图2所示是上采样模块，具体包括特征通道压缩模块、上下文编码模块、上采样核预测模块、归一化模块以及特征重采样模块。
其中上采样模块的输入特征图大小为H×W×C，H为输入特征图的高度，W为输入特征图的宽度，C为输入特征图的特征通道数。
特征通道压缩模块，利用1×1卷积对上采样操作的输入特征图进行特征通道压缩，将通道数压缩为C2，生成大小为H×W×C2的通道压缩特征图，其中C2<C。
上下文编码模块，用于针对通道压缩特征图利用卷积操作进行上下文编码，输出大小为H×W×C3的上下文编码后的特征图，C3为上下文编码后的特征通道数，对C3进行分解，C3＝σ2k2，
Figure BDA0003004503700000111
且σ,k≥2，其中σ和k为分解参数一与分解参数二。
上采样核预测模块，用于对上下文编码后的特征图进行矩阵变换，变换后的矩阵为预测的上采样核，其大小为σH×σW×C4，其中C4为预测的上采样核对应通道数，C4＝k2。
归一化模块，用于对预测的上采样核进行归一化处理，使预测的上采样核权重和为1，得到上采样内核。
特征重采样模块，将上采样操作的输入特征图与上采样内核进行特征重采样，得到上采样后特征图。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.基于双向特征融合的光学遥感图像地物分类方法，其特征在于，构建地物分类网络，用于执行如下步骤：
对于输入图像，提取五个不同尺度的特征图，按照尺度大到小进行排序分别为第一～第五特征图m11、m12、m13、m14、m15；
将相邻的3个不同尺度的特征图作为一组融合组，即(m1,m2,m3)、(m2,m3,m4)、(m3,m4,m5)；每个融合组中以中等尺度特征图的尺寸为基准，融合组中尺度大于基准的特征图进行下采样操作，融合组中尺度小于基准的特征图进行上采样操作，从而将同一融合组中的3个不同尺度的特征图转换为同一尺度，之后进行特征融合处理，得到三个融合后的特征图m21、m22和m23；
将三个融合后的特征图m21、m22和m23，再次融合得到融合特征图m31，其尺寸为输入图像的1/8，对于m31进行上采样操作后与m21进行拼接和卷积操作，生成尺寸大小为输入图像1/4的m41，对于融合后的特征图m21和第一特征图m11融合生成融合特征图m42，最后将m41上采样后与m42进行融合并上采样，生成最终融合结果；
对所构建的地物分类网络进行训练，训练完成后的地物分类网络用于执行光学遥感图像的地物分类任务。
2.如权利要求1所述的方法，其特征在于，所述上采样操作具体包括如下步骤：
上采样操作的输入特征图大小为H×W×C，H为输入特征图的高度，W为输入特征图的宽度，C为输入特征图的特征通道数；
利用1×1卷积对上采样操作的输入特征图进行特征通道压缩，将通道数压缩为C2，生成大小为H×W×C2的通道压缩特征图，其中C2<C；
针对通道压缩特征图利用卷积操作进行上下文编码，输出大小为H×W×C3的上下文编码后的特征图，C3为上下文编码后的特征通道数，对C3进行分解，C3＝σ2k2，
Figure FDA0003004503690000021
且σ,k≥2，其中σ和k为分解参数一与分解参数二；
对上下文编码后的特征图进行矩阵变换，变换后的矩阵为预测的上采样核，其大小为σH×σW×C4，其中C4为预测的上采样核对应通道数，C4＝k2；
对所述预测的上采样核进行归一化处理，使预测的上采样核权重和为1，得到上采样内核；
将所述上采样操作的输入特征图与所述上采样内核进行特征重采样，得到上采样后特征图。
3.如权利要求2所述的方法，其特征在于，所述将所述上采样操作的输入特征图与所述上采样内核进行特征重采样，得到上采样后特征图，具体为：
在所述上采样内核中选取位置点B(x2,y2)；其中(x2,y2)为位置点B在上采样内核中高度和宽度的数值，x2≤σH,y2≤σW，提取所述位置点B所有特征通道的特征值，生成大小为1×1×k2的向量，通过矩阵变换生成大小为1×k×k的重采样向量N；
在所述上采样操作的输入特征图中选取通道z1的像素点A(x1,y1)；其中x1和y1分别为像素点A在输入特征图中的高度和宽度的数值，x1≤H,y1≤W；z1为所选通道，z1≤C；则像素点A的坐标位置由公式(1)(2)确定；
Figure FDA0003004503690000022
Figure FDA0003004503690000023
以像素点A为区域的中心选取大小为k×k的候选区域M，将候选区域M与重采样向量N的每个像素点做点乘运算，生成上采样后特征图的像素点D1(x3,y3,z1)，其中x3,y3,为上采样后特征图的像素点D1的高度和宽度的数值，x3≤σH,y3≤σW；
对于所述上采样操作的输入特征图中的各个通道的像素点A做相同的候选区域选取和重采样向量N的点乘操作，组成生成上采样后的特征向量D，其大小为1×1×C4；
对上采样内核中各个位置点做相同处理，每个位置点对应得到一个上采样后的特征向量D，最终组成上采样后的特征图O。
4.如权利要求1所述的方法，其特征在于，所述提取五个不同尺度的特征图，按照尺度大到小进行排序分别为第一～第五特征图m11、m12、m13、m14、m15；
具体为：
采用ResNet101为特征提取网络来提取特征图，ResNet101由多个交替的残差块组成，每个残差块由2个大小为1×1的卷积和1个3×3的卷积所组成，首先利用7×7卷积提取特征图m11，其大小为输入图像的1/2，之后对m11利用3个级联的残差块提取特征图m12，其大小为输入图像的1/4，之后对m12利用4个级联的残差块提取特征图m13，其大小为原输入图像的1/4，之后对m13利用23个级联的残差块提取特征图m14，其大小为原输入图像的1/8，之后对m14利用23个级联的残差块提取特征图m14，其大小为原输入图像的1/16，之后对m14利用3个级联的残差块提取特征图m15，将最后一个残差块中的卷积利用空洞卷积进行替换，令输出特征图为原输入图像的1/16；
经过上述处理，产生大小分别为输入图像1/2，1/4，1/8，1/16，1/16的5个不同尺度的特征图m11,m12,m13,m14,m15。
5.基于双向特征融合的光学遥感图像地物分类系统，其特征在于，包括特征图提取模块、组内融合模块和交叉融合模块；
所述特征图提取模块，用于对于输入图像，提取五个不同尺度的特征图，按照尺度大到小进行排序分别为第一～第五特征图m11、m12、m13、m14、m15；
所述组内融合模块，用于将相邻的3个不同尺度的特征图作为一组融合组，即(m1,m2,m3)、(m2,m3,m4)、(m3,m4,m5)；每个融合组中以中等尺度特征图的尺寸为基准，融合组中尺度大于基准的特征图进行下采样操作，融合组中尺度小于基准的特征图输入上采样模块进行上采样，从而将同一融合组中的3个不同尺度的特征图转换为同一尺度，之后进行特征融合处理，得到三个融合后的特征图m21、m22和m23；
所述交叉融合模块，用于将三个融合后的特征图m21、m22和m23，再次融合得到融合特征图m31，其尺寸为输入图像的1/8，对于m31输入上采样模块进行上采样，之后与m21进行拼接和卷积操作，生成尺寸大小为输入图像1/4的m41，对于融合后的特征图m21和第一特征图m11融合生成融合特征图m42，最后将m41上采样后与m42进行融合并上采样，生成最终融合结果；
针对对所构建的地物分类系统进行训练，训练完成后的地物分类系统用于执行光学遥感图像的地物分类任务。
6.如权利要求5所述的系统，其特征在于，所述上采样模块，具体包括特征通道压缩模块、上下文编码模块、上采样核预测模块、归一化模块以及特征重采样模块：
其中上采样模块的输入特征图大小为H×W×C，H为输入特征图的高度，W为输入特征图的宽度，C为输入特征图的特征通道数；
所述特征通道压缩模块，利用1×1卷积对上采样操作的输入特征图进行特征通道压缩，将通道数压缩为C2，生成大小为H×W×C2的通道压缩特征图，其中C2<C；
所述上下文编码模块，用于针对通道压缩特征图利用卷积操作进行上下文编码，输出大小为H×W×C3的上下文编码后的特征图，C3为上下文编码后的特征通道数，对C3进行分解，C3＝σ2k2，
Figure FDA0003004503690000051
且σ,k≥2，其中σ和k为分解参数一与分解参数二；
所述上采样核预测模块，用于对上下文编码后的特征图进行矩阵变换，变换后的矩阵为预测的上采样核，其大小为σH×σW×C4，其中C4为预测的上采样核对应通道数，C4＝k2；
所述归一化模块，用于对所述预测的上采样核进行归一化处理，使预测的上采样核权重和为1，得到上采样内核；
所述特征重采样模块，将所述上采样操作的输入特征图与所述上采样内核进行特征重采样，得到上采样后特征图。
CN202110358349.2A 2021-04-01 2021-04-01 基于双向特征融合的光学遥感图像地物分类方法及系统 Pending CN112926533A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110358349.2A CN112926533A (zh) 2021-04-01 2021-04-01 基于双向特征融合的光学遥感图像地物分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110358349.2A CN112926533A (zh) 2021-04-01 2021-04-01 基于双向特征融合的光学遥感图像地物分类方法及系统

Publications (1)

Publication Number Publication Date
CN112926533A true CN112926533A (zh) 2021-06-08

Family

ID=76173862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110358349.2A Pending CN112926533A (zh) 2021-04-01 2021-04-01 基于双向特征融合的光学遥感图像地物分类方法及系统

Country Status (1)

Country Link
CN (1) CN112926533A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114004973A (zh) * 2021-12-30 2022-02-01 深圳比特微电子科技有限公司 用于图像语义分割的解码器及其实现方法
CN114612769A (zh) * 2022-03-14 2022-06-10 电子科技大学 一种融入局部结构信息的集成感知红外成像舰船检测方法
WO2023221013A1 (zh) * 2022-05-19 2023-11-23 中国科学院深圳先进技术研究院 基于特征融合的小目标检测方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723798A (zh) * 2020-05-27 2020-09-29 西安交通大学 一种基于关联性层级残差的多实例自然场景文本检测方法
CN112183360A (zh) * 2020-09-29 2021-01-05 上海交通大学 高分辨率遥感影像的轻量化语义分割方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723798A (zh) * 2020-05-27 2020-09-29 西安交通大学 一种基于关联性层级残差的多实例自然场景文本检测方法
CN112183360A (zh) * 2020-09-29 2021-01-05 上海交通大学 高分辨率遥感影像的轻量化语义分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIAQI WANG等: "CARAFE: Content-Aware ReAssembly of FEatures", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
YUPEI WANG等: "Bidirectional Grid Fusion Network for Accurate Land Cover Classification of High-Resolution Remote Sensing Images", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114004973A (zh) * 2021-12-30 2022-02-01 深圳比特微电子科技有限公司 用于图像语义分割的解码器及其实现方法
CN114612769A (zh) * 2022-03-14 2022-06-10 电子科技大学 一种融入局部结构信息的集成感知红外成像舰船检测方法
WO2023221013A1 (zh) * 2022-05-19 2023-11-23 中国科学院深圳先进技术研究院 基于特征融合的小目标检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111462126B (zh) 一种基于边缘增强的语义图像分割方法及系统
CN113962893B (zh) 基于多尺度局部自注意力生成对抗网络的人脸图像修复方法
CN112001960B (zh) 基于多尺度残差金字塔注意力网络模型的单目图像深度估计方法
CN112926533A (zh) 基于双向特征融合的光学遥感图像地物分类方法及系统
CN115063573B (zh) 一种基于注意力机制的多尺度目标检测方法
CN110070091B (zh) 用于街景理解的基于动态插值重建的语义分割方法及系统
CN113674334B (zh) 基于深度自注意力网络和局部特征编码的纹理识别方法
CN112991354A (zh) 一种基于深度学习的高分辨率遥感影像语义分割方法
CN110992374B (zh) 一种基于深度学习的头发精细化分割方法及系统
CN109840560A (zh) 基于胶囊网络中融入聚类的图像分类方法
CN113239954A (zh) 基于注意力机制的图像语义分割特征融合方法
CN109508639B (zh) 基于多尺度带孔卷积神经网络的道路场景语义分割方法
CN115424051B (zh) 一种全景拼接图像质量评价方法
CN111860683A (zh) 一种基于特征融合的目标检测方法
CN110751195A (zh) 一种基于改进YOLOv3的细粒度图像分类方法
CN115082675A (zh) 一种透明物体图像分割方法及系统
CN113065426A (zh) 基于通道感知的手势图像特征融合方法
CN115937693A (zh) 一种基于遥感图像的道路识别方法及系统
CN116630704A (zh) 一种基于注意力增强和密集多尺度的地物分类网络模型
CN113011506B (zh) 一种基于深度重分形频谱网络的纹理图像分类方法
CN112989919B (zh) 一种从影像中提取目标对象的方法及系统
CN112215241B (zh) 一种基于小样本学习的图像特征提取装置
CN113538199B (zh) 一种基于多层感知卷积和通道加权的图像隐写检测方法
CN112990336B (zh) 基于竞争注意力融合的深度三维点云分类网络构建方法
CN117437557A (zh) 一种基于双通道特征增强的高光谱图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210608

WD01 Invention patent application deemed withdrawn after publication