CN113989662A - 一种基于自监督机制的遥感图像细粒度目标识别方法 - Google Patents

一种基于自监督机制的遥感图像细粒度目标识别方法 Download PDF

Info

Publication number
CN113989662A
CN113989662A CN202111210500.4A CN202111210500A CN113989662A CN 113989662 A CN113989662 A CN 113989662A CN 202111210500 A CN202111210500 A CN 202111210500A CN 113989662 A CN113989662 A CN 113989662A
Authority
CN
China
Prior art keywords
remote sensing
image
target
satellite remote
fine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111210500.4A
Other languages
English (en)
Other versions
CN113989662B (zh
Inventor
陈初杰
瞿崇晓
张永晋
祝中科
张建楠
杜鑫
范长军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 52 Research Institute
Original Assignee
CETC 52 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 52 Research Institute filed Critical CETC 52 Research Institute
Priority to CN202111210500.4A priority Critical patent/CN113989662B/zh
Publication of CN113989662A publication Critical patent/CN113989662A/zh
Application granted granted Critical
Publication of CN113989662B publication Critical patent/CN113989662B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于自监督机制的遥感图像细粒度目标识别方法，将所述融合卫星遥感图像输入目标检测卷积神经网络以获得目标位置，根据目标位置从所述融合卫星遥感图像截取目标图像截图，输入语义分割卷积神经网络以获得所述目标图像截图的语义分割结果，最后根据所述语义分割结果对所述目标图像截图进行图像滤波，并将滤波后的图像输入细粒度目标识别网络模型进行目标细粒度识别获得遥感图像目标识别结果。本发明解决了细粒度遥感图像检测和识别中标注样本监督信息不充足、领域知识不匹配问题，提高了识别准确度。

Description

一种基于自监督机制的遥感图像细粒度目标识别方法
技术领域
本申请属于目标识别技术领域，特别涉及一种基于自监督机制的遥感图像细粒度目标识别方法。
背景技术
遥感图像的目标检测和识别是遥感情报侦察中最为基础的研究课题之一，两者可视作遥感图像分析中的两项基本问题。在传统遥感图像的目标检测中，分析的目标对象隶属类别通常是如“飞机”、“建筑”和“河流”等传统意义上的类别分类。该情形下，不同类图像间的差异较大，同类图像间的差异则较小。
但细粒度图像分析处理的对象则是传统类别下的子类别，如“飞机”类别中的不同军用和民用飞机的型号，因细粒度级别子类别间较小的类间差异，使其区别于传统遥感图像的目标检测问题，从而更具挑战性。因此，解决细粒度目标遥感图像目标的检测和识别问题具有重要意义。
发明内容
本申请的目的是提供一种基于自监督机制的遥感图像细粒度目标识别方法，用于解决通用目标检测识别算法中对于传统类别下的子类别(如飞机类别下的具体不同型号飞机类别)识别准确度低的问题。
为了实现上述目的，本申请技术方案如下：
一种基于自监督机制的遥感图像细粒度目标识别方法，包括：
获取高光谱卫星遥感图像并按照预设规则对所述高光谱卫星遥感图像进行切割获得切割后的高光谱卫星遥感图像；
对切割后的高光谱卫星遥感图像进行预处理，而后根据不同的波段获得可见光卫星遥感图像以及对应的红外成像卫星遥感图像，并对所述可见光卫星遥感图像以及对应的红外成像卫星遥感图像进行图像融合以得到融合卫星遥感图像；
将所述融合卫星遥感图像输入目标检测卷积神经网络以获得目标位置；
根据所述目标位置从所述融合卫星遥感图像截取目标图像截图，输入语义分割卷积神经网络以获得所述目标图像截图的语义分割结果；
根据所述语义分割结果对所述目标图像截图进行图像滤波，并将滤波后的图像输入细粒度目标识别网络模型进行目标细粒度识别获得遥感图像目标识别结果。
进一步的，对所述可见光卫星遥感图像以及对应的红外成像卫星遥感图像进行图像融合以得到融合卫星遥感图像，包括：
融合采用如下公式：
Is＝λaIa+λbIb
其中，Is为所述融合卫星遥感图像，Ia为所述可见光卫星遥感图像，Ib为所述红外成像卫星遥感图像，“+”表示所述可见光卫星遥感图像和所述红外成像卫星遥感图像相对应位置处的元素相加，λa和λb表示可见光卫星遥感图像和所述红外成像卫星遥感图像的权重。
进一步的，0<λb+0.5<λa<1.0。
进一步的，所述目标检测卷积神经网络采用改进的YOLOv3网络，包括特征提取网络层、特征融合层以及检测输出层，其中：
在特征提取网络层Darknet-53中加入两组HRFB结构以及对应的两组空间注意力结构；
所述HRFB结构包括输入层、卷积层和拼接层，所述卷积层包括三个支路，第一支路包括一个1*1的卷积结构，第二支路包括一个1*1的卷积结构和两个3*3的卷积结构，第三支路包括一个1*1的卷积结构和一个3*3 的卷积结构，其中3*3的卷积结构的间隔率均为1；
所述空间注意力结构包括池化核分别为3、5、7的三个最大池化层，所述三个最大池化层的输出经过拼接后在输入到一个卷积层，最后经过激活函数输出空间注意力特征。
进一步的，所述根据所述语义分割结果对所述目标图像截图进行图像滤波，包括：
滤波采用公式：
Fs＝Fb·F
其中，Fs为滤波后的图像，Fb为所述语义分割结果的二值化图像，其中有目标的位置像素值为1，其余为背景位置像素值为0；F为所述目标图像截图，“·”表示所述二值化图像和所述目标图像截图相对应位置处的元素相乘。
进一步的，所述细粒度目标识别网络模型包括第一网络结构和第二网络结构，其中：
所述第一网络结构用于预测图像中每个预选区域的信息量，并根据信息量推荐预定数量的图像区域作为特征提取的候选区域，所述信息量用于表征所述预选区域的目标特征显著程度；
所述第二网络结构将第一网络结构获得的候选区域缩放至相同大小并通过卷积网络结构进行特征提取和特征融合以获得图像的联合特征向量，将所述联合特征向量输入支持向量机以获得目标细粒度识别结果。。
进一步的，所述使用第一网络结构用于预测图像中每个预选区域的信息量，并根据信息量推荐预定数量的图像区域作为特征提取的候选区域的方法，包括：
根据输入图像，随机产生N个矩形区域{R1，R2，…，RN}，其中，所述矩形区域具有m种不同的分辨率和m种不同的长宽比率；
将所述N个矩形区域通过所述第一网络结构进行信息量提取得到信息量列表{I1，I2，…，IN}；
对所述信息量列表从大到小进行排序，选取信息量列表前M个信息量对应的矩形区域作为特征提取的候选区域。
本申请提出的一种基于自监督机制的遥感图像细粒度目标识别方法，分阶段进行目标检测和类别细粒度分类，对遥感图像进行检测再进行细粒度识别，对两种方法的结果进行融合。首先采用图像融合方法以及图像分割方法实现目标细节的增强和背景干扰的消除突出目标特征的显著性，再基于部件信息构建对应的局部部件子空间，最终在各自子空间进行知识迁移，从而解决细粒度遥感图像检测和识别中标注样本监督信息不充足、领域知识不匹配问题，提高了识别准确度。
附图说明
图1为本申请一种基于自监督机制的遥感图像细粒度目标识别方法流程图；
图2为本申请网络结构示意图；
图3为本申请目标检测卷积神经网络结构示意图；
图4为现有技术RFB结构示意图；
图5为本申请实施例HRFB结构示意图；
图6为现有技术空间注意力结构示意图；
图7为本申请实施例空间注意力结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请的总体思路是，将遥感图像细粒度目标识别分为两个部分：遥感目标检测部分和遥感目标精细识别部分。遥感目标检测部分主要负责从遥感图像中定位出目标的位置以及目标大类，遥感目标精细识别部分以目标检测结果为输入，对检测到的目标做细粒度分类，从而确定目标的型号类别。
卫星在采集遥感图像的过程中难免会出现云雾遮挡或光线不足的情况，使得原本类内差异就不明显的遥感目标更加难以分辨其特征。相对可见光波段而言，红外成像对云雾具有较强的穿透能力以及低光照强度的目标成像能力，可以很好的克服在云雾遮挡或光线不足的情况，相应的，可以通过采用获取高光谱卫星遥感图片的形式，并通过图像融合的方法得到融合图片解决上述问题。
此外，对于同类图像不同子类之间的差异主要体现在一些局部细节部分，现有方法只将不同子类图像整体作为输入提取全局特征，对局部特征的重要性没有得到体现，同时，目标区域以外的背景区域也会对结果带来不同程度的干扰，相应的，可以通过图像分割的方法分割出目标所述区域，然后将图像分割得到的二值图与原图相乘从而实现背景区域的滤除排除背景干扰，然后构建自监督学习的机制将全局图像细分为不同的局部区域，再由卷积神经网络学习选取最优的局部区域用于图像特征提取，然后并对特征进行融合，实现不同子类目标的准备识别。
在一个实施例中，如图1所示，提供了一种基于自监督机制的遥感图像细粒度目标识别方法，包括：
步骤S1、获取高光谱卫星遥感图像并按照预设规则对所述高光谱卫星遥感图像进行切割获得切割后的高光谱卫星遥感图像。
本实施例获取遥感图像，将图像切割为1024x1024像素大小的子图区块。不同子图区块之间存在50像素的重叠区域以减少图像切割过程中对目标的“破坏”。
步骤S2、对切割后的高光谱卫星遥感图像进行预处理，而后根据不同的波段获得可见光卫星遥感图像以及对应的红外成像卫星遥感图像，并对所述可见光卫星遥感图像以及对应的红外成像卫星遥感图像进行图像融合以得到融合卫星遥感图像。
对切割后的高光谱卫星遥感图像进行预处理，图像预处理是对输入的图像在做图像后处理之前对图像进行的操作，包含几何校正、辐射校正、图像增强、几何配准。
在预处理后，根据不同的波段获得可见光卫星遥感图像以及对应的红外成像卫星遥感图像，对所述可见光卫星遥感图像以及对应的红外成像卫星遥感图像进行图像融合，融合采用如下公式：
Is＝λaIa+λbIb
其中，Is为所述融合卫星遥感图像，Ia为所述可见光卫星遥感图像，Ib为所述红外成像卫星遥感图像，“+”表示所述可见光卫星遥感图像和所述红外成像卫星遥感图像相对应位置处的元素相加，λa和λb表示可见光卫星遥感图像和所述红外成像卫星遥感图像的权重，用于控制所述可见光卫星遥感图像和所述红外成像卫星遥感图像之间的平衡的加权参数。
相比红外成像卫星遥感图像，可见光卫星遥感图像包含更多的细节特征，因此在融合过程中可见光卫星遥感图像的权重取值大于红外成像卫星遥感图像的权重，优选的，0<λb+0.5<λa<1.0。
在本实施例中取λb＝0.3，λa＝0.9。
步骤S3、将所述融合卫星遥感图像输入目标检测卷积神经网络以获得目标位置。
本实施例目标检测卷积神经网络采用改进的YOLOv3网络，其结构图如图3所示，包括特征提取网络层、特征融合层以及检测输出层。
目标检测卷积神经网络的输入主要为可见光卫星遥感图像以及对应的红外成像卫星遥感图像融合的融合卫星遥感图像。
特征提取网络层为卷积神经网络，主要由卷积层、池化层、批归一化层等基本单元构成，负责图像特征的提取。
特征融合层主要由一种双向特征融合结构实现，对不同层次提取的图片特征进行双向融合，增强检测网络的多尺度检测能力。
检测输出采用三尺度输出结构，保留较强的小目标检测和多尺度目标检测识别能力。三尺度输出结构中，不同组输出对应锚框大小范围不同，共9个预设锚框大小，每个尺度输出结构对应3个锚框，能够有效提高网络的多尺度检测识别能力。
本实施例以目标检测领域实测效果最好的YOLOv3为网络结构设计原型，进行特征表达能力更强、小目标检测能力更强的改进。
在一个实施例中，如图3所示，本实施例目标检测卷积神经网络的特征提取网络层在Darknet-53中加入两组HRFB结构以及对应的两组空间注意力结构。
本实施例在特征提取网络层Darknet-53中加入两组HRFB结构，提升网络特征表达能力，提高从复杂遥感图像背景下提前目标特征的能力。
传统的RFB结构如图4所示，采用空洞卷积增加感受野，同时采用多路分支结构提高特征提取能力。对于小目标检测识别，采用空洞卷积具有增加感受野的能力，同时也会损失部分小目标的特征，而对于像素数量极少的小目标，空洞卷积的计算方式意味着目标信息的严重丢失。所以本实施例对传统的RFB结构进行改进，采用HRFB结构(如图5所示)提高基础网络的特征提取能力，去除传统RFB结构中不同间隔率(rate)带来的信息丢失影响。
本实施例HRFB结构设置在特征提取网络层Darknet-53的第一特征提取模块和第二特征提取模块中，也可以设置在第一特征提取模块和第三特征提取模块中，这里不做具体的限制。HRFB结构包括输入层(previous layer)、卷积层和拼接层(concatenation)，所述卷积层包括三个支路，第一支路包括一个1*1的卷积结构，第二支路包括一个1*1的卷积结构和两个3*3的卷积结构，第三支路包括一个1*1的卷积结构和一个3*3的卷积结构，其中3*3的卷积结构的间隔率(rate)均为1。
本实施例空间注意力结构设置在特征提取网络层Darknet-53的第一特征提取模块和第二特征提取模块中，所述空间注意力结构包括池化核分别为3、5、7的三个最大池化层，所述三个最大池化层的输出经过拼接后在输入到一个卷积层，最后经过激活函数输出空间注意力特征。
在特征提取网络层中加入改进的空间注意力结构，典型的空间注意力结构可以通过增加感兴趣目标的权重来提升目标检测效果，空间注意力结构如图6所示，对输入特征通过卷积操作，再使用Sigmoid函数将特征值限定为在[0,1]之间的权重特征。
为了更好的检测小目标，本实施例针对空间注意力结构做了如下改进：
S＝Conv[Maxpool3(x),Maxpool5(x),Maxpool7(x)]
如图7所示所示，S为空间注意力的输出，x为输入特征，Conv表示卷积操作，Maxpool3、Maxpool5、Maxpool7分别代表核为3、5、7的最大池化，sigmoid函数用于将输出限制在0和1之间，[，]表示特征拼接，空间注意力结构将特征图经过3，5，7不同尺度的最大池化来学习目标的显著特征，增强大尺度特征图上小型目标的关键点信息。
本实施例目标检测卷积神经网络保留了YOLOv3三尺度特征输出的设计，增强遥感图像场景下多尺度目标检测的能力；保留YOLOv3训练trick，包括多尺度缩放增广训练等，提高训练模型参数的鲁棒性；保留训练锚框的聚类计算，加快训练收敛速度，同时获得更好的收敛效果。
需要说明的是，本申请目标检测卷积神经网络也可以直接采用 YOLOv3网络，其效果没有改进的YOLOv3网络好，但是结合本申请后续的步骤，总体效果要好于传统的仅采用YOLOv3目标检测算法的检测结果。
步骤S4、根据所述目标位置从所述融合卫星遥感图像截取目标图像截图，输入语义分割卷积神经网络以获得所述目标图像截图的语义分割结果。
本实施例语义分割卷积神经网络采用U-Net，U-Net网络的典型特点是，它是U型对称结构，左侧是卷积层，右侧是上采样层。U-Net结构中，包含4个convolutional layer(卷积层)和对应的4个upsampling layer(上采样层)。所以在实现的时候，既可以从头实现网络并进行权重的初始化，然后进行模型的训练；也可以借用现有一些网络的卷积层结构和对应的已训练好的权重文件，再加上后面的upsampling layer，进行训练计算，比如ResNet，VGG等，因为在深度学习的模型训练中，如果能够使用已有的权重模型文件，可以大大加快训练的速度。
需要说明的是，语义分割卷积神经网络还可以采用本领域其他语义分割卷积神经网络，这里不再赘述。
步骤S5、根据所述语义分割结果对所述目标图像截图进行图像滤波，并将滤波后的图像输入细粒度目标识别网络模型进行目标细粒度识别获得遥感图像目标识别结果。
本实施例，滤波采用公式：
Fs＝Fb·F
其中，Fs为滤波后的图像，Fb为所述语义分割结果的二值化图像，其中有目标的位置像素值为1，其余为背景位置像素值为0；F为所述目标图像截图，“·”表示所述二值化图像和所述目标图像截图相对应位置处的元素相乘。
可以理解，通过以上滤波处理可以有效的将目标背景干扰去除，留下目标所在区域的特征。
然后，将滤波后的图像输入细粒度目标识别网络模型进行目标细粒度识别获得遥感图像特征向量，最后得到识别结果。
本实施例中，所述细粒度目标识别网络模型由第一网络结构、第二网络结构构成，第一网络结构为NTS-Net用于预测图像中每个预选区域的信息量，第二网络结构为ResNet18，用于提取图像特征。
其中：
所述第一网络结构用于预测图像中每个预选区域的信息量，并根据信息量推荐预定数量的图像区域作为特征提取的候选区域，所述信息量用于表征所述预选区域的目标特征显著程度，包括：
首先，根据输入图像，随机产生N个矩形区域{R1，R2，…，RN}，其中，所述矩形区域具有m种不同的分辨率和m种不同的长宽比率。
本实施例中，对于分辨率大小为512的遥感图像，通过选取3种不同分辨率{96,112,224}下长宽比为{1,1/2,1/3}的矩形区域作为候选区域,矩形区域数量N为1000。
然后将所述N个矩形区域通过所述第一网络结构进行信息量提取得到信息量列表{I1，I2，…，IN}；
对所述信息量列表从大到小进行排序，选取信息量列表前M个信息量对应的矩形区域作为特征提取的候选区域，本实施例中M取3。
所述第二网络结构将第一网络结构获得的优选图像区域缩放至相同大小并通过卷积网络结构进行特征提取和特征融合以获得图像的联合特征向量。
本申请细粒度目标识别网络模型，旨在区分同一超类的从属类，例如飞机型号和舰船型号。挑战来源于找出信息区域和提取其中的判别特征。因此，细粒度分类的关键在于开发自动方法以准确识别图像中的信息区域。实现更精准地确定具有判别力的子区域，并采用高分辨率、精细化特征进行描述，进而大大提高精细化目标分类的精度。
本方发明提出一种自监督机制深度学习网络有效地定位信息区域而无需边界框/部分注释,能够有效找出不同类别之间的判别特征，选用实现更精准地确定具有判别力的子区域，并采用高分辨率、精细化特征进行描述，进而大大提高精细化目标分类的精度。
本申请为了验证本发明在遥感目标检测识别的效果，设计了对比试验，首先建立了一批遥感数据集，主要来自于谷歌地球(Google Earth)不同时期的卫星图像，包含两个类别：飞机和舰船，数据集大致分布如下表所示，数据集展示如下所示。
Figure BDA0003308771280000101
表1
在Airplane-ship数据集上分别对比了与目前业界最主流的算法SSD、CenterNet-HG、Yolov3以、EfficientNet-D1以及本发明所述方法的效果，结果如下所示，由对比结果可知本申请的mAP值比目前业界最主流的几个算法都要高。
算法名称 mAP(％)
SSD 86.81
CenterNet-HG 89.74
Yolov3 91.05
EfficientNet-D1 91.42
本申请 93.18
表2
仅采用YOLOv3目标检测算法的检测结果，对于飞机类别，只能区分出该类别为战斗机而无法知道具体型号，而采用本申请的方法的目标检测识别结果，通过目标细分类网络进行进一步的细粒度类别识别，能准确得到飞机类别。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (7)

1.一种基于自监督机制的遥感图像细粒度目标识别方法，其特征在于，所述的基于自监督机制的遥感图像细粒度目标识别方法，包括：
获取高光谱卫星遥感图像并按照预设规则对所述高光谱卫星遥感图像进行切割获得切割后的高光谱卫星遥感图像；
对切割后的高光谱卫星遥感图像进行预处理，而后根据不同的波段获得可见光卫星遥感图像以及对应的红外成像卫星遥感图像，并对所述可见光卫星遥感图像以及对应的红外成像卫星遥感图像进行图像融合以得到融合卫星遥感图像；
将所述融合卫星遥感图像输入目标检测卷积神经网络以获得目标位置；
根据所述目标位置从所述融合卫星遥感图像截取目标图像截图，输入语义分割卷积神经网络以获得所述目标图像截图的语义分割结果；
根据所述语义分割结果对所述目标图像截图进行图像滤波，并将滤波后的图像输入细粒度目标识别网络模型进行目标细粒度识别获得遥感图像目标识别结果。
2.如权利要求1所述的基于自监督机制的遥感图像细粒度目标识别方法，其特征在于，对所述可见光卫星遥感图像以及对应的红外成像卫星遥感图像进行图像融合以得到融合卫星遥感图像，包括：
融合采用如下公式：
Is＝λaIa+λbIb
其中，Is为所述融合卫星遥感图像，Ia为所述可见光卫星遥感图像，Ib为所述红外成像卫星遥感图像，“+”表示所述可见光卫星遥感图像和所述红外成像卫星遥感图像相对应位置处的元素相加，λa和λb表示可见光卫星遥感图像和所述红外成像卫星遥感图像的权重。
3.如权利要求2所述的基于自监督机制的遥感图像细粒度目标识别方法，其特征在于，0＜λb+0.5＜λa＜1.0。
4.如权利要求1所述的基于自监督机制的遥感图像细粒度目标识别方法，其特征在于，所述目标检测卷积神经网络采用改进的YOLOv3网络，包括特征提取网络层、特征融合层以及检测输出层，其中：
在特征提取网络层Darknet-53中加入两组HRFB结构以及对应的两组空间注意力结构；
所述HRFB结构包括输入层、卷积层和拼接层，所述卷积层包括三个支路，第一支路包括一个1*1的卷积结构，第二支路包括一个1*1的卷积结构和两个3*3的卷积结构，第三支路包括一个1*1的卷积结构和一个3*3的卷积结构，其中3*3的卷积结构的间隔率均为1；
所述空间注意力结构包括池化核分别为3、5、7的三个最大池化层，所述三个最大池化层的输出经过拼接后在输入到一个卷积层，最后经过激活函数输出空间注意力特征。
5.如权利要求1所述的基于自监督机制的遥感图像细粒度目标识别方法，其特征在于，所述根据所述语义分割结果对所述目标图像截图进行图像滤波，包括：
滤波采用公式：
Fs＝Fb·F
其中，Fs为滤波后的图像，Fb为所述语义分割结果的二值化图像，其中有目标的位置像素值为1，其余为背景位置像素值为0；F为所述目标图像截图，“·”表示所述二值化图像和所述目标图像截图相对应位置处的元素相乘。
6.如权利要求1所述的基于自监督机制的遥感图像细粒度目标识别方法，其特征在于，所述细粒度目标识别网络模型包括第一网络结构和第二网络结构，其中：
所述第一网络结构用于预测图像中每个预选区域的信息量，并根据信息量推荐预定数量的图像区域作为特征提取的候选区域，所述信息量用于表征所述预选区域的目标特征显著程度；
所述第二网络结构将第一网络结构获得的候选区域缩放至相同大小并通过卷积网络结构进行特征提取和特征融合以获得图像的联合特征向量，将所述联合特征向量输入支持向量机以获得目标细粒度识别结果。
7.如权利要求6所述的基于自监督机制的遥感图像细粒度目标识别方法，其特征在于，所述使用第一网络结构用于预测图像中每个预选区域的信息量，并根据信息量推荐预定数量的图像区域作为特征提取的候选区域的方法，包括：
根据输入图像，随机产生N个矩形区域{R1，R2，...，RN}，其中，所述矩形区域具有m种不同的分辨率和m种不同的长宽比率；
将所述N个矩形区域通过所述第一网络结构进行信息量提取得到信息量列表{I1，I2，...，IN}；
对所述信息量列表从大到小进行排序，选取信息量列表前M个信息量对应的矩形区域作为特征提取的候选区域。
CN202111210500.4A 2021-10-18 2021-10-18 一种基于自监督机制的遥感图像细粒度目标识别方法 Active CN113989662B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111210500.4A CN113989662B (zh) 2021-10-18 2021-10-18 一种基于自监督机制的遥感图像细粒度目标识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111210500.4A CN113989662B (zh) 2021-10-18 2021-10-18 一种基于自监督机制的遥感图像细粒度目标识别方法

Publications (2)

Publication Number Publication Date
CN113989662A true CN113989662A (zh) 2022-01-28
CN113989662B CN113989662B (zh) 2023-02-03

Family

ID=79739177

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111210500.4A Active CN113989662B (zh) 2021-10-18 2021-10-18 一种基于自监督机制的遥感图像细粒度目标识别方法

Country Status (1)

Country Link
CN (1) CN113989662B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114612769A (zh) * 2022-03-14 2022-06-10 电子科技大学 一种融入局部结构信息的集成感知红外成像舰船检测方法
CN114723732A (zh) * 2022-04-25 2022-07-08 淮阴工学院 杏鲍菇表面瑕疵检测方法、装置及存储介质
CN114861865A (zh) * 2022-03-10 2022-08-05 长江三峡技术经济发展有限公司 高光谱图像分类模型的自监督学习方法、系统、介质和电子设备
CN114898210A (zh) * 2022-05-10 2022-08-12 清研灵智信息咨询(北京)有限公司 一种基于神经网络的遥感图像目标识别方法
CN115019182A (zh) * 2022-07-28 2022-09-06 北京卫星信息工程研究所 遥感图像目标细粒度识别方法、系统、设备及存储介质
CN115082801A (zh) * 2022-07-27 2022-09-20 北京道达天际科技股份有限公司 一种基于遥感图像的飞机型号识别系统和方法
CN115115939A (zh) * 2022-07-28 2022-09-27 北京卫星信息工程研究所 基于特征注意力机制的遥感图像目标细粒度识别方法
CN115272763A (zh) * 2022-07-27 2022-11-01 四川大学 一种基于细粒度特征融合的鸟类识别方法
CN116630825A (zh) * 2023-06-09 2023-08-22 北京佳格天地科技有限公司 一种卫星遥感数据与监控视频融合方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389051A (zh) * 2018-09-20 2019-02-26 华南农业大学 一种基于卷积神经网络的建筑物遥感图像识别方法
CN111985376A (zh) * 2020-08-13 2020-11-24 湖北富瑞尔科技有限公司 一种基于深度学习的遥感影像舰船轮廓提取方法
CN113298815A (zh) * 2021-06-21 2021-08-24 江苏建筑职业技术学院 一种半监督遥感图像语义分割方法、装置和计算机设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109389051A (zh) * 2018-09-20 2019-02-26 华南农业大学 一种基于卷积神经网络的建筑物遥感图像识别方法
CN111985376A (zh) * 2020-08-13 2020-11-24 湖北富瑞尔科技有限公司 一种基于深度学习的遥感影像舰船轮廓提取方法
CN113298815A (zh) * 2021-06-21 2021-08-24 江苏建筑职业技术学院 一种半监督遥感图像语义分割方法、装置和计算机设备

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114861865A (zh) * 2022-03-10 2022-08-05 长江三峡技术经济发展有限公司 高光谱图像分类模型的自监督学习方法、系统、介质和电子设备
CN114612769A (zh) * 2022-03-14 2022-06-10 电子科技大学 一种融入局部结构信息的集成感知红外成像舰船检测方法
CN114723732A (zh) * 2022-04-25 2022-07-08 淮阴工学院 杏鲍菇表面瑕疵检测方法、装置及存储介质
CN114898210A (zh) * 2022-05-10 2022-08-12 清研灵智信息咨询(北京)有限公司 一种基于神经网络的遥感图像目标识别方法
CN115082801A (zh) * 2022-07-27 2022-09-20 北京道达天际科技股份有限公司 一种基于遥感图像的飞机型号识别系统和方法
CN115082801B (zh) * 2022-07-27 2022-10-25 北京道达天际科技股份有限公司 一种基于遥感图像的飞机型号识别系统和方法
CN115272763A (zh) * 2022-07-27 2022-11-01 四川大学 一种基于细粒度特征融合的鸟类识别方法
CN115019182A (zh) * 2022-07-28 2022-09-06 北京卫星信息工程研究所 遥感图像目标细粒度识别方法、系统、设备及存储介质
CN115115939A (zh) * 2022-07-28 2022-09-27 北京卫星信息工程研究所 基于特征注意力机制的遥感图像目标细粒度识别方法
CN116630825A (zh) * 2023-06-09 2023-08-22 北京佳格天地科技有限公司 一种卫星遥感数据与监控视频融合方法及系统

Also Published As

Publication number Publication date
CN113989662B (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
CN113989662B (zh) 一种基于自监督机制的遥感图像细粒度目标识别方法
CN111738124B (zh) 基于Gabor变换和注意力的遥感图像云检测方法
Amit et al. Disaster detection from aerial imagery with convolutional neural network
CN105574513B (zh) 文字检测方法和装置
CN109711288A (zh) 基于特征金字塔和距离约束fcn的遥感船舶检测方法
CN108830188A (zh) 基于深度学习的车辆检测方法
CN107808138B (zh) 一种基于FasterR-CNN的通信信号识别方法
CN111145176A (zh) 一种基于深度神经网络的胃癌淋巴结染色病理图像自动识别方法和系统
CN111832615A (zh) 一种基于前景背景特征融合的样本扩充方法及系统
CN110659601B (zh) 基于中心点的深度全卷积网络遥感图像密集车辆检测方法
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
Ge et al. Coarse-to-fine foraminifera image segmentation through 3D and deep features
CN112926652A (zh) 一种基于深度学习的鱼类细粒度图像识别方法
CN116071676A (zh) 一种基于注意力导向金字塔融合的红外小目标检测方法
CN114445356A (zh) 基于多分辨率的全视野病理切片图像肿瘤快速定位方法
CN111860465A (zh) 基于超像素的遥感图像提取方法、装置、设备及存储介质
CN111079807A (zh) 一种地物分类方法及装置
CN106548195A (zh) 一种基于改进型hog‑ulbp特征算子的目标检测方法
CN109741351A (zh) 一种基于深度学习的类别敏感型边缘检测方法
CN116468690B (zh) 基于深度学习的浸润性非粘液性肺腺癌的亚型分析系统
CN116012709B (zh) 一种高分辨率遥感影像建筑物提取方法及系统
CN115456957B (zh) 一种全尺度特征聚合的遥感影像变化检测的方法
CN117079097A (zh) 一种基于视觉显著性的海面目标识别方法
CN114943869B (zh) 风格迁移增强的机场目标检测方法
CN116385717A (zh) 叶面病害识别方法、装置、电子设备、存储介质及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant