CN117058548A - 遥感图像目标检测方法、装置、存储介质和电子设备 - Google Patents

遥感图像目标检测方法、装置、存储介质和电子设备 Download PDF

Info

Publication number
CN117058548A
CN117058548A CN202311049842.1A CN202311049842A CN117058548A CN 117058548 A CN117058548 A CN 117058548A CN 202311049842 A CN202311049842 A CN 202311049842A CN 117058548 A CN117058548 A CN 117058548A
Authority
CN
China
Prior art keywords
feature
image
remote sensing
network
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311049842.1A
Other languages
English (en)
Inventor
李昊伦
田澍
杜康宁
郭亚男
宋沛然
曹林
王卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Information Science and Technology University
Original Assignee
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Information Science and Technology University filed Critical Beijing Information Science and Technology University
Priority to CN202311049842.1A priority Critical patent/CN117058548A/zh
Publication of CN117058548A publication Critical patent/CN117058548A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种遥感图像目标检测方法、装置、存储介质和电子设备。该方法包括：获取待检测的第一遥感图像；利用预设的特征提取网络对第一遥感图像进行特征提取，得到在多个不同层级的第一特征图像；通过预训练的遥感目标检测模型的第一特征处理单元对多个不同层级的第一特征图像进行特征处理，得到对应的第一融合特征图像；通过遥感目标检测模型的第一检测单元对多个不同层级的第一融合特征图像进行检测，得到多个不同层级的第一融合特征图像对应的检测结果，并基于不同层级对应的检测结果确定第一遥感图像的第一多尺度目标。本申请解决了遥感目标检测技术无法捕捉跨尺度特征的长距离依赖关系，导致混叠效应验证的技术问题。

Description

遥感图像目标检测方法、装置、存储介质和电子设备
技术领域
本申请涉及目标检测技术领域，具体而言，涉及一种遥感图像目标检测方法、装置、存储介质和电子设备。
背景技术
随着计算机技术的发展和视觉原理的不断发展，利用计算机图像处理技术进行目标检测已经在军事侦察、公共安全、智能交通、城市规划等众多领域得到了广泛的应用。遥感图像的目标检测技术是随着遥感技术的发展而兴起的一项新技术，其凭借作用距离远、覆盖范围广、执行效率高等优点，使其具有重要的军事意义和民用价值。
然而，尽管高分辨率的遥感图像可以提供地面物体的详细信息，但它们同时存在广泛而复杂的背景(如遮挡条件)，导致相关遥感图像目标检测方法的检测精度较低，限制了遥感图像在目标检测技术的应用范围。
针对上述的问题，目前尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种遥感图像目标检测方法、装置、存储介质和电子设备，以至少解决遥感目标检测技术无法捕捉跨尺度特征的长距离依赖关系，导致混叠效应验证的技术问题。
根据本申请实施例的一个方面，提供了一种遥感图像目标检测方法，包括：获取待检测的第一遥感图像；利用预设的特征提取网络对第一遥感图像进行特征提取，得到第一遥感图像在多个不同层级的第一特征图像；通过预训练的遥感目标检测模型的第一特征处理单元对多个不同层级的第一特征图像进行特征处理，得到多个不同层级的第一融合特征图像，其中，第一特征处理单元中包括：用于对多个不同层级的第一特征图像进行多尺度特征融合处理的基于非局部感知和注意力机制的目标特征金字塔网络、对目标特征金字塔网络输出的第一浅层融合特征图像进行解耦处理的多尺度特征解耦网络、对目标特征金字塔网络输出的第一中层融合特征图像和第一深层融合特征图像调整多尺度特征比例的自适应分配多尺度特征网络、对多尺度特征解耦网络和自适应分配多尺度特征网络输出的优化融合特征图像进行图像信息分离的过滤无效信息策略网络；通过遥感目标检测模型的第一检测单元对多个不同层级的第一融合特征图像进行检测，得到多个不同层级的第一融合特征图像对应的检测结果，并基于不同层级对应的检测结果确定第一遥感图像的第一多尺度目标。
可选地，利用预设的特征提取网络对遥感图像进行特征提取，得到遥感图像在多个不同层级的第一特征图像，包括：对第一遥感图像进行预处理；利用特征提取网络对处理后的第一遥感图像进行特征提取，得到第一遥感图像在多个不同层级的第一特征图像，其中，第一特征图像中包括：第一浅层特征图像、第一中层特征图像和第一深层特征图像。
可选地，遥感目标检测模型的训练过程包括：获取样本图像集，其中，样本图像集中包括多个第二遥感图像，且每个第二遥感图像内包括至少一个第二遥感目标；利用特征提取网络对样本图像集内的各个第一遥感图像进行特征提取，得到各个第一遥感图像在多个不同层级的第二特征图像，其中，第二特征图像中包括：第二浅层特征图像、第二中层特征图像和第二深层特征图像；构建初始遥感目标检测模型，其中，初始遥感目标检测模型中包括：第二特征处理单元和第二检测单元；基于样本图像集内各个第二遥感图像在多个不同层级的第二特征图像对初始遥感目标检测模型进行训练，得到遥感目标检测模型。
可选地，第二特征处理单元的构建过程包括：构建融合非局部感知和双注意力机制的目标特征金字塔网络，其中，目标特征金字塔模块中包括：浅层特征网络、中层特征网络和深层特征网络；构建融合位置感知注意力机制的自适应分配多尺度特征网络；采用门函数构建多尺度特征解耦网络，并采用隶属函数构建过滤无效信息策略网络。
可选地，基于样本图像集内各个第二遥感图像在多个不同层级的第二特征图像对初始遥感目标检测模型进行训练，得到遥感目标检测模型，包括：对于每个第二遥感图像，将第二遥感图像在多个不同层级的第二特征图像输入至初始遥感目标检测模型，得到初始遥感目标检测模型输出的第二多尺度目标；依据样本图像集内的第二遥感目标与第二多尺度目标构建目标损失函数，其中，目标损失函数用于反映第二遥感目标和第二多尺度目标之间的差异；基于目标损失函数调整初始遥感目标检测模型的模型参数，得到遥感目标检测模型。
可选地，将第二遥感图像在多个不同层级的第二特征图像输入至初始遥感目标检测模型，得到初始遥感目标检测模型输出的第二多尺度目标，包括：采用目标特征金字塔网络对多个不同层级的第二特征图像进行多尺度特征融合处理，分别得到第二浅层特征图像对应的第二浅层融合特征图像、第二中层特征图像对应的第二中层融合特征图像以及第二深层特征图像对应的第二深层融合特征图像；将第二浅层融合特征图像输入至多尺度特征解耦网络，得到第三浅层融合特征图像，并分别将第二中层融合特征图像和第二深层融合特征图像输入至添加自适应分配多尺度特征网络，得到第三中层融合特征图像和第三深层融合特征图像；将第三浅层融合特征图像、第三中层融合特征图像和第三深层融合特征图像分别输入至对应的过滤无效信息策略网络中，得到第二浅层融合特征图像对应的第一图像信息、第二中层融合特征图像对应的第二图像信息以及第二深层融合特征图像对应的第三图像信息，其中，第一图像信息、第二图像信息和第三图像信息中包括：前景信息或者背景信息；将第一图像信息、第二图像信息以及第三图像信息分别输入至对应层级的第二检测单元，得到不同层级的第二检测单元输出的浅层特征检测结果、中层特征检测结果和深层特征检测结果；基于不同层级的第二检测单元输出的浅层特征检测结果、中层特征检测结果和深层特征检测结果确定第二遥感图像的第二多尺度目标。
可选地，特征提取网络中包括以下至少之一：LeNet-5网络、AlexNet网络、VGGNet网络、GoogLeNet网络、ResNet网络。
根据本申请实施例的另一方面，还提供了一种遥感图像目标检测装置，包括：获取模块，用于获取待检测的第一遥感图像；特征提取模块，用于利用预设的特征提取网络对第一遥感图像进行特征提取，得到第一遥感图像在多个不同层级的第一特征图像；特征处理模块，用于通过预训练的遥感目标检测模型的第一特征处理单元对多个不同层级的第一特征图像进行特征处理，得到多个不同层级的第一融合特征图像，其中，第一特征处理单元中包括：用于对多个不同层级的第一特征图像进行多尺度特征融合处理的基于非局部感知和注意力机制的目标特征金字塔网络、对目标特征金字塔网络输出的第一浅层融合特征图像进行解耦处理的多尺度特征解耦网络、对目标特征金字塔网络输出的第一中层融合特征图像和第一深层融合特征图像调整多尺度特征的比例的自适应分配多尺度特征网络、对多尺度特征解耦网络和自适应分配多尺度特征网络输出的融合特征图像进行图像信息分离的过滤无效信息策略网络；目标检测模块，用于通过遥感目标检测模型的第一检测单元对多个不同层级的第一融合特征图像进行检测，得到多个不同层级的第一融合特征图像对应的检测结果，并基于不同层级对应的检测结果确定第一遥感图像的第一多尺度目标。
根据本申请实施例的另一方面，还提供了一种非易失性存储介质，该非易失性存储介质包括存储的计算机程序，其中，非易失性存储介质所在设备通过运行该计算机程序执行上述的遥感图像目标检测方法。
根据本申请实施例的另一方面，还提供了一种电子设备，该电子设备包括：存储器和处理器，其中，存储器中存储有计算机程序，处理器被配置为通过计算机程序执行上述的遥感图像目标检测方法。
在本申请实施例中，获取待检测的第一遥感图像；利用预设的特征提取网络对第一遥感图像进行特征提取，得到第一遥感图像在多个不同层级的第一特征图像；通过预训练的遥感目标检测模型的第一特征处理单元对多个不同层级的第一特征图像进行特征处理，得到多个不同层级的第一融合特征图像，其中，第一特征处理单元中包括：用于对多个不同层级的第一特征图像进行多尺度特征融合处理的基于非局部感知和注意力机制的目标特征金字塔网络、对目标特征金字塔网络输出的第一浅层融合特征图像进行解耦处理的多尺度特征解耦网络、对目标特征金字塔网络输出的第一中层融合特征图像和第一深层融合特征图像调整多尺度特征比例的自适应分配多尺度特征网络、对多尺度特征解耦网络和自适应分配多尺度特征网络输出的优化融合特征图像进行图像信息分离的过滤无效信息策略网络；通过遥感目标检测模型的第一检测单元对多个不同层级的第一融合特征图像进行检测，得到多个不同层级的第一融合特征图像对应的检测结果，并基于不同层级对应的检测结果确定第一遥感图像的第一多尺度目标。
在上述技术方案中，通过融合非局部感知和注意力机制的目标特征金字塔网络可以捕捉跨尺度的显著性特征，提高多尺度特征的表示能力，减小混叠效应；通过自适应分配多尺度特征网络自适应地修改多尺度特征比例，提升特征融合的灵活性；通过多尺度特征解耦网络消除大尺度目标特征对小尺度目标特征的影响，避免发生浅层融合特征中小尺度物体目标特征漏检；通过过滤无效信息策略网络对处理后的特征图像进行无效信息过滤，抑制背景信息，提升目标检测的准确性。进而解决了遥感目标检测技术无法捕捉跨尺度特征的长距离依赖关系，导致混叠效应验证技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的一种可选的用于实现遥感图像目标检测方法的计算机终端(或移动设备)的硬件结构框图；
图2是根据本申请实施例的一种可选的遥感图像目标检测方法的流程示意图；
图3是根据本申请实施例的一种可选的遥感目标检测模型的结构示意图；
图4是根据本申请实施例的一种可选的非局部双注意网络的结构示意图；
图5是根据本申请实施例的一种可选的网络的嵌入位置感知注意力机制的位置感知注意力网络结构示意图；
图6是根据本申请实施例的一种可选的网络的多尺度特征解耦网络结构示意图；
图7是根据本申请实施例的一种可选的遥感图像目标检测结果的示意图；
图8是根据本申请实施例的一种可选的遥感图像目标检测装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
另外，本申请所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。例如，本系统和相关用户或机构间设置有接口，在获取相关信息之前，需要通过接口向前述的用户或机构发送获取请求，并在接收到前述的用户或机构反馈的同意信息后，获取相关信息。
实施例1
光学遥感图像目标检测本身具备很多检测挑战，比如大量实例的图像，图像幅面大以及背景纹理复杂等难点，同时光学遥感图像在民用和军用领域有着很高的应用价值还没有被彻底挖掘。近年来，随着卫星的光学图像分辨率的提高，可以在遥感图像中识别到更为细小的目标。尽管高分辨率的遥感图像可以提供地面物体的详细信息，但是图像的背景也因此变得更为复杂，这也使得目标图像检测变得愈发困难。特别是诸如多尺度不同种类的目标检测变得更加困难，加上遥感目标多为分布式目标，其分布的位置和距离的不固定，已经成为目标检测领域的一大难题。
近年来，相关技术人员不断在深度卷积神经网络做出努力，在多尺度物体识别方面，大多数检测技术通常是应用特征金字塔网络(Feature Pyramids Networks，FPN)作为其颈部结构来构建多尺度特征。然而，目前人们发现FPN存在一些广为人知的缺点，例如由于小物体本身具有的像素信息较少，因而在下采样过程中小尺度特征信息容易丢失，以及跨尺度融合中的混叠效应等。目前，相关研究已经做了很多尝试来缓解这些问题，但这些改进方法在提高性能方面表现出了功效，但它们的结构仍然不能充分解决混叠效应。
由于语义的差异和特征的错位，直接通过加法的跨尺度融合会导致不协调的特征整合。此外，随着骨干网络的加深跨尺度融合造成的混叠效应也会变得更加严重。而相关研究发现注意力机制可以用来缓解这个问题。然而，注意力机制未能充分考虑通道特征和空间特征的优势，并忽略了跨尺度特征之间的长距离依赖。
因此，为了解决该问题，本申请实施例提供了一种遥感图像目标检测方法实施例，以下详细说明。需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现遥感图像目标检测方法的计算机终端(或移动设备)的硬件结构框图。如图1所示，计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的遥感图像目标检测方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的遥感图像目标检测方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
在上述运行环境下，图2是根据本申请实施例的一种可选的遥感图像目标检测方法的流程示意图，如图2所示，该方法至少包括步骤S202-S208，其中：
步骤S202，获取待检测的第一遥感图像。
在步骤S202提供的技术方案中，遥感图像是通过遥感技术获取的地球表面的图像，因此遥感图像内可能包括如飞机、港口、船舶等遥感目标。遥感图像由于其特殊的结构和成像方式，使得遥感图像内的物体目标具备分布广泛、数量庞大、多样形状和尺寸等特征，因而采用传统的图像处理方式难以准确提取遥感图像内的物体目标。因此，本申请实施例中将通过如下步骤对待检测的第一遥感图像进行目标检测。
步骤S204，利用预设的特征提取网络对第一遥感图像进行特征提取，得到第一遥感图像在多个不同层级的第一特征图像。
在步骤S204提供的技术方案中，上述特征提取网络又可以叫做主干网络，其用于从第一遥感图像内提取多个尺度分辨率下的多层次特征图。
步骤S206，通过预训练的遥感目标检测模型中的第一特征处理单元对多个不同层级的第一特征图像进行特征处理，得到多个不同层级的第一融合特征图像。
在步骤S206提供的技术方案中，上述第一特征处理单元中包括：基于非局部感知和注意力机制的目标特征金字塔网络、多尺度特征解耦网络、自适应分配多尺度特征网络、过滤无效信息策略网络。
具体地，在不考虑语义差异的情况下对多分辨尺度下的特征进行整合时可能会出现混叠效应，而这些混叠效应会对遥感图像内的物体目标的定位和识别产生负面影响，因此，本申请实施例中提出基于非局部感知和注意力机制的改进目标特征金字塔网络(即NDA-FPN)，用于对多个不同层级的第一特征图像进行多尺度特征融合处理，得到多个不同层级的第一融合特征图像，包括：第一浅层融合特征图像、第一中层融合特征图像和第一深层融合特征图像。因此，通过非局部感知和注意力机制的目标特征金字塔网络可以捕捉特征图上的跨尺度长距离依赖关系，获得跨尺度的显著性特征。
在浅层融合特征图像内，大尺度物体的详细特征和小尺度物体的详细特征同时存在，而大尺度物体的详细特征往往更加突出，此外相关物体检测器更关注突出的特征，导致忽略检测浅层融合特征图像内小尺寸物体的详细特征，导致出现漏检的现象发生，因此，为了避免上述问题发生，本申请实施例中提出多尺度特征解耦网络，用于对目标特征金字塔网络输出的第一浅层融合特征图像内的大尺寸物体的特征和小尺寸物体的特征进行解耦处理，从而提高小尺度物体的检测精度。
由于遥感图像内的物体目标具备不同的尺度，而采用固定尺度的特征提取方法无法捕捉所有尺度的物体信息，因此，为了避免上述问题发生，本申请实施例中提出的自适应分配多尺度特征网络，用于对目标特征金字塔网络输出的第一中层融合特征图像和第一深层融合特征图像的多尺度特征比例进行调整，以在不同尺度上提取特征，从而更好地捕捉目标物体的细节和上下文信息，提高物体检测和识别的准确性和鲁棒性。
由于遥感图像具有背景复杂、分布密集等特点，在特征提取过程中可能引入大量的噪声信息，因此，为了提升突出性信息对相关特征的影响，同时减轻无关背景因素的影响，本申请实施例中分别在多尺度特征解耦网络和自适应分配多尺度特征网络输出后连接过滤无效信息策略网络，用以对输出的第一融合特征图像进行图像信息分离，提升目标检测的准确性。
步骤S208，通过遥感目标检测模型的第一检测单元对多个不同层级的第一融合特征图像进行检测，得到多个不同层级的第一融合特征图像对应的检测结果，并基于不同层级对应的检测结果确定第一遥感图像的第一多尺度目标。
在步骤S208提供的技术方案中，通过预训练的遥感目标检测模型中的第一检测单元分别对多个不同层级的第一融合特征图像进行检测，其中，上述第一检测单元是对不同层级的第一融合特征图像进行目标识别和分类，得到第一遥感图像的第一多尺度目标。
基于上述步骤S202至步骤S208所限定的方案，可以获知，在实施例中，获取待检测的第一遥感图像；利用预设的特征提取网络对第一遥感图像进行特征提取，得到第一遥感图像在多个不同层级的第一特征图像；通过预训练的遥感目标检测模型的第一特征处理单元对多个不同层级的第一特征图像进行特征处理，得到多个不同层级的第一融合特征图像，其中，第一特征处理单元中包括：用于对多个不同层级的第一特征图像进行多尺度特征融合处理的基于非局部感知和注意力机制的目标特征金字塔网络、对目标特征金字塔网络输出的第一浅层融合特征图像进行解耦处理的多尺度特征解耦网络、对目标特征金字塔网络输出的第一中层融合特征图像和第一深层融合特征图像调整多尺度特征比例的自适应分配多尺度特征网络、对多尺度特征解耦网络和自适应分配多尺度特征网络输出的优化融合特征图像进行图像信息分离的过滤无效信息策略网络；通过遥感目标检测模型的第一检测单元对多个不同层级的第一融合特征图像进行检测，得到多个不同层级的第一融合特征图像对应的检测结果，并基于不同层级对应的检测结果确定第一遥感图像的第一多尺度目标。
由此可见，通过本申请实施例的融合非局部感知和注意力机制的目标特征金字塔网络可以捕捉跨尺度的显著性特征，提高多尺度特征的表示能力，减小混叠效应；通过自适应分配多尺度特征网络自适应地修改多尺度特征比例，提升特征融合的灵活性；通过多尺度特征解耦网络消除大尺度目标特征对小尺度目标特征的影响，避免发生浅层融合特征中小尺度物体目标特征漏检；通过过滤无效信息策略网络对处理后的特征图像进行无效信息过滤，抑制背景信息，提升目标检测的准确性。进而解决了遥感目标检测技术无法捕捉跨尺度特征的长距离依赖关系，导致混叠效应验证技术问题。
下面将进一步地对上述步骤的实施方式进行详细说明。
作为一种可选的实施方式，在上述步骤S204提供的技术方案中，该方法可以包括：对第一遥感图像进行预处理；利用特征提取网络对处理后的第一遥感图像进行特征提取，得到第一遥感图像在多个不同层级的第一特征图像，其中，第一特征图像中包括：第一浅层特征图像、第一中层特征图像和第一深层特征图像
在该实施例中，由于遥感目标的特征随分辨率尺度的不同而变化，因此，在本申请实施例中首先可以对所获取的待检测第一遥感图像进行预处理，其中，与粗粒操作包括但不仅限于：直方图均衡化提升对比度，滤波法去除噪声影响，通过翻转、旋转、缩放等对图像进行数据增强，以确保遥感图像的质量，增强遥感目标的特征，以提升后续检测准确性。接着，将处理后的第一遥感图像输入至预先设定的特征提取网中，进行不断的局部卷积和池化操作，用以得到第一遥感图像的不同层级的特征图，每经过一次卷积或者是池化处理，都可以得到一张分辨率尺度下的特征图，有助于获得第一遥感目标在多个分辨率尺度下的空间分布信息，从而提高多尺度目标的准确性。
可选地，特征提取网络中包括以下至少之一：LeNet-5网络、AlexNet网络、VGGNet网络、GoogLeNet网络、ResNet网络。例如，本申请实施例中可以选择VGGNet网络作为特征提取网络，其中，VGGNet网络中包括：Conv1_1、Conv3_3以及Conv5_5这三层作为特征提取层输出第一遥感图像的多个第一特征图。
可选地，遥感目标检测模型的训练过程包括如下步骤S1-S4，其中：
步骤S1，获取样本图像集，其中，样本图像集中包括多个第二遥感图像，且每个第二遥感图像内包括至少一个第二遥感目标；
步骤S2，利用特征提取网络对样本图像集内的各个第一遥感图像进行特征提取，得到各个第一遥感图像在多个不同层级的第二特征图像，其中，第二特征图像中包括：第二浅层特征图像、第二中层特征图像和第二深层特征图像；
步骤S3，构建初始遥感目标检测模型，其中，初始遥感目标检测模型中包括：第二特征处理单元和第二检测单元；
步骤S4，基于样本图像集内各个第二遥感图像在多个不同层级的第二特征图像对初始遥感目标检测模型进行训练，得到遥感目标检测模型。
在该实施例中，上述特征提取网络同样可以为LeNet-5网络、AlexNet网络、VGGNet网络、GoogLeNet网络、ResNet网络等中的任意一个。
具体地，图3是根据本申请实施例的一种可选的初始遥感目标检测模型的结构示意图，如图3所示，该初始遥感目标检测模型中包括第二特征处理单元和第二检测单元，而第二检测单元的构建过程包括如下步骤S31-S33，其中：
步骤S31，构建融合非局部感知和双注意力机制的目标特征金字塔网络。
如图3所示，目标特征金字塔网络中包括：浅层特征网络、中层特征网络和深层特征网络。另外，上述非局部感知是指在不同尺度上捕捉到全局和局部的特征信息，而注意力机制包括空间注意力和通道注意力两个双注意力机制，通过融合双注意力机制可以自适应增加不同层次的特征以实现更好地特征融合。也就是说，本申请实施例中的目标特征金字塔是在现有特征金字塔的基础上嵌入非局部双注意力的改进型特征金字塔，由于现有特征金字塔。
图4是根据本申请实施例的一种可选的非局部双注意网络的结构示意图，如图4所示，将主干网络通过1×1卷积层、3×3卷积层以及5×5卷积层输出的多层次特征图串联起来并转化为矢量格式，用作非局部双注意网络的输入，而输入非局部双注意模块的特征图以及权重通过权重共享分布在多个不同层级的多分辨率尺度特征图上，因此，可以将输入非局部双注意网络的输入特征图可以写作如下表达式：
V(XDAW)＝[V(X1W),V(X3W),V(X5W)]
其中，上述N表示空间维度上的像素数(N＝H*W)，C表示通道数，V(·)表示特征图的空间和通道依赖性的矢量化函数，表示非局部特征图，X1,X3,X5分别表示多尺度特征。因此，双注意力机制的三个输入函数可以分别定义为：
其中，θ(·)表示输入的可学习的变换，Q,K,V分别表示查询、键和值，WQ,WK,WV分别表示输入特征图在不同特征层的嵌入矩阵(嵌入矩阵的大小等于特征层内卷积核的大小)，X表示原输入特征图。
在计算非局部注意力权重时，可以将K和Q的矩阵累加可以作为相似度矩阵，其中，相似度矩阵的表达式为：
S＝KQT
其中，QT表示Q的转置矩阵。在得到相似度矩阵S后，可以根据softmax函数来构建一个注意力矩阵，且该注意力矩阵可以表示空间多尺度依赖性和通道依赖性的相关性，因此，注意力矩阵的表达式可以写作：
A＝softmax(S)
接着，对输入特征图内所有位置的权重进行加权，得到加权特征图，并通过对甲醛特征图进行池化处理得到最终的输出特征，其中，输入特征的表达式为：
yi＝sum(αi,j×Vj)
其中，上述Ai,j表示位置i对位置j的注意力权重，sum(A′i)表示该行的所有注意力权重的。因此，通过非局部注意力网络输出的显著性特征Fs可以表示为：
Fs＝LN[shape(V(Y))Wz]+X＝LN(YWz)+X
其中，LN(·)表示层归一化，shape(·)表明特征向量被重塑为 (即原始形状)，矩阵/>表明通过具有非线性激活函数的Conv1_1卷积而获得的权重矩阵这保证特征图的大小不变。
因此，通过融合上述图4所示的非局部双注意网络的目标特征金字塔网络可以通过多层次的卷积和池化操作，提取出不同尺度的特征，从而更好地捕捉到图像中的细节和上下文信息，并使得模型对输入特征图像的尺度变化更加鲁棒，同时可以自动调整感受野的大小，使其适应不同尺度上的目标物体，同时可以学习空间多尺度的非局部依赖性和通道依赖性。
步骤S32，构建融合位置感知注意力机制的自适应分配多尺度特征网络。
具体地，由于遥感图像内不同尺度的目标对多尺度特征有不同程度的依赖，因此，需要通过自适应分配多尺度特征网络进行调整多尺度特征信息的比例。此外，大多数自适应多尺度方法省略了位置信息的重要性，因此，本申请中的通过带有嵌入位置感知注意力机制的自适应分配多尺度特征网络对多尺度特征的比例进行调整。
图5是根据本申请实施例的一种可选的嵌入位置感知注意力机制的位置感知注意力网络的结构示意图，如图5所示。
首先通过位置感知注意力网络的得到显著性特征，且位置注意力权重可以表示为：
其中，和/>分别表示L2归一化和时刻函数，Xk表示目标特征金字塔的跨层特征Gk所产生的一个交叉层特征。由于不同尺度物体的语义信息在不同的网络层中以不同的尺度表示，如较高的层有较大的接受域。因此，在本申请实施例中通过利用跨层语义的优势可以进一步提高多尺度学习的可解释性。这里用/>表示后一层比Xk。因此，变量P的功能是作为注意权重识别各层次之间的空间相关性。
接着，利用位置权重增强原始特征图，并按照如下公式进行自适应分配多尺度信息特征，从而为不同层级的特征图选择最相关的特征：
其中，上述表示Gk的第i行和第j列的值，n和N分别表示多尺度特征的数量，ξ1,ξ2,ξ3分别表示三个层级的空间自适应权重，F′s表示输出特征，S表示骨干网络输出的层数，Gk的通道首先通过Conv1_1卷积进行压缩，以减少工作量。
需要说明的是，同一位置的三个不同层级的多尺度特征的注意力权重之和等于1。且随着位置的变化，三个不同层级的多尺度特征的注意力权重也会发生变化，从而达到多尺度信息比例的自适应调整的目的。
步骤S33，采用门函数构建多尺度特征解耦网络，并采用隶属函数构建过滤无效信息策略网络。
具体地，图6是根据本申请实施例的一种可选的多尺度特征解耦网络的结构示意图，如图6所示，利用门函数解耦大尺度物体目标在浅层特征网络输出的第一融合特征和小尺度物体目标在浅层特征网络输出的第二融合特征，因此，多尺度特征解耦网络的表达式可以写作：
S＝Pavg(Fs)⊙Pmax(Fs)
其中，Fs表示目标特征金字塔输出的中层融合特征，S为包含大尺度物体信息的特征，Pavg(·)和Pmax(·)分别表示平均池化集合和最大池化集合，α表示超参数，⊙表示Hadamard积，Gate表示遏制大尺度信息门，G(·)表示获得空间掩码的函数。通过如下函数可以得到由小尺度物体的特征组成的特征图，其表达式如下：
F′s-1＝H(1-Gate,Fs-1)＝Fs-1⊙(1-Gate)+Fs-1
其中，Fs-1表示目标特征金字塔输出的浅层融合特征，F′s-1表示仅包含小尺度物体的特征的浅层融合特征且H(·)表示获得小尺寸物体的特征的函数。
另外，依据图5所示的过滤无效信息策略网络的结构示意图，可以将输入过滤无效信息策略网络的显著性特征的表达式为：
ΔTs＝Fs-Tbg
Tbg＝Avg(Tw,Fs)
其中，Tw表示可学习的权重张量，由于可以一个场景的背景被认为是其边界像素，因此，可以将边缘值初始化为1，其他区域的值为0，故在本申请实施例中将Tw的边缘值初始化为1，其他区域的值为0。Avg(·)表示一个平均汇集操作以获得背景信息，η表示超参数，Fs表示输入特征图，Tbg表示图像背景信息，ΔTs表示Fs和Tbg的差值，f(·)表示隶属函数，其可以表示输入特征图Fs中每个元素属于前景的成员级别。此外，突出的显著性特征是通过f(ΔT)获得，因此，最终的特征图可以表示为：
其中，表示逐元素求和。
作为一种可选的实施方式，在上述步骤S4提供的技术方案中，该方法可以包括如下步骤S41-S43，其中：
步骤S41，对于每个第二遥感图像，将第二遥感图像在多个不同层级的第二特征图像输入至初始遥感目标检测模型，得到初始遥感目标检测模型输出的第二多尺度目标；
步骤S42，依据样本图像集内的第二遥感目标与第二多尺度目标构建目标损失函数，其中，目标损失函数用于反映第二遥感目标和第二多尺度目标之间的差异；
步骤S43，基于目标损失函数调整初始遥感目标检测模型的模型参数，得到遥感目标检测模型。
进一步地，对于步骤S41所提供的方案，该方法可以包括：采用目标特征金字塔网络对多个不同层级的第二特征图像进行多尺度特征融合处理，分别得到第二浅层特征图像对应的第二浅层融合特征图像、第二中层特征图像对应的第二中层融合特征图像以及第二深层特征图像对应的第二深层融合特征图像；将第二浅层融合特征图像输入至多尺度特征解耦网络，得到第三浅层融合特征图像，并分别将第二中层融合特征图像和第二深层融合特征图像输入至添加自适应多尺度信息特征网络，得到第三中层融合特征图像和第三深层融合特征图像；将第三浅层融合特征图像、第三中层融合特征图像和第三深层融合特征图像分别输入至对应的过滤无效信息策略网络中，得到第二浅层融合特征图像对应的第一图像信息、第二中层融合特征图像对应的第二图像信息以及第二深层融合特征图像对应的第三图像信息，其中，第一图像信息、第二图像信息和第三图像信息中包括：前景信息或者背景信息；将第一图像信息、第二图像信息以及第三图像信息分别输入至对应层级的第二检测单元，得到不同层级的第二检测单元输出的浅层特征检测结果、中层特征检测结果和深层特征检测结果；基于不同层级的第二检测单元输出的浅层特征检测结果、中层特征检测结果和深层特征检测结果确定第二遥感图像的第二多尺度目标。
具体地，如图3所示，首先将主干网络输出的第二浅层特征图像、第二中层特征图像、第二深层特征图像分别输入至融合非局部感知和注意力机制的目标特征金字塔内，得到浅层特征网络输出的第二浅层融合特征图像、中层特征网络输出的第二中层融合特征图像以及深层特征网络输出的第二深层融合特征图像；接着，将第二浅层融合特征图像输入至多尺度特征解耦网络得到第三浅层融合特征图像，并分别将第二中层融合特征图像和第二深层融合特征图像输入至对应的融合位置注意力机制的自适应多尺度信息特征网络中，分别得到对应的第三中层融合特征图像和第三深层融合特征图像；然后，将所得到第三浅层融合特征图像、第三中层融合特征图像和第三深层融合特征图像分别输入至过滤无效信息策略网络中，确定各融合特征图像的图像信息为前景图像还是背景图像，得到各自的图像信息；将所得的图像信息分别输入至第二检测单元(即检测头)确定不同层级的融合特征图像内的检测结果，并基于检测结果确定输入遥感目标检测模型内的遥感图像的多尺度目标。
进一步地，在得到初始遥感目标检测模型输出的第二多尺度目标后，可以根据第二多尺度目标与样本图像集内各第二遥感图像内的第二遥感目标的差异，调整初始遥感目标检测模型的模型参数进行调整，得到训练完成的遥感目标检测模型。
为了确定本申请实施例所提供的遥感目标检测模型的检测准确性，下面将应用本申请实施例的遥感目标检测模型分别在NWPU VHR-10和DIOR内校验其检测性能，其中，DIOR数据集包括23463幅图像和190288个物体实例，且其包含20个类别，包括飞机(AL)、机场(AT)、棒球场(BF)、篮球场(BC)、桥梁(B)、烟囱(C)、水坝(D)、高速公路服务区(ESA)、高速公路收费站(ETS)、高尔夫球场(GC)、地面跑道(GTF)、港口(HB)、立交桥(O)、船舶(S)、体育场(SD)、储罐(ST)、网球场(TC)、火车站(TS)、车辆(V)和风车(WM)，因此可以将该数据集分为训练集(5862张)、验证集(5863张)和测试集(11738张)。而NWPU VHR-10数据集包括总共800张图像，其中650张图像有物体，其余150张图像没有物体，且其包括10个物体类别，包括飞机(AP)、棒球场(BD)、篮球场(BC)、桥梁(BG)、地面跑道(GTF)、港口(HB)、船舶(SP)、储罐(ST)、网球场(TC)和车辆(VC)。该数据集包括总共800张图片，其中650张图片有物体，其余150张图片没有物体，因此可以将该数据集被分为80％的训练集和20％的测试集。
下面表1为采用本申请实施例的遥感目标检测模型(CSGNDA-Net)与相关遥感目标检测方法对DIOR数据集和NWPU VHR-10数据集的检测结果对比，其中，通过mAP(meanAverage Precision，表示平均精度)和FPS(Frames Per Second，每秒处理帧数)两个参数对检测性能进行分析。
表1
通过上述表1不难发现，通过本申请实施例的遥感目标检测模型可以确保mAP高达71.6％，且推断速度为12帧/秒，证实了CSGNDA-Net的优越性。其中，图7是根据本申请实施例的一种可选的遥感图像目标检测结果的示意图，可以看出本申请实施例采用的CSGNDA-Net能够对飞机和船舶进行完整和精确的检测。
实施例2
基于本申请实施例1，还提供了一种遥感图像目标检测装置的实施例，该装置运行时执行上述实施例的上述遥感图像目标检测方法。图8是根据本申请实施例的一种可选的遥感图像目标检测装置的结构示意图，如图8所示，该遥感图像目标检测装置中至少包括获取模块81，特征提取模块82，特征处理模块83和目标检测模块84，其中：
获取模块81，用于获取待检测的第一遥感图像；
特征提取模块82，用于利用预设的特征提取网络对第一遥感图像进行特征提取，得到第一遥感图像在多个不同层级的第一特征图像；
特征处理模块83，用于通过预训练的遥感目标检测模型的第一特征处理单元对多个不同层级的第一特征图像进行特征处理，得到多个不同层级的第一融合特征图像，其中，第一特征处理单元中包括：用于对多个不同层级的第一特征图像进行多尺度特征融合处理的基于非局部感知和注意力机制的目标特征金字塔网络、对目标特征金字塔网络输出的第一浅层融合特征图像进行解耦处理的多尺度特征解耦网络、对目标特征金字塔网络输出的第一中层融合特征图像和第一深层融合特征图像调整多尺度特征的比例的自适应多尺度信息特征网络、对多尺度特征解耦网络和自适应多尺度信息特征网络输出的融合特征图像进行图像信息分离的过滤无效信息策略网络；
目标检测模块84，用于通过遥感目标检测模型的第一检测单元对多个不同层级的第一融合特征图像进行检测，得到多个不同层级的第一融合特征图像对应的检测结果，并基于不同层级对应的检测结果确定第一遥感图像的第一多尺度目标。
需要说明的是，上述遥感图像目标检测装置中的各个模块可以是程序模块(例如是实现某种特定功能的程序指令集合)，也可以是硬件模块，对于后者，其可以表现为以下形式，但不限于此：上述各个模块的表现形式均为一个处理器，或者，上述各个模块的功能通过一个处理器实现。
实施例3
根据本申请实施例，还提供了一种非易失性存储介质，该非易失性存储介质中存储有程序，其中，在程序运行时控制非易失性存储介质所在设备执行实施例1中的遥感图像目标检测方法。
可选地，非易失性存储介质所在设备通过运行该程序执行实现以下步骤：获取待检测的第一遥感图像；利用预设的特征提取网络对所述第一遥感图像进行特征提取，得到所述第一遥感图像在多个不同层级的第一特征图像；通过预训练的遥感目标检测模型的第一特征处理单元对多个不同层级的所述第一特征图像进行特征处理，得到多个不同层级的第一融合特征图像，其中，所述第一特征处理单元中包括：用于对多个不同层级的所述第一特征图像进行多尺度特征融合处理的基于非局部感知和注意力机制的目标特征金字塔网络、对所述目标特征金字塔网络输出的第一浅层融合特征图像进行解耦处理的多尺度特征解耦网络、对所述目标特征金字塔网络输出的第一中层融合特征图像和第一深层融合特征图像调整多尺度特征比例的自适应多尺度信息特征网络、对所述多尺度特征解耦网络和所述自适应分配多尺度特征网络输出的优化融合特征图像进行图像信息分离的过滤无效信息策略网络；通过所述遥感目标检测模型的第一检测单元对多个不同层级的所述第一融合特征图像进行检测，得到多个不同层级的所述第一融合特征图像对应的检测结果，并基于不同层级对应的所述检测结果确定所述第一遥感图像的第一多尺度目标。
根据本申请实施例，还提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行实施例1中的遥感图像目标检测方法。
可选地，程序运行时执行实现以下步骤：获取待检测的第一遥感图像；利用预设的特征提取网络对所述第一遥感图像进行特征提取，得到所述第一遥感图像在多个不同层级的第一特征图像；通过预训练的遥感目标检测模型的第一特征处理单元对多个不同层级的所述第一特征图像进行特征处理，得到多个不同层级的第一融合特征图像，其中，所述第一特征处理单元中包括：用于对多个不同层级的所述第一特征图像进行多尺度特征融合处理的基于非局部感知和注意力机制的目标特征金字塔网络、对所述目标特征金字塔网络输出的第一浅层融合特征图像进行解耦处理的多尺度特征解耦网络、对所述目标特征金字塔网络输出的第一中层融合特征图像和第一深层融合特征图像调整多尺度特征比例的自适应多尺度信息特征网络、对所述多尺度特征解耦网络和所述自适应分配多尺度特征网络输出的优化融合特征图像进行图像信息分离的过滤无效信息策略网络；通过所述遥感目标检测模型的第一检测单元对多个不同层级的所述第一融合特征图像进行检测，得到多个不同层级的所述第一融合特征图像对应的检测结果，并基于不同层级对应的所述检测结果确定所述第一遥感图像的第一多尺度目标。
根据本申请实施例，还提供了一种电子设备，该电子设备包括一个或多个处理器；存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现用于运行程序，其中，程序被设置为运行时执行上述实施例1中的遥感图像目标检测方法。
可选地，处理器被配置为通过计算机程序执行实现以下步骤：获取待检测的第一遥感图像；利用预设的特征提取网络对所述第一遥感图像进行特征提取，得到所述第一遥感图像在多个不同层级的第一特征图像；通过预训练的遥感目标检测模型的第一特征处理单元对多个不同层级的所述第一特征图像进行特征处理，得到多个不同层级的第一融合特征图像，其中，所述第一特征处理单元中包括：用于对多个不同层级的所述第一特征图像进行多尺度特征融合处理的基于非局部感知和注意力机制的目标特征金字塔网络、对所述目标特征金字塔网络输出的第一浅层融合特征图像进行解耦处理的多尺度特征解耦网络、对所述目标特征金字塔网络输出的第一中层融合特征图像和第一深层融合特征图像调整多尺度特征比例的自适应多尺度信息特征网络、对所述多尺度特征解耦网络和所述自适应分配多尺度特征网络输出的优化融合特征图像进行图像信息分离的过滤无效信息策略网络；通过所述遥感目标检测模型的第一检测单元对多个不同层级的所述第一融合特征图像进行检测，得到多个不同层级的所述第一融合特征图像对应的检测结果，并基于不同层级对应的所述检测结果确定所述第一遥感图像的第一多尺度目标。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种遥感图像目标检测方法，其特征在于，包括：
获取待检测的第一遥感图像；
利用预设的特征提取网络对所述第一遥感图像进行特征提取，得到所述第一遥感图像在多个不同层级的第一特征图像；
通过预训练的遥感目标检测模型的第一特征处理单元对多个不同层级的所述第一特征图像进行特征处理，得到多个不同层级的第一融合特征图像，其中，所述第一特征处理单元中包括：用于对多个不同层级的所述第一特征图像进行多尺度特征融合处理的基于非局部感知和注意力机制的目标特征金字塔网络、对所述目标特征金字塔网络输出的第一浅层融合特征图像进行解耦处理的多尺度特征解耦网络、对所述目标特征金字塔网络输出的第一中层融合特征图像和第一深层融合特征图像调整多尺度特征比例的自适应多尺度信息特征网络、对所述多尺度特征解耦网络和所述自适应分配多尺度特征网络输出的优化融合特征图像进行图像信息分离的过滤无效信息策略网络；
通过所述遥感目标检测模型的第一检测单元对多个不同层级的所述第一融合特征图像进行检测，得到多个不同层级的所述第一融合特征图像对应的检测结果，并基于不同层级对应的所述检测结果确定所述第一遥感图像的第一多尺度目标。
2.根据权利要求1所述的方法，其特征在于，利用预设的特征提取网络对所述遥感图像进行特征提取，得到所述遥感图像在多个不同层级的第一特征图像，包括：
对所述第一遥感图像进行预处理；
利用所述特征提取网络对处理后的所述第一遥感图像进行特征提取，得到所述第一遥感图像在多个不同层级的第一特征图像，其中，所述第一特征图像中包括：第一浅层特征图像、第一中层特征图像和第一深层特征图像。
3.根据权利要求1所述的方法，其特征在于，所述遥感目标检测模型的训练过程包括：
获取样本图像集，其中，所述样本图像集中包括多个第二遥感图像，且每个所述第二遥感图像内包括至少一个第二遥感目标；
利用所述特征提取网络对所述样本图像集内的各个所述第一遥感图像进行特征提取，得到各个所述第一遥感图像在多个不同层级的第二特征图像，其中，所述第二特征图像中包括：第二浅层特征图像、第二中层特征图像和第二深层特征图像；
构建初始遥感目标检测模型，其中，所述初始遥感目标检测模型中包括：第二特征处理单元和第二检测单元；
基于所述样本图像集内各个所述第二遥感图像在多个不同层级的第二特征图像对所述初始遥感目标检测模型进行训练，得到所述遥感目标检测模型。
4.根据权利要求3所述的方法，其特征在于，所述第二特征处理单元的构建过程包括：
构建融合非局部感知和双注意力机制的所述目标特征金字塔网络，其中，所述目标特征金字塔模块中包括：浅层特征网络、中层特征网络和深层特征网络；
构建融合位置感知注意力机制的所述自适应分配多尺度特征网络；
采用门函数构建所述多尺度特征解耦网络，并采用隶属函数构建所述过滤无效信息策略网络。
5.根据权利要求3所述的方法，其特征在于，基于所述样本图像集内各个所述第二遥感图像在多个不同层级的第二特征图像对所述初始遥感目标检测模型进行训练，得到所述遥感目标检测模型，包括：
对于每个所述第二遥感图像，将所述第二遥感图像在多个不同层级的所述第二特征图像输入至所述初始遥感目标检测模型，得到所述初始遥感目标检测模型输出的第二多尺度目标；
依据所述样本图像集内的所述第二遥感目标与所述第二多尺度目标构建目标损失函数，其中，所述目标损失函数用于反映所述第二遥感目标和所述第二多尺度目标之间的差异；
基于所述目标损失函数调整所述初始遥感目标检测模型的模型参数，得到所述遥感目标检测模型。
6.根据权利要求3所述的方法，其特征在于，将所述第二遥感图像在多个不同层级的所述第二特征图像输入至所述初始遥感目标检测模型，得到所述初始遥感目标检测模型输出的第二多尺度目标，包括：
采用所述目标特征金字塔网络对多个不同层级的所述第二特征图像进行多尺度特征融合处理，分别得到所述第二浅层特征图像对应的第二浅层融合特征图像、所述第二中层特征图像对应的第二中层融合特征图像以及所述第二深层特征图像对应的第二深层融合特征图像；
将所述第二浅层融合特征图像输入至所述多尺度特征解耦网络，得到第三浅层融合特征图像，并分别将所述第二中层融合特征图像和所述第二深层融合特征图像输入至添加所述自适应分配多尺度特征网络，得到第三中层融合特征图像和第三深层融合特征图像；
将所述第三浅层融合特征图像、所述第三中层融合特征图像和所述第三深层融合特征图像分别输入至对应的所述过滤无效信息策略网络中，得到所述第二浅层融合特征图像对应的第一图像信息、所述第二中层融合特征图像对应的第二图像信息以及所述第二深层融合特征图像对应的第三图像信息，其中，所述第一图像信息、所述第二图像信息和所述第三图像信息中包括：前景信息或者背景信息；
将所述第一图像信息、所述第二图像信息以及所述第三图像信息分别输入至对应层级的所述第二检测单元，得到不同层级的所述第二检测单元输出的浅层特征检测结果、中层特征检测结果和深层特征检测结果；
基于不同层级的所述第二检测单元输出的所述浅层特征检测结果、所述中层特征检测结果和所述深层特征检测结果确定所述第二遥感图像的第二多尺度目标。
7.根据权利要求1所述的方法，其特征在于，所述特征提取网络中包括以下至少之一：LeNet-5网络、AlexNet网络、VGGNet网络、GoogLeNet网络、ResNet网络。
8.一种遥感图像目标检测装置，其特征在于，包括：
获取模块，用于获取待检测的第一遥感图像；
特征提取模块，用于利用预设的特征提取网络对所述第一遥感图像进行特征提取，得到所述第一遥感图像在多个不同层级的第一特征图像；
特征处理模块，用于通过预训练的遥感目标检测模型的第一特征处理单元对多个不同层级的所述第一特征图像进行特征处理，得到多个不同层级的第一融合特征图像，其中，所述第一特征处理单元中包括：用于对多个不同层级的所述第一特征图像进行多尺度特征融合处理的基于非局部感知和注意力机制的目标特征金字塔网络、对所述目标特征金字塔网络输出的第一浅层融合特征图像进行解耦处理的多尺度特征解耦网络、对所述目标特征金字塔网络输出的第一中层融合特征图像和第一深层融合特征图像调整多尺度特征的比例的自适应分配多尺度特征网络、对所述多尺度特征解耦网络和所述自适应分配多尺度特征网络输出的融合特征图像进行图像信息分离的过滤无效信息策略网络；
目标检测模块，用于通过所述遥感目标检测模型的第一检测单元对多个不同层级的所述第一融合特征图像进行检测，得到多个不同层级的所述第一融合特征图像对应的检测结果，并基于不同层级对应的所述检测结果确定所述第一遥感图像的第一多尺度目标。
9.一种非易失性存储介质，其特征在于，所述非易失性存储介质中存储有计算机程序，其中，所述非易失性存储介质所在设备通过运行所述计算机程序执行权利要求1至7中任意一项所述遥感图像目标检测方法。
10.一种电子设备，其特征在于，包括：存储器和处理器，所述处理器用于运行存储在所述存储器中的程序，其中，所述程序运行时执行权利要求1至7中任意一项所述的遥感图像目标检测方法。
CN202311049842.1A 2023-08-18 2023-08-18 遥感图像目标检测方法、装置、存储介质和电子设备 Pending CN117058548A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311049842.1A CN117058548A (zh) 2023-08-18 2023-08-18 遥感图像目标检测方法、装置、存储介质和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311049842.1A CN117058548A (zh) 2023-08-18 2023-08-18 遥感图像目标检测方法、装置、存储介质和电子设备

Publications (1)

Publication Number Publication Date
CN117058548A true CN117058548A (zh) 2023-11-14

Family

ID=88653134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311049842.1A Pending CN117058548A (zh) 2023-08-18 2023-08-18 遥感图像目标检测方法、装置、存储介质和电子设备

Country Status (1)

Country Link
CN (1) CN117058548A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593516A (zh) * 2024-01-18 2024-02-23 苏州元脑智能科技有限公司 一种目标检测方法、装置、设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593516A (zh) * 2024-01-18 2024-02-23 苏州元脑智能科技有限公司 一种目标检测方法、装置、设备及存储介质
CN117593516B (zh) * 2024-01-18 2024-03-22 苏州元脑智能科技有限公司 一种目标检测方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Zhang et al. Remote sensing image spatiotemporal fusion using a generative adversarial network
Wang et al. Multi-view stereo in the deep learning era: A comprehensive review
Gao et al. Salient object detection in the distributed cloud-edge intelligent network
Workman et al. A unified model for near and remote sensing
Mnih et al. Learning to label aerial images from noisy data
CN105046235B (zh) 车道线的识别建模方法和装置、识别方法和装置
CN111402130B (zh) 数据处理方法和数据处理装置
Cho et al. Deep monocular depth estimation leveraging a large-scale outdoor stereo dataset
CN101834986A (zh) 成像装置、运动体检测方法、运动体检测电路和程序
CN109741240A (zh) 一种基于层次聚类的多平面图像拼接方法
Xie et al. A binocular vision application in IoT: Realtime trustworthy road condition detection system in passable area
CN102842134A (zh) 基于sar图像的快速景象匹配方法
CN113724379B (zh) 融合图像与激光点云的三维重建方法及装置
CN117058548A (zh) 遥感图像目标检测方法、装置、存储介质和电子设备
Cheng et al. Learning to refine depth for robust stereo estimation
Wu et al. Real‐time running detection system for UAV imagery based on optical flow and deep convolutional networks
CN116563583A (zh) 一种图像匹配的方法、地图信息的更新方法以及相关装置
Mirsky Ipatch: A remote adversarial patch
Dong et al. A cloud detection method for GaoFen-6 wide field of view imagery based on the spectrum and variance of superpixels
Liang et al. High resolution representation‐based Siamese network for remote sensing image change detection
Won et al. Learning depth from focus in the wild
Wang et al. Investigating the influence of registration errors on the patch-based spatio-temporal fusion method
CN113706550A (zh) 图像场景识别和模型训练方法、装置和计算机设备
CN111091089B (zh) 一种人脸图像处理方法、装置、电子设备及存储介质
Zhang et al. Learning nonlocal quadrature contrast for detection and recognition of infrared rotary-wing UAV targets in complex background

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination