CN117315499A - 一种卫星遥感图像目标检测方法及系统 - Google Patents

一种卫星遥感图像目标检测方法及系统 Download PDF

Info

Publication number
CN117315499A
CN117315499A CN202311338707.9A CN202311338707A CN117315499A CN 117315499 A CN117315499 A CN 117315499A CN 202311338707 A CN202311338707 A CN 202311338707A CN 117315499 A CN117315499 A CN 117315499A
Authority
CN
China
Prior art keywords
image
target detection
scale
remote sensing
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311338707.9A
Other languages
English (en)
Inventor
熊紫倩
邓德位
邵将
吴汉宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
709th Research Institute of CSSC
Original Assignee
709th Research Institute of CSSC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 709th Research Institute of CSSC filed Critical 709th Research Institute of CSSC
Priority to CN202311338707.9A priority Critical patent/CN117315499A/zh
Publication of CN117315499A publication Critical patent/CN117315499A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种卫星遥感图像目标检测方法及系统，包括：获取待检测的卫星遥感图像；将卫星遥感图像的各分块图像输入至目标检测模型，获得目标检测模型输出的各分块图像的目标检测结果；所述目标检测模型用于对各分块图像进行多尺度特征提取，获得多尺度的特征图，将多尺度的特征图进行特征融合，获得多尺度的融合特征图，将多尺度的融合特征图分别进行自注意力提取，获得多尺度的增强特征图，并基于多尺度的增强特征图进行目标检测，获得各分块图像的目标检测结果；融合各分块图像的目标检测结果，获得所述卫星遥感图像的目标检测结果。本发明提高了目标检测效率，极大提升了大画幅卫星遥感图像的小目标检测精度。

Description

一种卫星遥感图像目标检测方法及系统
技术领域
本发明属于目标检测技术领域，更具体地，涉及一种卫星遥感图像目标检测方法及系统。
背景技术
近年来，随着遥感平台和传感器技术的高速发展，遥感图像的分辨率也越来越高，遥感图像的种类和数量也越来越丰富。遥感图像目标检测能够从大画幅图像中识出感兴趣目标的类别及其位置信息等,对城市规划、土地利用、侦察等领域具有重要的应用价值。如何充分利用遥感数据进行更加高效以及精确的目标识别是遥感图像解析应用的研究重点。
随着深度学习技术的发展，越来越多的目标检测方法涌现出来，包括两阶段的检测算法如RCNN，Fast-RCNN、Mask R-CNN，单阶段检测器SSD以及无锚点的目标检测方法如DeNet、CornerNet、FSAF等。这些深度学习检测模型在多个开源目标数据集上的检测效果已经远远超过传统算法。然而随着遥感图像分辨率越来越高，同等视野内的遥感图像画幅也越来越大，地面景物内容也越来越复杂。而卫星遥感图像上的大部分待检测目标相对较小，这种小尺寸导致目标的细节不够明显，难以准确地区分目标和背景，从而极大增加了检测的难度，导致现有技术对于大画幅卫星遥感图像的目标检测精度仍然较差。
发明内容
针对现有技术的缺陷，本发明的目的在于提供一种卫星遥感图像目标检测方法及系统，旨在解决现有技术对于大画幅卫星遥感图像的目标检测精度较差的问题。
为实现上述目的，第一方面，本发明提供了一种卫星遥感图像目标检测方法，包括以下步骤：
步骤S101，获取待检测的卫星遥感图像；
步骤S102，将卫星遥感图像的各分块图像输入至目标检测模型，获得目标检测模型输出的各分块图像的目标检测结果；所述目标检测模型用于对各分块图像进行多尺度特征提取，获得多尺度的特征图，将多尺度的特征图进行特征融合，获得多尺度的融合特征图，将多尺度的融合特征图分别进行自注意力提取，获得多尺度的增强特征图，并基于多尺度的增强特征图进行目标检测，获得各分块图像的目标检测结果；所述目标检测模型基于样本卫星遥感图像的各样本分块图像的正负样本训练得到；
步骤S103，融合各分块图像的目标检测结果，获得所述卫星遥感图像的目标检测结果。
在一个可选的示例中，对各分块图像进行多尺度特征提取，获得多尺度的特征图，包括：
对各分块图像进行多尺度特征提取，获得多尺度的初始特征图；
对于多尺度中每一尺度，对初始特征图进行通道注意力操作，获得通道注意力图，并与初始特征图融合得到通道注意力加权图；以及，对通道注意力加权图进行空间注意力操作，获得空间注意力图，并与通道注意力加权图融合得到特征图。
在一个可选的示例中，所述样本卫星遥感图像的任一样本分块图像的正负样本基于如下步骤获取得到：
通过聚类算法生成所述任一样本分块图像的多个锚框；
计算每个锚框与其对应的真实框的中心距离，并选取中心距离最小的预设数量个锚框作为候选锚框；
计算每个候选锚框与其对应的真实框之间的交并比，并将交并比超过交并比阈值的候选锚框作为所述任一样本分块图像的正样本，其余候选锚框作为所述任一样本分块图像的负样本。
在一个可选的示例中，所述交并比阈值具体基于每个候选锚框与其对应的真实框之间的交并比的均值和标准差确定。
在一个可选的示例中，所述卫星遥感图像的各分块图像具体是使用重叠滑动窗口对卫星遥感图像进行分割获得的。
第二方面，本发明提供了一种卫星遥感图像目标检测系统，包括：
图像获取模块，用于获取待检测的卫星遥感图像；
目标检测模块，用于将卫星遥感图像的各分块图像输入至目标检测模型，获得目标检测模型输出的各分块图像的目标检测结果；所述目标检测模型用于对各分块图像进行多尺度特征提取，获得多尺度的特征图，将多尺度的特征图进行特征融合，获得多尺度的融合特征图，将多尺度的融合特征图分别进行自注意力提取，获得多尺度的增强特征图，并基于多尺度的增强特征图进行目标检测，获得各分块图像的目标检测结果；所述目标检测模型基于样本卫星遥感图像的各样本分块图像的正负样本训练得到；
结果融合模块，用于融合各分块图像的目标检测结果，获得所述卫星遥感图像的目标检测结果。
在一个可选的示例中，所述目标检测模块中目标检测模型具体基于如下步骤获取多尺度的特征图：
对各分块图像进行多尺度特征提取，获得多尺度的初始特征图；
对于多尺度中每一尺度，对初始特征图进行通道注意力操作，获得通道注意力图，并与初始特征图融合得到通道注意力加权图；以及，对通道注意力加权图进行空间注意力操作，获得空间注意力图，并与通道注意力加权图融合得到特征图。
在一个可选的示例中，所述样本卫星遥感图像的任一样本分块图像的正负样本基于如下步骤获取得到：
通过聚类算法生成所述任一样本分块图像的多个锚框；
计算每个锚框与其对应的真实框的中心距离，并选取中心距离最小的预设数量个锚框作为候选锚框；
计算每个候选锚框与其对应的真实框之间的交并比，并将交并比超过交并比阈值的候选锚框作为所述任一样本分块图像的正样本，其余候选锚框作为所述任一样本分块图像的负样本。
在一个可选的示例中，所述交并比阈值具体基于每个候选锚框与其对应的真实框之间的交并比的均值和标准差确定。
在一个可选的示例中，所述目标检测模块中卫星遥感图像的各分块图像具体是使用重叠滑动窗口对卫星遥感图像进行分割获得的。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效果：
本发明提供一种卫星遥感图像目标检测方法及系统，通过将卫星遥感图像分割后获得的各分块图像输入至目标检测模型，由目标检测模型先对各分块图像进行多尺度特征提取和特征融合，获得多尺度的融合特征图，再将多尺度的融合特征图分别进行自注意力提取，获得多尺度的增强特征图，最后基于多尺度的增强特征图进行目标检测，获得各分块图像的目标检测结果，并融合得到卫星遥感图像最终的目标检测结果，从而提高了目标检测效率，极大提升了大画幅卫星遥感图像的小目标检测精度。
附图说明
图1是本发明实施例提供的卫星遥感图像目标检测方法的流程示意图之一；
图2是本发明实施例提供的卫星遥感图像目标检测方法的流程示意图之二；
图3是本发明实施例提供的轻量级注意力模块架构图；
图4是本发明实施例提供的融合上下文信息的自注意力模块架构图；
图5是本发明实施例提供的目标检测模型的结构图；
图6是本发明实施例提供的卫星遥感图像目标检测系统的架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
相较于传统光学图像，遥感图像具有图像尺寸大、覆盖区域大、数据量大、地面景物内容复杂、目标尺寸较小、目标密集、目标多尺度共存、相互遮掩等特点，给目标检测任务带来了较大的难度和挑战。
针对上述大画幅卫星遥感图像目标检测的难点，本发明提供一种卫星遥感图像目标检测方法。图1是本发明实施例提供的卫星遥感图像目标检测方法的流程示意图之一，如图1所示，该方法包括以下步骤：
步骤S101，获取待检测的卫星遥感图像；
步骤S102，将卫星遥感图像的各分块图像输入至目标检测模型，获得目标检测模型输出的各分块图像的目标检测结果；所述目标检测模型用于对各分块图像进行多尺度特征提取，获得多尺度的特征图，将多尺度的特征图进行特征融合，获得多尺度的融合特征图，将多尺度的融合特征图分别进行自注意力提取，获得多尺度的增强特征图，并基于多尺度的增强特征图进行目标检测，获得各分块图像的目标检测结果；所述目标检测模型基于样本卫星遥感图像的各样本分块图像的正负样本训练得到；
步骤S103，融合各分块图像的目标检测结果，获得所述卫星遥感图像的目标检测结果。
具体地，待检测的卫星遥感图像即需要进行目标检测的卫星遥感图像。此处，本发明实施例对于卫星遥感图像中的目标类型不作具体限定，例如可以是飞机、装备、汽车、飞机场、建筑物等，本发明可以实现单目标检测，也可以实现多目标检测。
在获取到待检测的卫星遥感图像之后，可以对卫星遥感图像进行分割，获得卫星遥感图像的各分块图像，再将各分块图像输入到目标检测模型中，获得目标检测模型输出的各分块图像的目标检测结果，从而提高目标检测效率，且有助于挖掘局部特征。在此基础上，再融合各分块图像的目标检测结果，从而获得卫星遥感图像最终准确的目标检测结果。
其中，目标检测模型可以基于YOLOv5模型进行构建，并在Neck网络后添加了一种融合上下文信息的自注意力模块(CoT，Contextual Transfomer)，以实现提取2D特征图的全局信息，提升模型的小目标检测精度。目标检测模型首先对各分块图像进行多尺度特征提取，将提取得到的多尺度的特征图输入至Neck网络进行特征融合。针对Neck网络输出的多尺度的融合特征图，利用CoT模块对每个尺度的融合特征图进行自注意力提取，获得每个尺度的增强特征图，以供后续进行目标检测时能够帮助模型更加关注重要的图像区域，提升对于小目标的检测精度。
目标检测结果可以包括目标类别、目标检测框位置、置信度分数。对于目标检测框，融合的方式具体可以是，先将每个分块图像的目标检测框进行坐标平移变换，将其转换到原来的卫星遥感图像坐标系中，再针对每个分块图像检测出来的目标框可能存在的冗余框，通过非极大值抑制，获得得分最高的单一检测框，作为最终的目标检测框。
另外，在执行步骤S102之前，还需要预先收集样本卫星遥感图像，并对样本卫星遥感图像进行分割获得样本卫星遥感图像的各样本分块图像，将各样本分块图像中目标区域作为正样本，背景区域作为负样本，应用正负样本集合对初始的目标检测模型进行训练，最终获得训练好的目标检测模型。
需要说明的是，尺寸较小的特征图缺乏颜色空间等浅层特征信息，尺寸较大的特征图缺乏深度语义信息，Neck网络进行特征融合之后，每个融合特征图里的信息既包含深层信息又包含浅层信息，有助于提升模型的小目标检测精度，输出的多尺度的融合特征图可以用于不同尺度的目标检测，减小目标尺度对于模型精度带来的影响。在此基础上，在Neck网络后添加了融合上下文信息的CoT模块，有效提取特征图的全局信息，进一步增强特征图的特征表示能力，提升模型的小目标检测精度。
本发明实施例提供的方法，通过将卫星遥感图像分割后获得的各分块图像输入至目标检测模型，由目标检测模型先对各分块图像进行多尺度特征提取和特征融合，获得多尺度的融合特征图，再将多尺度的融合特征图分别进行自注意力提取，获得多尺度的增强特征图，最后基于多尺度的增强特征图进行目标检测，获得各分块图像的目标检测结果，并融合得到卫星遥感图像最终的目标检测结果，从而提高了目标检测效率，极大提升了大画幅卫星遥感图像的小目标检测精度。
基于上述实施例，对各分块图像进行多尺度特征提取，获得多尺度的特征图，包括：
对各分块图像进行多尺度特征提取，获得多尺度的初始特征图；
对于多尺度中每一尺度，对初始特征图进行通道注意力操作，获得通道注意力图，并与初始特征图融合得到通道注意力加权图；以及，对通道注意力加权图进行空间注意力操作，获得空间注意力图，并与通道注意力加权图融合得到特征图。
具体地，在通过主干网络backbone进行初始的多尺度特征提取之后，可以将每一尺度的初始特征图输入到轻量级的局部注意力模块(CBAM，Convolutional BlockAttention Module)中，以进一步减小背景噪声对于小目标识别的影响。CBAM模块首先通过考虑输入的初始特征图F的通道间关系，学习生成一个通道注意力图，再将计算得到的通道注意力图与输入F对应相乘，输出通道注意力加权图F′；接着，通过考虑F′的空间局部关系，学习生成一个空间注意力图，再将计算得到的空间注意力图与输入F′对应相乘，从而得到该尺度对应的最终的特征图F″，从而使得多尺度的特征图融合了空间特征和通道特征。在此基础上再进行特征融合和自注意力提取，能够有助于全面探索和利用更广泛的通道特征和空间上下文特征，进一步提升模型对于小目标的检测能力。
基于上述任一实施例，在获得多尺度的特征图之后，可以将多尺度的特征图输入至Neck网络中进行特征融合，Neck网络例如可以是FPN、BiFPN等，该模块采用自顶向下与自底向上联合的特征融合方式，能够更好地融合多尺度特征，因此改善了低层特征的传播，增强了模型对于不同缩放尺度对象的检测，从而能够更好地识别不同大小和尺度的同一目标对象。
本发明针对卫星遥感图像的小目标检测精度低的问题，以较为简单、高效的YOLOv5模型为主框架，并在Neck网络之前添加了CBAM注意力模块，在Neck网络之后添加了融合上下文信息的自注意力CoT模块，有效提取全局和局部特征，一定程度上去除背景噪声，建模特征间的关系，提升了模型的小目标检测精度。
基于上述任一实施例，所述样本卫星遥感图像的任一样本分块图像的正负样本基于如下步骤获取得到：
通过聚类算法生成该样本分块图像的多个锚框；
计算每个锚框与其对应的真实框的中心距离，并选取中心距离最小的预设数量个锚框作为候选锚框；
计算每个候选锚框与其对应的真实框之间的交并比，并将交并比超过交并比阈值的候选锚框作为该样本分块图像的正样本，其余候选锚框作为该样本分块图像的负样本。
优选地，聚类算法采用k-means聚类算法。
基于上述任一实施例，所述交并比阈值具体基于每个候选锚框与其对应的真实框之间的交并比的均值和标准差确定。
具体地，考虑到卫星遥感图像存在正负样本极端不平衡的问题，对于小目标更加明显，导致模型训练不充分。如何构建正负样本分配算法成为研究的难点，有效且合理的正负样本分配策略对于遥感图像目标检测模型的训练是极其重要的，因此本发明构建了一种样本自适应的正负样本分配策略，增加了有效正样本数量，提升了遥感图像目标检测模型的检测精度，其大致步骤如下：
(1)首先对于每张图片的每个真实框选取其候选正样本，候选正样本是从每个level的锚框中选取得到的，具体操作上按照锚框与真实框的中心距离选取前k个距离最小的作为候选锚框。其中，真实框可以是利用标注软件对样本卫星遥感图像进行标注获得的。
(2)然后对于真实框计算与其对应的候选锚框之间的IOU，并计算得到IOU的均值meaniou以及标准差stdiou，在此基础上计算真实框自适应的IOU阈值，具体如下式所示：
tiou＝meaniou+stdiou
上式中tiou表示真实框自适应的IOU阈值。
(3)利用自适应的IOU阈值对每个真实框对应的候选锚框进行筛选，大于阈值的被留下作为正样本，这解决了锚框尺寸固定导致的正样本漏选问题，缓解了正负光学遥感图像目标检测中存在的正负样本不均问题(尤其是小样本)。
基于上述任一实施例，所述卫星遥感图像的各分块图像具体是使用重叠滑动窗口对卫星遥感图像进行分割获得的。
需要说明的是，使用重叠滑动窗口切图来处理大画幅卫星遥感图像，这样深度学习网络可以充分利用图像的高分辨率信息，获得更好的检测效果。优选地，由于切分可能导致目标图像被分割，因此设置相邻滑动切分子图之间的重叠率15％，可以较好解决目标被分割的问题。合适的滑动重叠率能够减少目标漏检，本发明通过多次实验获取该取值，该取值能够获得更加鲁棒的结果，在保持一个较低的计算冗余度的基础上获得较好的模型检测召回率。
本发明充分结合利用滑动窗口和切片方法的优势，使用合理且高效的重叠滑窗图像切片方法，解决大画幅卫星遥感图像目标检测的切割难题，增强了检测算法的实时性，提升了检测效率。
基于上述任一实施例，考虑到现有的目标检测算法都是基于python的工具包实现的，如PyTorch等，部署起来速度较慢，如何有效地将检测模型部署在国产环境下是一个亟待解决的问题。
在执行步骤S102之前，可以将训练得到的目标检测模型部署到国产开发环境(C++运行环境)中，例如真实场景中大画幅卫星遥感图像目标检测的执行主体为服务器，可以将目标检测模型部署到配置有C++运行环境的服务器上，以实现国产环境下的大画幅卫星遥感图像目标检测，提升模型运行速度以及运行效率。
具体操作可以是，先将模型结构和权重参数进行转化，按照模型的配置文件生成转换为OpenCV以及C++环境可用的.weights权重，并使用模型推理库生成模型文件，再通过编译生成可执行文件或动态库部署到目标环境中。
本发明将模型部署到国产操作系统的C++环境上运行，解决了国产系统C++环境下模型部署困难的问题。
基于上述任一实施例，针对上述大画幅卫星遥感图像目标检测的难点，本发明提供一种基于改进YOLOv5的大画幅卫星遥感图像目标检测方法，可以用来有效解决卫星遥感图像模型训练困难、小目标检测精度低以及国产环境下模型部署困难的问题，实现快速、准确且易于应用的卫星遥感图像目标识别。
图2是本发明实施例提供的卫星遥感图像目标检测方法的流程示意图之二，如图2所示，该方法具体包含以下步骤：
S1、基于大画幅卫星遥感图像进行数据标注，通过离线切图的方式获取制作训练数据集。
可选地，针对卫星遥感图像中出现的目标类型，模型训练数据集中包含的目标种类包括飞机、装备、汽车、飞机场、建筑物等。具体的训练集制作方式如下：
S11、数据集标注。利用标注软件对包含上述目标的卫星遥感图像数据即样本卫星遥感图像按照Pascal VOC的数据标注格式进行标注得到标注文件。
S12、重叠滑动窗口切图。使用滑动窗口从左至右、从上至下依次切割原图获取正常尺寸的图像数据，并对相应的标注框做坐标偏移，移除分块中与原图中框的交并比小于0.5的目标。此处，正常尺寸为3x640x640的三通道图像，通道指的是RGB通道。随着窗口滑动，各个标注框的坐标需要进行处理获得相对坐标。
S13、数据集增强。通过平移、旋转、亮度变换等数据增强手段对S12中获得的数据进行数据集扩充，随后使用copy-paste方法对于数据集中每张图像的目标随机复制扩充，最后将其按照6:2:2的比例划分为训练集、验证集和测试集。
S2、构建轻量级的CBAM局部注意力模块，减小背景噪声对于小目标识别的影响；另外提出一种融合上下文信息的自注意力模块，提取2D特征图的全局信息，提升模型的小目标检测精度。
S21、构建CBAM注意力模块，并将其嵌入至YOLOv5的Neck网络之前。图3是本发明实施例提供的轻量级注意力模块架构图，如图3所示，CBAM是一个简单有效的前馈卷积神经网络注意力模块，该模块将通道注意力模块与空间注意力模块相结合，与仅关注一个方向的注意力机制相比，具有优越的性能，
(1)CBAM模块首先通过考虑输入特征图的通道间关系，学习生成一个通道注意力图。具体执行如下式所示。对于输入特征图，先执行全局平均池化操作，将特征图的每个通道的平均值计算出来。然后将上一步得到的平均值通过全连接层或卷积层进行通道维度的降维和扩展，生成一个通道注意力向量。对通道注意力向量进行激活函数处理，得到一个与输入特征图维度相同的通道注意力图。最后将计算得到的通道注意力图与输入F对应相乘，输出F′。
Mc(F)＝σ(MLP(avgpool(F)))
F′＝Mc(F)⊙F
上式中，Mc(F)为计算得到的通道注意力图；avgpool表示全局平均层；MLP代表全连接层；σ代表sigmoid函数；F′为通道注意力模块的加权输出即通道注意力加权图，F′和F的尺寸是相同的。
(2)通过考虑输入特征图的空间局部关系，学习生成一个空间注意力图。具体操作如下式所示，对于输入特征图，即通道注意力模块的输出F′，分别在水平和竖直方向上执行最大池化和平均池化操作，得到两个池化图。然后将上述两个池化图通过全连接层或卷积层进行维度的降维和扩展，生成两组空间注意力向量。对每组空间注意力向量进行激活函数处理，得到两组与输入特征图相同尺寸的空间注意力图。将两组空间注意力图进行通道维度的连接，得到最终的空间注意力图。将空间注意力图与加权的特征图进行元素级别的相乘操作，得到进一步加权的特征图。最后与通道注意力模块类似，将通道注意力模块的输出F′输入一个空间注意力模块中：
F″＝Ms(F′)⊙F′
上式中Ms(F)表示空间注意力图；F″代表CBAM模块的输出。
S22、本发明实施例提出一种融合上下文信息的自注意力模块，其主要架构如图4所示。本发明将其插入到检测网络的Neck网络(FPN层)之后，用于提取2D特征图的全局信息。对于融合上下文信息的自注意力模块CoT，构建过程和原理大致如下：
假设Neck网络的输出为X，其大小为H×W×C，自注意力模块以X为输入，首先在三个嵌入变换Wq,Wk,Wv的作用下得到输出Q,K,V,即自注意力中常见的查询、键以及值，其中Wq,Wk,Wv分别表示identity矩阵、3×3以及1×1的空间卷积。
那么融合上下文信息的自注意力模块的输出可按下式计算：
Y＝K+fc(K,Q)WδWθ×V
上式中fc表示通道维度的叠加操作，Wδ以及Wθ表示1×1的空间卷积，×代表矩阵乘法，值得注意的是，为了更加简洁明了，本发明省略了通道维的变换操作以及批归一化操作。
经过分析可知，学习的关键矩阵K可以从空间域内的相邻像素捕获重要信息，并结合了基本的静态空间上下文信息。将K和Q沿着通道维进行叠加，然后利用两个1×1卷积Wδ和Wθ对其进行变换，实现K和Q特征的交互融合，Wδ和Wθ的区别在于是否使用了激活函数。
假设矩阵令T＝fc(K,Q)WδWθ，那么其中含有充足的动态上下文信息，该结果矩阵T随后与静态上下文信息K融合以导出最终输出Y。值得注意的是，Y包含动态上下文信息和静态上下文信息。
将融合上下文信息的自注意力模块集成到YOLOv5的Neck网络(FPN层)之后，有助于全面探索和利用更广泛的通道特征和空间上下文特征，能够进一步提升模型对于小目标的检测能力。
S3、以YOLOv5目标检测模型为主框架，融合S2中提出的CBAM模块以及CoT模块搭建改进的遥感光学图像目标检测模型。对于改进的YOLOv5m模型，即步骤S102中用的目标检测模型，按照以下几个步骤来构建：
S31、主干网络backbone构建，包括Focus模块构建、BottleneckCSP模块构建、空间金字塔池化模块(Spatial Pyramid Pooling，SPP)构建。
(1)主干网络Focus模块构建。Focus模块可以帮助提取输入特征图中的细节信息，以便更好地检测小目标。首先，需要将输入特征图分成四个较小的子区域。然后，对每个子区域执行像素重排操作，将每个子区域的像素点按照交叉的方式重新排列，并且每个像素间隔为2。在像素重排后，可以得到四个更小的特征图，尺寸为3×640×640，它们分别对应于原始特征图的四个子区域。最后，将四个重排后的特征图进行堆叠，输出尺寸为12×320×320的特征图，进而通过一个卷积核数量为48的卷积层，生成48×320×32的输出，最后经过批归一化层和Hardswish激活函数后将结果输入到下一层。
(2)主干网络BottleneckCSP模块构建。BottleneckCSP模块是YOLOv5中的关键组件，通过CSP连接和瓶颈结构提高网络表达能力和效率。BottleneckCSP模块包括输入卷积、主分支、支路分支、CSP连接和残差块，它将特征分为不同尺度，使用CSP连接融合，提高感知力。BottleneckCSP模块通过使用CSP连接和采用瓶颈结构，可以有效地提高网络的表征能力，提取更丰富的特征信息，并且具有较高的计算效率。
(3)主干网络空间金字塔池化模块(Spatial Pyramid Pooling，SPP)构建。空间金字塔池化模块是一种通过分割特征图并在每个尺度上进行池化操作的方法，用于提取多尺度的特征表示。它的工作原理是将输入特征图分割成多个网格，在每个网格上执行最大池化操作，并将得到的特征向量级联起来。通过这样的操作，模块能够同时捕捉到不同尺度的特征信息，从而提高对不同大小目标的感知能力。空间金字塔池化模块常用于目标检测和语义分割任务，能够帮助网络更好地适应不同尺度的目标，提高准确性和鲁棒性。
S32、CBAM注意力模块构建。按照S21中的内容构建CBAM注意力模块，该模块被嵌入到Neck网络(FPN层)之前，其对于输入特征图顺序执行通道注意力计算和空间注意力计算，一定程度上减小背景噪声的影响。
S33、Neck网络构建。Neck网络是一系列组合图像特征的特征融合网络，例如FPN、BiFPN等，该模块采用自顶向下与自底向上联合的特征融合方式，能够更好地融合多尺度特征，因此改善了低层特征的传播，增强了模型对于不同缩放尺度对象的检测，从而能够更好地识别不同大小和尺度的同一目标对象。
S34、融合上下文信息的自注意力模块构建。按照S22中的设计构建如图4所示的融合上下文信息的自注意力模块CoT，该模块被嵌入到Neck网络(FPN层)之后，增强模型对于空间上下文特征以及通道特征的利用和提取，进一步提升模型对于小目标的检测能力。
S35、Detect网络构建。Detect网络在上一层自注意力模块CoT的基础上进行卷积操作，最后输出包含目标对象的类别概率、置信度分数和目标框偏移的向量。YOLOv5m架构的预测网络由3个Detect层组成，输入特征图的尺寸分别对应为80×80，40×40与20×20，用于检测图像中不同大小的目标物，每个Detect层最终输出一个(k+5)×3通道的向量(3个锚定框，每个锚定框包括k个类别概率、1个置信度分数、4个目标框位置偏移，即(k+1+4)×3)，进而在原始图像中生成并标记出所预测目标的位置边界框和类别，实现对图像中目标对象的检测。需要说明的是，三个Dectect层的输入是不同尺度的特征图，每个层负责检测相应尺度范围的目标，它们检测的结果是对应同一个分块图像的，融合时只需将三个层的检测目标堆叠在一块，然后再经过非极大值抑制即可融合得到最终的检测结果。
S4、提出一种样本自适应的正负样本选取策略，针对不同的图像样本设置不同的IOU阈值，增加有效正样本数量，并构建GIOU损失函数对于改进模型进行训练。
S41、基于S1生成的训练集，通过k-means聚类算法生成更适合于卫星遥感图像目标尺寸的锚框。
S42、有效且合理的正负样本分配策略对于遥感图像目标检测模型的训练是极其重要的，因此本发明构建了一种样本自适应的正负样本分配策略，其大致步骤如下：
(1)首先对于每张图片的每个真实框选取其候选正样本，候选正样本是从每个level的锚框中选取得到的，具体操作上按照锚框与真实框的中心距离选取前k个距离最小的作为候选。
(2)然后对于真实框计算与其对应的候选锚框之间的IOU，并计算得到IOU的均值meaniou以及标准差stdiou，在此基础上计算真实框自适应的IOU阈值，具体如下式所示：
tiou＝meaniou+stdiou
上式中tiou表示真实框自适应的IOU阈值。
(3)利用自适应的IOU阈值对每个真实框对应的候选锚框进行筛选，大于阈值的被留下作为正样本，这解决了锚框尺寸固定导致的正样本漏选问题，缓解了正负光学遥感图像目标检测中存在的正负样本不均问题(尤其是小样本)。
S43、根据训练集训练改进的YOLOv5m目标检测模型，训练损失由目标框回归损失、分类损失以及置信度损失组成，如下式所示：
Loss＝Lossreg+Lossclass+Lossconf
其中，置信度损失和目标分类损失采用的是二进制交叉熵损失函数(BCELoss)，计算公式为：
BCELoss＝-(ylogp+(1-y)log(1-p))
上式中y为种类真值，p为预测概率值。
回归框预测损失采用的是CIoULoss函数。其中，CIoULoss计算如下式：
其中，IOU表示预测框与真实框的交并比；b表示预测框，bgt表示真实框，c表示能够包含预测框与真实框的最小矩形的对角线长度， 为惩罚项。
S5、将S4中训练得到的改进目标检测模型部署到国产操作系统的C++环境上，实现国产环境下的大画幅卫星遥感图像目标检测，其具体步骤如下：
S51、在国产arm64环境上下载并配置C++环境以及OpenCV库。
S52、将python训练的.h5或者.pt格式的模型权重进行转化，按照模型的配置文件生成转换为OpenCV以及C++环境可用的.weights权重。
S53、选择一个适用于C++环境的模型推理库，如TensorRT、OpenVINO、NCNN等，这些库提供了针对特定硬件加速和优化的模型推理功能。
S54、使用C++编写推理代码，加载导出的模型文件，并使用模型推理库提供的API进行推理任务。根据具体需求，可以编写代码来处理输入数据、进行推理计算，并输出模型的预测结果。
S55、使用适当的C++编译器和构建工具(如GCC、CMake等)，将推理代码编译为可执行文件或动态库。确保在构建过程中链接所需的库和依赖项。
S56、将生成的可执行文件或动态库部署到目标环境中，在真实场景中进行测试和评估。确保模型在C++环境中能够正常运行，并满足性能和效果要求。
S6、使用重叠滑动窗口分割获得相应的分块图像，对于重叠滑窗方法提取得到的分块，将其输入训练之后的目标检测模型获取候选检测框，然后对各个分块的目标框进行后处理，过滤得到最终的检测结果。
S61、使用重叠滑动窗口切图来处理大画幅卫星遥感图像，这样深度学习网络可以充分利用图像的高分辨率信息，获得更好的检测效果。由于切分可能导致目标图像被分割，因此设置相邻滑动切分子图之间的重叠率15％，可以较好解决目标被分割的问题。
S62、将S61中重叠滑窗获取的分块图像丢进S2中搭建并训练的改进模型，获得每个分块图像对应的检测结果。
S63、每个分块图像的目标检测框不属于同一坐标系，本发明通过对所有目标框作平移变换将其转换到原来的卫星遥感图像坐标系中。
S64、针对每个分块图像检测出来的目标框可能存在的冗余框，通过非极大值抑制，获得得分最高的单一检测框，作为最终检测结果。
图5为本发明实施例提供的YOLOv5m目标检测模型的结构图，如图5所示，首先通过重叠滑窗获得尺寸为3×640×640的图像切片，将其输入主干网络backbone中，获得特征金字塔；随后将特征金字塔即多尺度特征图输入CBAM注意力模块，减弱背景噪声对于检测结果的影响；Neck利用BiFPN模块对于不同尺度的特征图进行信息融合；然后输入到CoT自注意力模块中增强模型对于空间上下文特征以及通道特征的利用和提取，进一步提升模型对于小目标的检测能力；最后将Detect层的输出进行叠加和非极大值抑制，得到最终的分块图像的检测结果。图5中，CBL和Conv是基本卷积模块，Concat为通道堆叠。
基于上述任一实施例，本发明提供了一种卫星遥感图像目标检测系统。图6为本发明实施例提供的卫星遥感图像目标检测系统的架构图，如图6所示，该系统包括：
图像获取模块610，用于获取待检测的卫星遥感图像；
目标检测模块620，用于将卫星遥感图像的各分块图像输入至目标检测模型，获得目标检测模型输出的各分块图像的目标检测结果；所述目标检测模型用于对各分块图像进行多尺度特征提取，获得多尺度的特征图，将多尺度的特征图进行特征融合，获得多尺度的融合特征图，将多尺度的融合特征图分别进行自注意力提取，获得多尺度的增强特征图，并基于多尺度的增强特征图进行目标检测，获得各分块图像的目标检测结果；所述目标检测模型基于样本卫星遥感图像的各样本分块图像的正负样本训练得到；
结果融合模块630，用于融合各分块图像的目标检测结果，获得所述卫星遥感图像的目标检测结果。
可以理解的是，上述各个模块的详细功能实现可参见前述方法实施例中的介绍，在此不做赘述。
另外，本发明实施例提供了另一种卫星遥感图像目标检测装置，其包括：存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，用于当执行所述计算机程序时，实现上述实施例中的方法。
此外，本发明还提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现上述实施例中的方法。
基于上述实施例中的方法，本发明实施例提供了一种计算机程序产品，当计算机程序产品在处理器上运行时，使得处理器执行上述实施例中的方法。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种卫星遥感图像目标检测方法，其特征在于，包括以下步骤：
步骤S101，获取待检测的卫星遥感图像；
步骤S102，将卫星遥感图像的各分块图像输入至目标检测模型，获得目标检测模型输出的各分块图像的目标检测结果；所述目标检测模型用于对各分块图像进行多尺度特征提取，获得多尺度的特征图，将多尺度的特征图进行特征融合，获得多尺度的融合特征图，将多尺度的融合特征图分别进行自注意力提取，获得多尺度的增强特征图，并基于多尺度的增强特征图进行目标检测，获得各分块图像的目标检测结果；所述目标检测模型基于样本卫星遥感图像的各样本分块图像的正负样本训练得到；
步骤S103，融合各分块图像的目标检测结果，获得所述卫星遥感图像的目标检测结果。
2.根据权利要求1所述的方法，其特征在于，对各分块图像进行多尺度特征提取，获得多尺度的特征图，包括：
对各分块图像进行多尺度特征提取，获得多尺度的初始特征图；
对于多尺度中每一尺度，对初始特征图进行通道注意力操作，获得通道注意力图，并与初始特征图融合得到通道注意力加权图；以及，对通道注意力加权图进行空间注意力操作，获得空间注意力图，并与通道注意力加权图融合得到特征图。
3.根据权利要求1所述的方法，其特征在于，所述样本卫星遥感图像的任一样本分块图像的正负样本基于如下步骤获取得到：
通过聚类算法生成所述任一样本分块图像的多个锚框；
计算每个锚框与其对应的真实框的中心距离，并选取中心距离最小的预设数量个锚框作为候选锚框；
计算每个候选锚框与其对应的真实框之间的交并比，并将交并比超过交并比阈值的候选锚框作为所述任一样本分块图像的正样本，其余候选锚框作为所述任一样本分块图像的负样本。
4.根据权利要求3所述的方法，其特征在于，所述交并比阈值具体基于每个候选锚框与其对应的真实框之间的交并比的均值和标准差确定。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述卫星遥感图像的各分块图像具体是使用重叠滑动窗口对卫星遥感图像进行分割获得的。
6.一种卫星遥感图像目标检测系统，其特征在于，包括：
图像获取模块，用于获取待检测的卫星遥感图像；
目标检测模块，用于将卫星遥感图像的各分块图像输入至目标检测模型，获得目标检测模型输出的各分块图像的目标检测结果；所述目标检测模型用于对各分块图像进行多尺度特征提取，获得多尺度的特征图，将多尺度的特征图进行特征融合，获得多尺度的融合特征图，将多尺度的融合特征图分别进行自注意力提取，获得多尺度的增强特征图，并基于多尺度的增强特征图进行目标检测，获得各分块图像的目标检测结果；所述目标检测模型基于样本卫星遥感图像的各样本分块图像的正负样本训练得到；
结果融合模块，用于融合各分块图像的目标检测结果，获得所述卫星遥感图像的目标检测结果。
7.根据权利要求6所述的系统，其特征在于，所述目标检测模块中目标检测模型具体基于如下步骤获取多尺度的特征图：
对各分块图像进行多尺度特征提取，获得多尺度的初始特征图；
对于多尺度中每一尺度，对初始特征图进行通道注意力操作，获得通道注意力图，并与初始特征图融合得到通道注意力加权图；以及，对通道注意力加权图进行空间注意力操作，获得空间注意力图，并与通道注意力加权图融合得到特征图。
8.根据权利要求6所述的系统，其特征在于，所述样本卫星遥感图像的任一样本分块图像的正负样本基于如下步骤获取得到：
通过聚类算法生成所述任一样本分块图像的多个锚框；
计算每个锚框与其对应的真实框的中心距离，并选取中心距离最小的预设数量个锚框作为候选锚框；
计算每个候选锚框与其对应的真实框之间的交并比，并将交并比超过交并比阈值的候选锚框作为所述任一样本分块图像的正样本，其余候选锚框作为所述任一样本分块图像的负样本。
9.根据权利要求8所述的系统，其特征在于，所述交并比阈值具体基于每个候选锚框与其对应的真实框之间的交并比的均值和标准差确定。
10.根据权利要求6至9任一项所述的系统，其特征在于，所述目标检测模块中卫星遥感图像的各分块图像具体是使用重叠滑动窗口对卫星遥感图像进行分割获得的。
CN202311338707.9A 2023-10-16 2023-10-16 一种卫星遥感图像目标检测方法及系统 Pending CN117315499A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311338707.9A CN117315499A (zh) 2023-10-16 2023-10-16 一种卫星遥感图像目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311338707.9A CN117315499A (zh) 2023-10-16 2023-10-16 一种卫星遥感图像目标检测方法及系统

Publications (1)

Publication Number Publication Date
CN117315499A true CN117315499A (zh) 2023-12-29

Family

ID=89255082

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311338707.9A Pending CN117315499A (zh) 2023-10-16 2023-10-16 一种卫星遥感图像目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN117315499A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671509A (zh) * 2024-02-02 2024-03-08 武汉卓目科技有限公司 遥感目标检测方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671509A (zh) * 2024-02-02 2024-03-08 武汉卓目科技有限公司 遥感目标检测方法、装置、电子设备及存储介质
CN117671509B (zh) * 2024-02-02 2024-05-24 武汉卓目科技有限公司 遥感目标检测方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Gong et al. Superpixel-based difference representation learning for change detection in multispectral remote sensing images
EP3483767B1 (en) Device for detecting variant malicious code on basis of neural network learning, method therefor, and computer-readable recording medium in which program for executing same method is recorded
CN112966684B (zh) 一种注意力机制下的协同学习文字识别方法
US10346720B2 (en) Rotation variant object detection in Deep Learning
US8379994B2 (en) Digital image analysis utilizing multiple human labels
US20180114071A1 (en) Method for analysing media content
US20170220864A1 (en) Method for Implementing a High-Level Image Representation for Image Analysis
CN110807385A (zh) 目标检测方法、装置、电子设备及存储介质
Raghavan et al. Optimized building extraction from high-resolution satellite imagery using deep learning
KR101930940B1 (ko) 영상 분석 장치 및 방법
Han et al. HANet: A hierarchical attention network for change detection with bitemporal very-high-resolution remote sensing images
CN112633140B (zh) 多光谱遥感图像城中村多类别建筑物语义分割方法及系统
EP2455892A1 (en) System and Method for Classifying Digital Image Data
CN114841972A (zh) 基于显著性图和语义嵌入特征金字塔的输电线路缺陷识别方法
CN113609896A (zh) 基于对偶相关注意力的对象级遥感变化检测方法及系统
CN116206185A (zh) 一种基于改进YOLOv7的轻量级小目标检测方法
CN117315499A (zh) 一种卫星遥感图像目标检测方法及系统
Deepthi et al. Detection and classification of objects in satellite images using custom CNN
CN117036948A (zh) 一种基于注意力机制的致敏植物识别方法
CN116363526A (zh) MROCNet模型构建与多源遥感影像变化检测方法及系统
CN110929726B (zh) 一种铁路接触网支柱号牌识别方法及系统
CN112966815A (zh) 基于脉冲神经网络的目标检测方法、系统及设备
CN117523168A (zh) 一种多尺度陪护机器人目标检测方法、系统及电子设备
CN116310323A (zh) 一种飞机目标实例分割方法、系统和可读存储介质
CN114943873A (zh) 一种工地人员异常行为分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination