CN114842001A - 一种遥感图像检测系统及方法 - Google Patents

一种遥感图像检测系统及方法 Download PDF

Info

Publication number
CN114842001A
CN114842001A CN202210764320.9A CN202210764320A CN114842001A CN 114842001 A CN114842001 A CN 114842001A CN 202210764320 A CN202210764320 A CN 202210764320A CN 114842001 A CN114842001 A CN 114842001A
Authority
CN
China
Prior art keywords
network
remote sensing
sensing image
module
residual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210764320.9A
Other languages
English (en)
Other versions
CN114842001B (zh
Inventor
吴迪
黄玉玲
朱涛
陶昕辰
高恬曼
周楠
沈占锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202210764320.9A priority Critical patent/CN114842001B/zh
Publication of CN114842001A publication Critical patent/CN114842001A/zh
Application granted granted Critical
Publication of CN114842001B publication Critical patent/CN114842001B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种遥感图像检测系统及方法，由残差对抗网络的密集残差块提取每一层的图像特征，通过残差对抗的方式将图像的局部特征与全局特征进行融合，对特征空间层进行重构，完成对遥感图像分辨率的提升，提升分辨率后的遥感图像由Backbone主干网络模块提取图像语义特征、定位特征，然后Neck结构模块通过特征金字塔与路径聚合网络将不同尺度的特征进行融合，接着输出三个目标大小不同的输出网络，最终实现了遥感图像的目标检测，并采用
Figure 785374DEST_PATH_IMAGE001
损失函数提高目标预测定位精度，本发明能够有效识别低分辨率下的目标，提升了对小目标的检测精确度，满足遥感图像检测的需求。

Description

一种遥感图像检测系统及方法
技术领域
本发明关于一种遥感图像检测系统及方法，特别是有关于一种基于残差对抗目标检测算法的遥感图像检测。
背景技术
近几年来，随着卫星和航拍飞机的发展，越来越多的光学遥感图像被广泛应用在军事作战或者民用生活中，因为受到光照、复杂环境变化的影响，并且遥感图像的尺度跨度大、目标尺寸小，遥感图像的目标检测较为困难，所以提高遥感图像的检测效果是当前亟待解决的问题。
在过去十几年的时间里，早期的算法如CH算法、LBP算法、Gabor算法等为遥感图像的场景分类、目标识别做出了巨大的贡献。随着计算机运算速度的提升，基于卷积神经网络CNN的目标检测算法逐渐发展了起来，此类算法检测步骤大致分为两步：一是生成大量候选区域，二是对这些区域进行回归和分类。因此被称为双阶段目标检测算法。这类算法能够提高目标检测的精确度，但是检测速度较慢。2016年，Joseph等人正式提出YOLO算法，YOLO算法将输入图像划分为网格，网格中的单元格负责检测一定数量的目标，针对YOLO算法定位问题和小目标检测精度低的问题，Liu提出了SSD算法。这一类算法被称为单阶段目标检测算法。单阶段目标检测算法可以直接通过深度人工神经网络提取目标的特征来预测目标的分类以及位置，这种方法能够大幅度提高检测速度。目前，深度人工神经网络目标检测算法因为精确度高、速度快等优点，已被广泛应用于遥感图像检测中。
尽管遥感目标检测方面已经有了很多研究成果，但是目前遥感目标检测仍存在目标尺度小而像素分辨率相对目标来说过低等问题。
发明内容
针对上述问题，本发明提供一种遥感图像检测系统，包括目标检测网络和残差对抗网络，其中：
该目标检测网络包括BackBone主干网络模块、Neck结构模块和输出网络；
该残差对抗网络包括残差对抗生成网络模块；
低分辨率遥感图像经过残差对抗生成网络模块输出合成的高分辨率遥感图像，传入该BackBone主干网络模块，由该BackBone主干网络模块提取出不同尺寸的特征，再由该Neck结构模块融合特征，检测出大小不同的目标，传入该输出网络。
进一步地，该BackBone主干网络模块包括Focus注意力模块、图像特征提取结构以及特征分析结构，其中Focus注意力模块由四个切片slice、矢量拼接及CBL组件组成，CBL组件由卷积层、批量归一化层及Leaky Relu激活函数层组成，该图像特征提取结构由该CBL组件及CSP1_x网络交替形成，该CSP1_x网络是CBL组件、x个残差块和卷积层后，再与一个卷积层矢量拼接，拼接后的结果再和批量归一化层、Leaky Relu激活函数层和CBL组件组成，x为自然数，代表残差块的数量，该特征分析结构为SPP金字塔池化模块，由CBL组件和三个尺寸不同的最大池化层矢量拼接后，再连接一个CBL组件组成。
进一步地，该Neck结构模块包括特征金字塔和路径聚合网络，特征金字塔由特征提取网络及上采样模块组成，路径聚合网络由特征提取网络组成，该特征提取网络由CSP2_x网络及CBL组件组成，该CSP2_x网络是CBL组件和2x个CBL组件经过一个卷积层后的结果再与一个卷积层矢量拼接，矢量拼接后的结果再经过一个批量归一化层、Leaky Relu激活函数层及一个CBL组件，2x为CSP2_x网络中经过第一个CBL组件后所需要的CBL组件的个数，其中x为自然数。
进一步地，该残差对抗网络还包括残差对抗判别网络模块。
进一步地，该目标检测网络使用
Figure DEST_PATH_IMAGE001
损失函数衡量预测框与真实框之间的重合度。
进一步地，该
Figure 950863DEST_PATH_IMAGE001
损失函数公式为：
Figure DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE003
其中，
Figure DEST_PATH_IMAGE004
是指预测框与真实框交集区域面积和并集区域面积之间的比值，
Figure DEST_PATH_IMAGE005
表示两框中心点的欧氏距离，
Figure DEST_PATH_IMAGE006
表示两框的最下外接矩形，
Figure DEST_PATH_IMAGE007
表示真实框，则
Figure DEST_PATH_IMAGE008
表示真实框的宽度，
Figure DEST_PATH_IMAGE009
表示真实框的高度，
Figure DEST_PATH_IMAGE010
表示预测框，
Figure DEST_PATH_IMAGE011
和
Figure DEST_PATH_IMAGE012
分别表示预测框的宽度和高度。
本发明另提供一种遥感图像检测方法，基于上述的一种遥感图像检测系统，该遥感图像检测方法包括以下步骤：
S1：接收低分辨率遥感图像；
S2：该残差对抗生成网络模块生成高分辨率遥感图像；
S3：该BackBone主干网络模块提取不同尺寸的目标特征；
S4：该Neck结构模块进行特征融合；
S5：输出并识别不同尺寸的目标。
进一步地，在步骤S3之前，该残差对抗判别网络模块判别步骤S2中生成的该高分辨率遥感图像为真实图像或是生成图像。
进一步地，步骤S5后采用精确度
Figure DEST_PATH_IMAGE013
表示预测正确的目标类别占所有预测正确的样本的百分比，
Figure DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE015
为遥感图像目标类别被检测为正样本的数量，
Figure DEST_PATH_IMAGE016
为遥感图像非目标类别被检测为正样本的数量。
进一步地，步骤S5后采用召回率
Figure DEST_PATH_IMAGE017
、均平均精确度
Figure DEST_PATH_IMAGE018
和
Figure DEST_PATH_IMAGE019
检测模型性能，其中，
Figure DEST_PATH_IMAGE020
，公式中
Figure 832451DEST_PATH_IMAGE015
为遥感图像目标类别被检测为正样本的数量，
Figure DEST_PATH_IMAGE021
为遥感图像非目标类别检测为负样本的数量；
Figure DEST_PATH_IMAGE022
，公式中
Figure DEST_PATH_IMAGE023
为数据集中目标类别的总数量，
Figure DEST_PATH_IMAGE024
表示第
Figure DEST_PATH_IMAGE025
类目标的精确率，
Figure DEST_PATH_IMAGE026
表示第
Figure 471242DEST_PATH_IMAGE025
类目标召回率；
Figure DEST_PATH_IMAGE027
，公式中
Figure DEST_PATH_IMAGE028
表示精确率，
Figure DEST_PATH_IMAGE029
表示召回率。
通过本发明提供的一种遥感图像检测系统及方法，经过残差对抗生成网络模块，将图像的局部特征与全局特征进行融合，对特征进行重构，输出合成的高分辨率遥感图像，再使用Backbone主干网络模块提取特征，使用Neck结构模块的特征金字塔和路径聚合网络处理类别特征和位置特征。最终实现了遥感图像的目标检测。采用
Figure 725506DEST_PATH_IMAGE001
损失函数提高目标预测定位精度，本发明能够识别低分辨率下的目标，提升了对小目标的检测精确度。
附图说明
图1为本发明一种遥感图像检测系统整体框架示意图；
图2为本发明一种遥感图像检测系统的残差对抗生成网络模块的结构示意图；
图3为本发明一种遥感图像检测系统的残差对抗判别网络模块的结构示意图；
图4为本发明一种遥感图像检测系统的目标检测网络架构示意图；
图5为本发明一种遥感图像检测系统目标检测网络的BackBone主干网络模块示意图；
图6为本发明一种遥感图像检测系统目标检测网络的Neck结构模块示意图；
图7本发明一种遥感图像检测系统整体结构示意图；
图8为本发明一种遥感图像检测方法流程图；
图9A为YOLOv5算法检测结果示意图；
图9B为本发明一种遥感图像检测方法检测结果示意图。
1 残差对抗生成网络模块
2 BackBone主干网络模块
3 NecＧk结构模块
4 输出网络
5 残差对抗判别网络模块
31 特征金字塔
32 路径聚合网络。
具体实施方式
为使对本发明的目的、构造、特征、及其功能有进一步的了解，兹配合实施例详细说明如下。
本发明提供一种遥感图像检测系统，参见图1，图1为本发明一种遥感图像检测系统整体框架示意图，包括目标检测网络和残差对抗网络，其中：目标检测网络包括BackBone主干网络模块2、Neck结构模块3和输出网络4，参见图4，图4为本发明一种遥感图像检测系统的目标检测网络架构示意图，残差对抗网络包括残差对抗生成网络模块1。低分辨率遥感图像经过残差对抗生成网络模块1输出合成高分辨率遥感图像，合成的高分辨率遥感图像传入目标检测网络，目标检测网络对接收到的遥感图像进行随机的缩放、检测、排序等一系列操作，将大小不同的图像缩放成608*608的大小统一的图片，作为网络模型的输入。BackBone主干网络模块2从输入图像中提取出不同尺寸的特征。再将特征图输入Neck结构模块3，Neck结构模块3再选择不同大小的特征图进行特征融合，来检测大小不同的遥感目标，最终传入输出网络4。
残差对抗生成网络模块1结构参见图2，图2为本发明一种遥感图像检测系统的残差对抗生成网络模块的结构示意图，conv表示卷积层，Leaky Relu为Leaky Relu激活函数层，Upsampling表示上采样模块。输入的图像进入残差对抗生成网络模块2时，经过一个卷积层（conv）提取图像的局部特征信息，再进入六个密集残差块构成的密集残差网络，通过局部密接连接充分利用其中的每一层，最大限度获取图像的细节信息。通过一个卷积层（conv）初步提升遥感图像的清晰度，通过上采样模块（Upsampling）和两层卷积层（conv）将局部特征与全局特征融合在一起，再对特征的空间层进行了重构，得到了高分辨率的遥感图像，最后输出图像。其中一个密集残差块由一个conv卷积层和一个Leaky Relu激活函数层组成，密集残差块以残差映射的方式进行信息传递。每个密集残差块的输入都来自前面所有密集残差块的输出，即第一个密集残差块的输入是x0，输出为x1，则第二个密集残差块的输入是x0+x1，输出是x2，第三个密集残差块的输入是x0+x1+x2……以此类推，密集残差块能够把所有残差单位提取的特征信息连接起来。这样网络不仅能够有效传递特征及梯度信息，构建深度网络，而且还减小计算量，加快训练速度。
优选地，BackBone主干网络模块2包括Focus注意力模块、图像特征提取结构以及特征分析结构，具体参见图5，图5为本发明一种遥感图像检测系统目标检测网络的BackBone主干网络模块示意图，其中Focus注意力模块可以保留采样信息，Focus注意力模块由四个切片slice、矢量拼接及CBL组件组成，信息分别经过四个切片slice后进行矢量拼接，拼接的结果再经过一个CBL组件，其中，CBL组件由卷积层conv、批量归一化层BN及LeakyRelu激活函数层组成，CBL是取了conv、BN和Leaky Relu的首字母，图像特征提取结构由CBL组件及CSP1_x网络交替形成，CSP1_x网络是输入的信号经过CBL组件、x个残差块和卷积层conv后，再与输入的信号经过一个卷积层conv的结果进行矢量拼接concat，拼接后的结果再经过批量归一化层BN、Leaky Relu激活函数层和CBL组件，其中x为自然数，代表CSP1_x网络中残差块Res unit的数量，残差块Res unit是将第一个CBL组件的输入与这个输入经过两个CBL组件的输出进行叠加（add）形成的，从而构建了更深的网络。特征分析结构为SPP结构，SPP为金字塔池化模块，由CBL组件和三个尺寸不同的最大池化层Maxpool矢量拼接concat后，再连接一个CBL组件组成，BackBone主干网络模块能够将图像特征提取出来 图像进入BackBone主干网络模块2时，经过了Focus注意力模块进行切片slice，这样不仅减少计算量，而且还拓宽了原图像的输入通道，保留了图像更多的特征信息。再经过CBL组件和CSP1_x网络交替形成的图像特征提取结构的多层卷积、正则化和激活操作，将图像不同层次的特征提取出来。再输入至特征分析结构，也就是SPP金字塔池化模块，对同一特征图的特征进行不同尺度的特征提取，最后再进行拼接融合，使其输出的深度与输入的深度相同。
优选地，Neck结构模块3是整个网络的特征融合部分，包括特征金字塔31和路径聚合网络32，具体参见图6，图6为本发明一种遥感图像检测系统目标检测网络的Neck结构模块示意图，特征金字塔31由特征提取网络及上采样模块组成，路径聚合网络32由特征提取网络组成，特征提取网络由CSP2_x网络及CBL组件组成，CSP2_x网络是CBL组件和2x个CBL组件经过一个卷积层conv后的结果再与一个卷积层conv矢量拼接concat，矢量拼接concat后的结果再经过一个批量归一化层BN、Leaky Relu激活函数层及一个CBL组件，其中2x为CSP2_x网络中经过第一个CBL组件后所需要的CBL组件的个数，x为自然数，本发明中x为1。输入的信息经过Neck结构模块3时，通过CSP2_1网络与CBL组成的特征提取网络提取语义特征，此处称为语义特征1。语义特征1一方面传至路径聚合网络32，另一方面经过上采样模块Upsample后与BackBone主干网络模块2传来的较浅层的信息矢量拼接concat后经过由CSP2_1网络与CBL组件组成的特征网络提取语义特征2。语义特征2一边传递至路径聚合网络32，另一边经过上采样模块Up sample后与BackBone主干网络模块2传来的最浅层的信息矢量拼接concat后形成语义特征3。语义特征3则传递至路径聚合网络32的CSP2_1网络提取定位特征3。之后一方面作为大目标的输出，另一方面经过CBL组件后与语义特征2矢量拼接concat后经过CSP2_1网络提取定位特征2。接着一边作为中目标的输出，另一边经过CBL组件后与语义特征1矢量拼接concat后经过CSP2_1网络提取定位特征1，作为小目标的输出。从语义特征1至语义特征3，网络结构由深到浅，从定位特征1至定位特征3，网络结构由浅到深。特征金字塔31将深层的语义信息传至浅层，路径聚合网络32将浅层的定位信息传到深层。这两个部分弥补了对方的缺陷，大幅度增强了融合特征的能力。
优选地，残差对抗网络还包括残差对抗判别网络模块5，参见图3，图3为本发明一种遥感图像检测系统的残差对抗判别网络模块的结构示意图。残差对抗判别网络模块5能够判别输入的图像是真实的高分辨率遥感图像亦或是残差对抗生成网络模块1生成的遥感图像，最后输出图像为真实的高分辨率遥感图像的概率，其中conv表示卷积层，Leaky Relu表示Leaky Relu激活函数层，BN表示批量归一化层，Dense表示全连接层，Sigmoid表示Sigmoid激活函数层，输入的图像先经过卷积层conv和Leaky Relu激活函数层，提取图像部分特征信息，然后经过7个卷积块全面提取图像的细节信息特征，卷积块由卷积层conv、Leaky Relu激活函数层和批量归一化层BN组成。接着进入全连接层Dense，将提取到的特征信息进行分类，再由Leaky Relu激活函数层激活，最后通过一个一维的全连接层Dense和Sigmoid激活函数输出图像的判断结果，即判别出输入的图像是真实图像HR或生成图像SR。
参见图7，图7本发明一种遥感图像检测系统整体结构示意图，本发明提出的一种遥感图像检测系统首先通过残差对抗网络对图像特征进行重构，得到高分辨率的遥感图像。在此基础上通过目标检测网络识别遥感图像目标物体的类别及定位信息，实现遥感图像目标的检测。具体为，低分辨率的遥感图像进入残差对抗生成网络模块1时，先经过一个卷积层conv初步提取图像特征。然后通过密集残差块组成的密集残差网络充分提取图像的细节信息。再经过卷积层conv、上采样模块Upsampling和两个卷积层conv对图像的特征空间层进行重构，输出合成的高分辨率遥感图像。训练时生成的图像再和原图像一起传入残差对抗判别网络模块5，由卷积层conv和Leaky Relu激活函数层提取部分特征信息，经过7个由卷积层conv、Leaky Relu激活函数和批量归一化层BN组成的卷积块，全面提取图像的细节信息，再经过全连接层Dense、Leaky Relu激活函数层、Sigmoid激活函数层将特征信息进行分类，输出图像的判断结果，即判别出输入的图像是真实图像HR或生成图像SR。训练好后的残差对抗网络生成的高分辨率遥感图像传入BackBone主干网络模块2，由Focus注意力模块拓宽通道，提取下采样信息。然后进入由CBL组件与CSP1_x网络交替形成的特征网络提取图像特征。接着由SPP金字塔池化模块提取不同尺寸的目标特征输出至Neck结构模块3。Neck结构模块3中三个大小不同的特征提取网络组成特征金字塔31将语义信息由网络的顶层传递至底层，再由另外三个特征提取网络组成的路径聚合网络32将定位信息由网络的底层传递至顶层，从而识别出遥感图像上不同尺寸的目标，由输出网络4输出不同尺寸目标的检测结果，即输出图像。其中，残差对抗生成网络模块1结构参见图2，图2为本发明一种遥感图像检测系统的残差对抗生成网络模块的结构示意图，BackBone主干网络模块2结构参见图5，图5为本发明一种遥感图像检测系统目标检测网络的BackBone主干网络模块示意图，Neck结构模块3结构参见图6，图6为本发明一种遥感图像检测系统目标检测网络的Neck结构模块示意图，残差对抗判别网络模块5结构参见图3，图3为本发明一种遥感图像检测系统的残差对抗判别网络模块的结构示意图。
优选地，目标检测网络使用
Figure 71037DEST_PATH_IMAGE001
损失函数作为预测框回归的损失函数，衡量预测框与真实框之间的重合度，用于反馈优化目标检测网络。其中，预测框为经过本发明算法检测出的目标所在范围，真实框为目标实际所在范围。
优选地，
Figure 427587DEST_PATH_IMAGE001
损失函数公式为：
Figure DEST_PATH_IMAGE030
Figure DEST_PATH_IMAGE031
其中，
Figure DEST_PATH_IMAGE032
是指预测框与真实框交集区域面积和并集区域面积之间的比值，
Figure DEST_PATH_IMAGE033
表示预测框和真实框两框中心点的欧氏距离，
Figure DEST_PATH_IMAGE034
表示两框的最小外接矩形的对角线的长度，
Figure DEST_PATH_IMAGE035
表示表示真实框，则
Figure DEST_PATH_IMAGE036
表示真实框的宽度，
Figure DEST_PATH_IMAGE037
表示真实框的高度。
Figure DEST_PATH_IMAGE038
表示预测框，
Figure DEST_PATH_IMAGE039
和
Figure DEST_PATH_IMAGE040
分别表示预测框的宽度和高度。训练得到的权重文件通过
Figure 943888DEST_PATH_IMAGE001
损失函数反馈至目标检测网络中，网络再根据
Figure 673947DEST_PATH_IMAGE001
损失函数的信息得出预测目标的定位与实际目标定位的差距，再次训练缩小两者之间的差距，反复训练多次直至预测目标与实际目标定位差距最小。训练结束后便能检测识别出遥感图像上的目标。
Figure 77246DEST_PATH_IMAGE001
损失函数能够使本文的网络在训练时更快地收敛预测框，使得网络在预测框定位时精度更高，同时提高了模型的检测速度。
本发明另提供一种遥感图像检测方法，基于上述的一种遥感图像检测系统，参见图8，图8为本发明一种遥感图像检测方法流程图，遥感图像检测方法包括以下步骤：
S1：接收低分辨率遥感图像；
S2：残差对抗生成网络模块生成高分辨率遥感图像；
S3：BackBone主干网络模块提取不同尺寸的目标特征；
S4：Neck结构模块进行特征融合；
S5：输出并识别不同尺寸的目标。
接收到的低分辨率遥感图像，先进入残差对抗生成网络模块1，经过一个卷积层conv初步提取图像特征，然后通过密集残差网络充分提取图像的细节信息，再经过卷积层conv、上采样模块Upsampling和两个卷积层conv对图像的特征空间层进行重构，输出合成的高分辨率遥感图像，训练好后的高分辨率遥感图像输入BackBone主干网络模块2提取不同尺寸的目标特征，首先由Focus注意力模块拓宽通道，提取下采样信息。然后进入由CBL组件与CSP1_x网络交替形成的特征网络提取图像特征。接着由金字塔池化模块提取不同尺寸的目标特征输出至Neck结构模块3。Neck结构模块3中三个大小不同的特征提取网络组成特征金字塔31将语义信息由网络的顶层传递至底层，特征提取网络由CSP2_1与CBL组成，再由另外三个特征提取网络组成的路径聚合网络32将定位信息由网络的底层传递至顶层，从而识别出遥感图像上不同尺寸的目标并输出。
优选地，在步骤S3之前，残差对抗判别网络模块5判别步骤S2中生成的高分辨率遥感图像为真实图像或是生成图像。参见图7，图7本发明一种遥感图像检测系统整体结构示意图，步骤S2中生成的高分辨率遥感图像和原图一起进入残差对抗判别网络模块5，由卷积层conv和Leaky Relu激活函数层提取部分特征信息，经过7个由卷积层conv、Leaky Relu激活函数和批量归一化层BN组成的卷积块，全面提取图像的细节信息，经过全连接层Dense、Leaky Relu激活函数层、Sigmoid激活函数层将特征信息进行分类，输出图像的判断结果，即判别出输入的图像是真实图像HR或生成图像SR。直至最后残差对抗判别网络分辨不出输入的图像是高分辨率遥感图像还是原图，并将最终训练好的高分辨率遥感图像传入BackBone主干网络模块2。
优选地，步骤S5后采用精确度
Figure DEST_PATH_IMAGE041
表示预测正确的目标类别占所有预测正确的样本的百分比，
Figure DEST_PATH_IMAGE042
，其中，
Figure DEST_PATH_IMAGE043
为遥感图像目标类别被检测为正样本的数量，
Figure DEST_PATH_IMAGE044
为遥感图像非目标类别被检测为正样本的数量。
优选地，步骤S5后采用召回率
Figure DEST_PATH_IMAGE045
、均平均精确度
Figure DEST_PATH_IMAGE046
和
Figure DEST_PATH_IMAGE047
检测模型性能，其中，召回率
Figure 726402DEST_PATH_IMAGE045
表示在模型预测的所有正样本数据中，真正的目标类别正样本所占的百分比，
Figure DEST_PATH_IMAGE048
，公式中
Figure 11890DEST_PATH_IMAGE043
为遥感图像目标类别被检测为正样本的数量，
Figure DEST_PATH_IMAGE049
为遥感图像非目标类别检测为负样本的数量；均平均精确度
Figure 73869DEST_PATH_IMAGE046
是每个目标类别的平均精确度的平均值，
Figure DEST_PATH_IMAGE050
公式中
Figure 128412DEST_PATH_IMAGE023
为数据集中目标类别的总数量，
Figure 292677DEST_PATH_IMAGE024
表示第
Figure 331040DEST_PATH_IMAGE025
类目标的精确率，
Figure 137322DEST_PATH_IMAGE026
表示第
Figure 515214DEST_PATH_IMAGE025
类目标召回率；
Figure 647118DEST_PATH_IMAGE047
是精确率和召回率的综合指标，
Figure 110461DEST_PATH_IMAGE027
，公式中
Figure 986013DEST_PATH_IMAGE028
表示精确度
Figure 218411DEST_PATH_IMAGE041
，
Figure 521216DEST_PATH_IMAGE029
表示召回率
Figure 268592DEST_PATH_IMAGE045
。
其他可用来衡量目标检测模型性能的指标有每秒可识别帧数FPS以及其他指标，本发明不做限制。
为了验证本发明提供的一种遥感检测系统及方法的有效性进行了实验对比。
实验环境是在Windows10、PyTorch1.8.1、Python3.8、Cuda 11.1环境下进行。CPU配置为：Intel(R) Xeon(R) Gold 5218R CPU 处理器，硬件配置为NVIDIA GeForce RTX3090，128GB内存。本发明对实验环境不做限制。
实验采用公开的DOTA数据集进行实验，DOTA数据集是用于遥感图像目标检测的图像数据集，共2806张遥感图像，包括15种常见的目标类别：飞机，轮船，储罐，棒球场，网球场，篮球场，地面跑道，港口，桥梁，大型车辆，小型车辆，直升机，环形交叉路口，足球场和田径场，并分别按照8：2的比例将数据集分为训练集和测试集。实验采用预训练模型提取基础特征，整个训练次数为300，批大小为16，初始学习率为0.0032，学习率动量为0.937，权重衰减为0.00036。
实验得到的目标检测模型性能结果如表1所示。
Figure DEST_PATH_IMAGE051
从表中可以看出本文的高分辨率遥感检测模型在交并比阈值为50%的条件下，对所有目标类别的平均精确度（Precision）为96.5%，召回率（Recall）为95.8%，综合指标F1值为95.7%。实验表明本文的检测模型对所有的遥感目标都有一个优秀的检测效果。其中小型车辆、大型车辆、飞机、船这些遥感小目标的精确度都在97.5%以上，召回率（Recall）在96.5%以上，综合指标F1值也在96.9%以上。可以看出，经过本发明提供的一种遥感图像检测系统及方法中的残差图像超分辨率网络提升遥感图像分辨率后，目标检测模型能识别到更多遥感图像复杂背景下的小目标类别。
本发明选择两幅图对检测结果进行比较，参见图9A和图9B，图9A为YOLOv5算法检测结果示意图；图9B为本发明一种遥感图像检测方法检测结果示意图。图9A的YOLOv5算法只检测到了两个港口；图9B本发明检测算法检测到了五个港口，二十二只船只。实验结果表明，在低分辨率遥感图像的情况下，YOLOv5算法检测到的遥感目标较少，甚至可能会检测不到遥感目标，本发明提供的一种遥感图像检测系统及方法提升了图像的分辨率，从而检测出遥感目标。在YOLOv5算法能够检测出少量目标时，本文算法除了能检测到相同的目标外，还能检测到YOLOv5算法漏检的其他目标，包括分辨率更低的小目标。可以看出本文算法模型在遥感图像目标检测方面较为优秀。
为了进一步验证算法的性能，本发明提供的检测方法与目前主流的Faster R-CNN、SSD、YOLOv3、YOLOv5目标检测算法在精度和速度方面进行比较，结果如表2所示。
Figure DEST_PATH_IMAGE052
由表2可知，在相同的DOTA遥感数据集上，本发明算法在精确度、召回率、综合指标
Figure DEST_PATH_IMAGE053
值、
Figure DEST_PATH_IMAGE054
值上均高于主流目标检测算法，本发明算法在遥感图像检测准确性方面表现优异，能够满足检测遥感图像目标检测准确率的要求。从对遥感目标的检测速率（FPS）来看，本发明算法检测速率优于Faster R-CNN算法和YOLOv3算法，本发明算法比Faster R-CNN检测速率快了40倍，比YOLOv3算法快了1.3倍。但由于本发明模型添加了残差图像超分辨率网络的原因，算法体积较大，相对SSD算法、YOLOv5算法检测速率稍慢了些。但是本发明算法只比SSD算法慢了2.3帧的检测速率，却能够提升4.9%的检测精度，对于YOLOv5算法，本发明算法仅仅慢了0.8帧，却提升了3%的检测精度。这表明本发明算法在检测速率未大幅度下降，能够满足实时检测遥感图像目标需求的同时，对遥感目标的检测精度有比较大的提升。
通过本发明提供的一种遥感图像检测系统及方法，由残差对抗网络的密集残差块提取每一层的图像特征。通过残差对抗的方式将图像的局部特征与全局特征进行融合，对特征空间层进行重构，完成对遥感图像分辨率的提升。提升分辨率后的遥感图像由Backbone主干网络提取图像语义特征、定位特征，然后Neck结构模块通过特征金字塔与路径聚合网络将不同尺度的特征进行融合，接着输出三个目标大小不同的输出网络。最终实现了遥感图像的目标检测，并采用CIOU_Loss损失函数提高目标预测定位精度。本发明能够有效识别低分辨率下的目标，提升了对小目标的检测精确度，满足遥感图像检测的需求。
本发明已由上述相关实施例加以描述，然而上述实施例仅为实施本发明的范例。必需指出的是，已揭露的实施例并未限制本发明的范围。相反地，在不脱离本发明的精神和范围内所作的更动与润饰，均属本发明的专利保护范围。

Claims (10)

1.一种遥感图像检测系统，其特征在于，该遥感图像检测系统包括目标检测网络和残差对抗网络，其中：
该目标检测网络包括输入端、BackBone主干网络模块、Neck结构模块和输出网络；
该残差对抗网络包括残差对抗生成网络模块；
低分辨率遥感图像经过该残差对抗生成网络模块输出合成的高分辨率遥感图像，传入该BackBone主干网络模块，由该BackBone主干网络模块提取出不同尺寸的特征，再由该Neck结构模块融合特征，检测出大小不同的目标，传入该输出网络。
2.根据权利要求1所述的一种遥感图像检测系统，其特征在于，该BackBone主干网络模块包括Focus注意力模块、图像特征提取结构以及特征分析结构，其中该Focus注意力模块由四个切片slice、矢量拼接及CBL组件组成，该CBL组件由卷积层、批量归一化层及LeakyRelu激活函数层组成，该图像特征提取结构由该CBL组件及CSP1_x网络交替形成，该CSP1_x网络是CBL组件、x个残差块和卷积层后，再与一个卷积层矢量拼接，拼接后的结果再和批量归一化层、Leaky Relu激活函数层和CBL组件组成，x为自然数，代表残差块的数量，该特征分析结构为SPP金字塔池化模块，由CBL组件和三个尺寸不同的最大池化层矢量拼接后，再连接一个CBL组件组成。
3.根据权利要求1所述的一种遥感图像检测系统，其特征在于，该Neck结构模块包括特征金字塔和路径聚合网络，该特征金字塔由特征提取网络及上采样模块组成，该路径聚合网络由特征提取网络组成，该特征提取网络由CSP2_x网络及CBL组件组成，该CSP2_x网络是CBL组件和2x个CBL组件经过一个卷积层后的结果再与一个卷积层矢量拼接，矢量拼接后的结果再经过一个批量归一化层、Leaky Relu激活函数层及一个CBL组件，2x为CSP2_x网络中经过第一个CBL组件后所需要的CBL组件的个数，其中x为自然数。
4.根据权利要求1所述的一种遥感图像检测系统，其特征在于，该残差对抗网络还包括残差对抗判别网络模块。
5.根据权利要求1所述的一种遥感图像检测系统，其特征在于，该目标检测网络使用
Figure 558514DEST_PATH_IMAGE001
损失函数衡量预测框与真实框之间的重合度。
6.根据权利要求5所述的一种遥感图像检测系统，其特征在于，该
Figure 210075DEST_PATH_IMAGE001
损失函数公式为：
Figure 458654DEST_PATH_IMAGE002
Figure 588284DEST_PATH_IMAGE003
其中，
Figure 137077DEST_PATH_IMAGE004
是指预测框与真实框交集区域面积和并集区域面积之间的比值，
Figure 693960DEST_PATH_IMAGE005
表示两框中心点的欧氏距离，
Figure 429835DEST_PATH_IMAGE006
表示两框的最下外接矩形，
Figure 363156DEST_PATH_IMAGE007
表示表示真实框，则
Figure 766455DEST_PATH_IMAGE008
表示真实框的宽度，
Figure 494240DEST_PATH_IMAGE009
表示真实框的高度，
Figure 714481DEST_PATH_IMAGE010
表示预测框，
Figure 185914DEST_PATH_IMAGE011
和
Figure 178141DEST_PATH_IMAGE012
分别表示预测框的宽度和高度。
7.一种遥感图像检测方法，基于权利要求1所述的一种遥感图像检测系统，该遥感图像检测方法包括以下步骤：
S1：接收低分辨率遥感图像；
S2：该残差对抗生成网络模块生成高分辨率遥感图像；
S3：该BackBone主干网络模块提取不同尺寸的目标特征；
S4：该Neck结构模块进行特征融合；
S5：输出并识别不同尺寸的目标。
8.根据权利要求7所述的一种遥感图像检测方法，其特征在于，在步骤S3之前，该残差对抗判别网络模块判别步骤S2中生成的该高分辨率遥感图像为真实图像或是生成图像。
9.根据权利要求7所述的一种遥感图像检测方法，其特征在于，步骤S5后采用精确度
Figure 342406DEST_PATH_IMAGE013
表示预测正确的目标类别占所有预测正确的样本的百分比，
Figure 52873DEST_PATH_IMAGE014
，其中，
Figure 62417DEST_PATH_IMAGE015
为遥感图像目标类别被检测为正样本的数量，
Figure 174730DEST_PATH_IMAGE016
为遥感图像非目标类别被检测为正样本的数量。
10.根据权利要求7所述的一种遥感图像检测方法，其特征在于，步骤S5后采用召回率
Figure 244317DEST_PATH_IMAGE017
、均平均精确度
Figure 442080DEST_PATH_IMAGE018
和
Figure 989736DEST_PATH_IMAGE019
检测模型性能，其中，
Figure 956555DEST_PATH_IMAGE020
，公式中
Figure 462623DEST_PATH_IMAGE015
为遥感图像目标类别被检测为正样本的数量，
Figure 882103DEST_PATH_IMAGE021
为遥感图像非目标类别检测为负样本的数量；
Figure 499029DEST_PATH_IMAGE022
，公式中
Figure 585933DEST_PATH_IMAGE023
为数据集中目标类别的总数量，
Figure 997323DEST_PATH_IMAGE024
表示第
Figure 169679DEST_PATH_IMAGE025
类目标的精确率，
Figure 324716DEST_PATH_IMAGE026
表示第
Figure 531707DEST_PATH_IMAGE025
类目标召回率；
Figure 379577DEST_PATH_IMAGE027
，公式中
Figure 773649DEST_PATH_IMAGE028
表示精确率，
Figure 732378DEST_PATH_IMAGE029
表示召回率。
CN202210764320.9A 2022-07-01 2022-07-01 一种遥感图像检测系统及方法 Active CN114842001B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210764320.9A CN114842001B (zh) 2022-07-01 2022-07-01 一种遥感图像检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210764320.9A CN114842001B (zh) 2022-07-01 2022-07-01 一种遥感图像检测系统及方法

Publications (2)

Publication Number Publication Date
CN114842001A true CN114842001A (zh) 2022-08-02
CN114842001B CN114842001B (zh) 2022-09-20

Family

ID=82574750

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210764320.9A Active CN114842001B (zh) 2022-07-01 2022-07-01 一种遥感图像检测系统及方法

Country Status (1)

Country Link
CN (1) CN114842001B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723798A (zh) * 2020-05-27 2020-09-29 西安交通大学 一种基于关联性层级残差的多实例自然场景文本检测方法
CN112001339A (zh) * 2020-08-27 2020-11-27 杭州电子科技大学 一种基于YOLO v4的行人社交距离实时监测方法
CN112364719A (zh) * 2020-10-23 2021-02-12 西安科锐盛创新科技有限公司 一种遥感图像目标快速检测方法
CN113298039A (zh) * 2021-06-21 2021-08-24 北京观微科技有限公司 一种顾及遥感图像旋转目标的目标检测方法
US20220148190A1 (en) * 2021-01-20 2022-05-12 Beijing Baidu Netcom Science Technology Co., Ltd. Method, electronic device and storage medium for detecting change of building

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111723798A (zh) * 2020-05-27 2020-09-29 西安交通大学 一种基于关联性层级残差的多实例自然场景文本检测方法
CN112001339A (zh) * 2020-08-27 2020-11-27 杭州电子科技大学 一种基于YOLO v4的行人社交距离实时监测方法
CN112364719A (zh) * 2020-10-23 2021-02-12 西安科锐盛创新科技有限公司 一种遥感图像目标快速检测方法
US20220148190A1 (en) * 2021-01-20 2022-05-12 Beijing Baidu Netcom Science Technology Co., Ltd. Method, electronic device and storage medium for detecting change of building
CN113298039A (zh) * 2021-06-21 2021-08-24 北京观微科技有限公司 一种顾及遥感图像旋转目标的目标检测方法

Also Published As

Publication number Publication date
CN114842001B (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN108764063B (zh) 一种基于特征金字塔的遥感影像时敏目标识别系统及方法
CN110427981B (zh) 基于深度神经网络的sar船舶检测系统及方法
CN111368690B (zh) 基于深度学习的海浪影响下视频图像船只检测方法及系统
CN113780211A (zh) 一种基于改进型Yolov4-tiny的轻量级飞机检测方法
CN110705566B (zh) 一种基于空间金字塔池的多模态融合显著性检测方法
CN116580394A (zh) 一种基于多尺度融合和可变形自注意力的白细胞检测方法
Gao et al. Improved YOLOv4 based on attention mechanism for ship detection in SAR images
CN116681885B (zh) 输变电设备红外图像目标识别方法及系统
CN116342894B (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN114445430A (zh) 轻量级多尺度特征融合的实时图像语义分割方法及系统
CN113569720B (zh) 一种舰船检测方法、系统及装置
CN114998566A (zh) 一种可解释的多尺度红外弱小目标检测网络设计方法
CN114495029A (zh) 一种基于改进YOLOv4的交通目标检测方法及系统
CN113111740A (zh) 一种遥感图像目标检测的特征编织方法
Zhu et al. Rapid ship detection in SAR images based on YOLOv3
CN117372898A (zh) 一种基于改进yolov8的无人机航拍图像目标检测方法
CN114170526A (zh) 基于轻量化网络的遥感影像多尺度目标检测识别方法
CN115527098A (zh) 基于全局均值对比度空间注意力的红外小目标检测方法
CN115272882A (zh) 一种基于遥感影像的离散建筑物检测方法及系统
CN118172634A (zh) 基于跨越连接与融合注意力机制的红外弱小目标检测方法
Li et al. Dual Spatial Attention Network for Underwater Object Detection with Sonar Imagery
CN117274740A (zh) 一种红外目标检测方法及装置
CN116228685B (zh) 一种基于深度学习的肺结节检测与剔除方法
CN114842001B (zh) 一种遥感图像检测系统及方法
CN116402761A (zh) 一种基于双通道多尺度注意力机制的光伏板裂缝检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant