CN113743487A - 一种增强型遥感影像目标检测方法及系统 - Google Patents

一种增强型遥感影像目标检测方法及系统 Download PDF

Info

Publication number
CN113743487A
CN113743487A CN202110972902.1A CN202110972902A CN113743487A CN 113743487 A CN113743487 A CN 113743487A CN 202110972902 A CN202110972902 A CN 202110972902A CN 113743487 A CN113743487 A CN 113743487A
Authority
CN
China
Prior art keywords
target detection
remote sensing
enhanced
sensing image
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110972902.1A
Other languages
English (en)
Inventor
王密
项韶
谢广奇
张致齐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Jiudian High Score Remote Sensing Technology Co ltd
Original Assignee
Wuhan Jiudian High Score Remote Sensing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Jiudian High Score Remote Sensing Technology Co ltd filed Critical Wuhan Jiudian High Score Remote Sensing Technology Co ltd
Priority to CN202110972902.1A priority Critical patent/CN113743487A/zh
Publication of CN113743487A publication Critical patent/CN113743487A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明提供一种增强型遥感影像目标检测方法及系统，包括输入带标注的高分辨率影像数据集；设置增强型目标检测模型，包括利用嵌入式连接和跳跃连接的形式来构建一种增强型目标检测模型，通过嵌入式连接来实现不同空间分辨率的特征上采样过程，同时利用跳跃连接来补充丢失的细节信息，实现增强模型特征表征的能力，从而提供一阶目标检测框架实现高分辨率遥感影像目标检测任务；对所得增强型目标检测模型的训练，根据训练后的模型对输入影像进行目标检测所得结果。本发明提供的增强型遥感影像目标检测方法不仅可以有效地改进传统方法的性能，还可以应用于星上受限环境下的在轨目标实时检测任务。

Description

一种增强型遥感影像目标检测方法及系统
技术领域
本发明属于卫星遥感影像目标检测领域，特别涉及到了一种高分辨率遥感影像的目标检方案，提出了一种增强型目标检测网络来实现高分辨率下的遥感影像目标识别任务。
背景技术
近些年来，我国完成了一系列的遥感卫星发射任务，构建了高空间分辨率、高时间分辨率的天基观测系统。为此，高分辨率遥感影像的获取变得也来越容易。针对高分辨率的遥感影像目标检测任务，如机场飞机检测以及型号的识别、海上船舶检测、高速车辆检测等，可以快速、准确地提取感兴趣目标具有重要意义。
随着人工智能技术的不断发展，深度学习(Deep learning,DL)在计算机视觉领域得到了广泛的应用，深度学习最主要的是构建神经网络模型来实现对目标的检测任务。目前比较成熟的目标检测网络可以分为一阶检测模型和二阶检测模型。一阶检测模型主要是以YOLO系列为代表，最主要的优势在于检测速度快，可以满足在轨环境下的目标实时检测任务，但是检测精度不够高，不能满足实际精度需求；二阶检测模型则是以RCNN系列模型为代表，优势在于检测的精度较高，但是速度较慢，不适用于在轨的目标实时检测与识别任务。
遥感影像不同于自然场景影像，一般需要检测的目标大小差异较大，同一类的目标可能会由于视角、分辨率等因素影像产生较大的差异；目标分布不均匀，有些场景下目标分布较密集，有的较稀疏；受光照、云层、传感器成像方式影响较大。直接采用普通的目标检测模型很难有效地提取关键信息，感兴趣目标检测精度较差。
发明内容
本发明针对当前高分辨率遥感影像的目标检测中有效信息难以提取、检测精度较差的问题，提供了一种增强型遥感影像目标检测方案来增加模型的特征提取能力和检测精度。
本发明提供的技术方案为一种增强型遥感影像目标检测方法，包括以下步骤：
步骤1，输入带标注的高分辨率影像数据集；
步骤2，设置增强型目标检测模型，包括利用嵌入式连接和跳跃连接的形式来构建一种增强型目标检测模型，通过嵌入式连接来实现不同空间分辨率的特征上采样过程，同时利用跳跃连接来补充丢失的细节信息，实现增强模型特征表征的能力，从而提供一阶目标检测框架实现高分辨率遥感影像目标检测任务；
步骤3，模型训练，包括对步骤2所得增强型目标检测模型的训练；
步骤4，输出结果，根据步骤3训练后的模型对输入影像进行目标检测所得结果。
而且，步骤1中采用了我国高分二号卫星和GoogleEarth上的高分辨率遥感影像作为数据源，并通过人工标注目标的形式构建了高分辨率遥感影像目标检测数据集。
而且，所述增强型目标检测模型中，设给定的输入图像为X，
Figure BDA0003226553580000021
表示卷积运算，其中W和H分别表示特征图的宽度和高度大小，i用于表示卷积层块的级别，则有
Figure BDA0003226553580000022
Figure BDA0003226553580000023
Figure BDA0003226553580000024
Figure BDA0003226553580000025
Figure BDA0003226553580000026
其中，
Figure BDA0003226553580000027
表示降采样运算，Δ表示上采样运算，
Figure BDA0003226553580000028
表示特征图拼接运算，χi,i∈[0,9]表示输入特征图，fspp表示空间金字塔池化层输出的特征图；
不同空间分辨率的特征图经过上采样或者下采样成相同空间分辨率的特征，并进行特征图拼接的方法叫作嵌入式连接结构，对于相同空间分辨率的特征图之间的拼接，叫作跳跃连接。
而且，步骤3中模型训练时，总共训练300个epochs，每次加载32张图像到模型中进行批量训练，初始学习率设置为0.01，并且每50个epochs降低一次学习率，每次降低到原来的1/10。
而且，将步骤3中的训练结果进行展示，通过输入高分辨遥感影像，输出检测到的目标类别以及目标被包围的边界框坐标。
而且，用于星上受限环境下的在轨目标实时检测任务。
本发明提供一种增强型遥感影像目标检测系统，用于实现如上所述的一种增强型遥感影像目标检测方法。
而且，包括以下模块，
第一模块，用于输入带标注的高分辨率影像数据集；
第二模块，用于设置增强型目标检测模型，包括利用嵌入式连接和跳跃连接的形式来构建一种增强型目标检测模型，通过嵌入式连接来实现不同空间分辨率的特征上采样过程，同时利用跳跃连接来补充丢失的细节信息，实现增强模型特征表征的能力，从而提供一阶目标检测框架实现高分辨率遥感影像目标检测任务；
第三模块，用于模型训练，包括对第二模块所得增强型目标检测模型的训练；
第四模块，用于输出结果，根据第三模块训练后的模型对输入影像进行目标检测所得结果。
或者，包括软件环境、中央处理器、存储器、图形图像处理器，软件环境用于配置系统执行的基本模块以及依赖环境，存储器用于存储所需数据集，图形图像处理器用于执行如上所述增强型遥感影像目标检测方法。
本发明提供了一种增强型目标检测模型方案，可以有效地提升检测网络的对复杂环境下的感兴趣目标进行快速并准确地检测。该方案检测精度高、速度较快，可以满足星上受限环境下的目标实时检测任务。和现有的目标检测技术相比，具有如下优势，
(1)提供的增强型目标检测框架可以有效地弥补现有方法的在高分辨率遥感影像检测精度不高的不足。
(2)本发明提出的方法为实现星上在轨实时目标检测提供了新的方案，适应各种复杂环境下的多目标检测任务。
(3)具有很强的实用性，不仅保持较高的检测速度，还可以有效提升模型的检测精度。
附图说明
图1为本发明实施例增强型遥感影像目标检测方法示意图。
图2为本发明实施例增强型遥感影像目标检测系统示意图。
图3为本发明实施例增强型目标检测方法示意图。
图4为本发明实施例基础特征提取单元结构示意图。
图5为本发明实施例空间金字塔池化结构示意图。
具体实施方式
以下结合附图和实施例对本发明的技术方案进行具体说明。
参见图1，本发明实施例是基于高分辨率遥感影像的目标检测网络模型方法，可利用Python编程语言进行实验，也可以采用C/C++编程语言进行工程化应用。
本发明实施例提供了一种增强型遥感影像目标检测方法，参见图1，包括以下步骤：
步骤1，数据构建，包括输入带标注的高分辨率遥感影像数据集；
本步骤可进行遥感影像的数据处理，包括对高分辨率遥感影像的自动裁剪和数据预处理。
实施例采用了我国高分二号全色影像数据以及部分GoogleEarth上收集的高分辨率遥感影像数据构建了遥感影像目标检测数据集，空间影像空间分辨率为0.5m～0.8m，大小为600×600～1372×1024之间。具体实施时可以预先对收集到的影像利用开源的labelme软件进行标注，总共标注了5977张影像。其中4781张影像作为训练集，598张影像作为验证集，598张影像作为测试集。
步骤2，设置增强型模型，包括设置增强型目标检测模型结构，以实现一阶目标检测框架。
实施例所述增强型目标检测模型采用了嵌入式连接和跳跃连接两种方式，以增强模型的特征表征能力，从而有效提升模型的检测性能。嵌入式连接主要是采用了多路径上采样的方式，在不同空间分辨率的基础之上进行上采样操作，然后通过恒等映射以及跳跃连接的形式来获取相同空间分辨率的特征图并进行特征图向量拼接操作，参见图3。
所述增强型目标检测模型如下：
增强型目标检测网络主要是采用了嵌入式连接结构(Nested connection)和跳跃连接方式(Skip connection)来实现对深度特征的挖掘和丢失信息的补偿任务，设给定的输入图像为X，
Figure BDA0003226553580000041
表示卷积运算，其中W和H分别表示特征图的宽度和高度大小，具体根据卷积模块的情况取值，例如W＝w、H＝h，W＝w/2、H＝h/2…；i用于表示卷积模块的级别，所述卷积模块采用由卷积层，归一化层，激活层，插值层等构成的基础特征提取单元实现。那么有：
Figure BDA0003226553580000042
Figure BDA0003226553580000043
Figure BDA0003226553580000044
Figure BDA0003226553580000045
Figure BDA0003226553580000046
其中，
Figure BDA0003226553580000051
表示降采样运算，Δ表示上采样运算，
Figure BDA0003226553580000052
表示特征图拼接运算，χi,i∈[0,9]表示输入特征图，fspp表示空间金字塔池化层输出的特征图。不同空间分辨率的特征图经过上采样或者下采样成相同空间分辨率的特征，并进行特征图拼接的方法叫作嵌入式连接结构，对于相同空间分辨率的特征图之间的拼接，叫作跳跃连接。
增强型目标检测模型具体实现方式如下：
(1)输入影像处理
输入的影像需要先被转化为张量的形式，才可以利用GPU进行加速运算。设输入的影像X的维度为C×W×H，其中，C表示输入影像的通道数，W表示影像的宽度，H表示影像的高度。X有三个维度，需要将X增加一个维度为X′，X′的维度为B×C×W×H。
(2)卷积操作
利用卷积层来实现对输入的张量X′进行特征提取，参见图3，这里将目标检测模型分成了11个不同的卷积模块。其中，箭头方向表示一个模块的数据流输出到另一个模块；例如，
Figure BDA0003226553580000053
的箭头指向
Figure BDA0003226553580000054
表示
Figure BDA0003226553580000055
的输出就是
Figure BDA0003226553580000056
的输入；对于
Figure BDA0003226553580000057
模块的输入是由
Figure BDA0003226553580000058
和
Figure BDA0003226553580000059
的输出共同组成。
第一个卷积模块为
Figure BDA00032265535800000510
表示特征图在该模块的特征图的大小为w×h。
第二个卷积模块为
Figure BDA00032265535800000511
表示第一个模块
Figure BDA00032265535800000512
经过一次降采样后得到第二个模块的特征图。
Figure BDA00032265535800000513
的输入为
Figure BDA00032265535800000514
的输出。运算公式如下：
Figure BDA00032265535800000515
第三个卷积模块为
Figure BDA00032265535800000516
的输入为
Figure BDA00032265535800000517
的输出；
第四个卷积模块为
Figure BDA00032265535800000518
的输入为
Figure BDA00032265535800000519
的输出；
第五个卷积模块为
Figure BDA00032265535800000520
的输入为
Figure BDA00032265535800000521
和
Figure BDA00032265535800000522
的输出；
第六个卷积模块为
Figure BDA00032265535800000523
的输入为
Figure BDA00032265535800000524
的输出；
第七个卷积模块为
Figure BDA00032265535800000525
的输入为
Figure BDA00032265535800000526
的输出；
第八个卷积模块为
Figure BDA00032265535800000527
的输入为
Figure BDA00032265535800000528
的输出；
第九个卷积模块为
Figure BDA00032265535800000529
的输入为
Figure BDA00032265535800000530
SPP模块的输出；
第十个卷积模块为
Figure BDA0003226553580000061
的输入为
Figure BDA0003226553580000062
的输出；
第十一个卷积模块为
Figure BDA0003226553580000063
的输入为
Figure BDA0003226553580000064
的输出。
此外，设置SPP模块，SPP模块的输入为
Figure BDA0003226553580000065
的输出。
对于第二、三、四卷积模块
Figure BDA0003226553580000066
和第六个卷积模块
Figure BDA0003226553580000067
基本一致，数学表达式如下：
Figure BDA0003226553580000068
第五个卷积模块
Figure BDA0003226553580000069
不同于之前的四个，该模块相对于第三个卷积模块
Figure BDA00032265535800000610
并没有进行降采样操作，而是直接恒等映射，并且该模块还融合了第四个卷积模块
Figure BDA00032265535800000611
和第七个卷积模块
Figure BDA00032265535800000612
的上采样特征图，数学表达式如下：
Figure BDA00032265535800000613
第七个卷积模块
Figure BDA00032265535800000614
和第八个卷积模块
Figure BDA00032265535800000615
拥有相同的融合方式，数学表达式如下：
Figure BDA00032265535800000616
第九个卷积模块
Figure BDA00032265535800000617
的输入来自第六个卷积模块
Figure BDA00032265535800000618
的输出，并没有进行降采样操作。因为，第五个卷积模块
Figure BDA00032265535800000619
输出特征图是输入的影像经过了四次降采样操作，很多小目标的特征已经变得很不明显了，为此，利用第八个卷积模块和空间金字塔池化模块(Spatial Pyramid Pooling，SPP)来对这些小目标进行深度特征提取。
Figure BDA00032265535800000620
其中，fspp表示空间金字塔池化层输出的特征图。
第十个卷积操作模块
Figure BDA00032265535800000621
分别融合了浅层的纹理信息特征和深层的语义信息特征，数学表达式如下：
Figure BDA00032265535800000622
大目标往往具有较大的尺度，从全局的角度更利于大目标的检测，因此利用四次降采样后的特征图进行坐标预测和目标识别任务，第十一个卷积模块
Figure BDA0003226553580000071
数学表达式如下：
Figure BDA0003226553580000072
通过上述十一个卷积模块来分别提取浅层以及深层的纹理和语义信息，以此来增加模型的特征表征能力，从而增加模型的检测性能。
本发明优选提出了基于一阶目标检测网络框架，该框架包括三个模块，分别为骨干模块(Backbone)、颈部模块(Neck)和检测头模块(Head)；
骨干模块(Backbone)包括第一个卷积模块、第二个卷积模块、第三个卷积模块、第四个卷积模块、第六个卷积模块；
颈部模块(Neck)包括第五个卷积模块、第七个卷积模块、第九个卷积模块和SPP模块；
检测头模块(Head)包括第八个卷积模块、第十个卷积模块和第十一个卷积模块。
骨干模块的输入是RGB图像，输出是高维度特征图，它是由五个特征图块组成，分别表示不同的空间分辨率的特征图，每个特征图块都是由基础特征提取单元构成(参见图4)，第一个特征图块的输入是RGB图像，后面四个特征图块中，前一个特征图块的输出是后一个特征图块的输入；
颈部模块包括三种空间分辨率的特征图和一个SPP模块，每种分辨率特征图所在卷积层的输入是骨干模块在三种不同的分辨率下输出的特征图，不同分辨率特征图都是由基础特征提取单元构成，SPP模块的输入是第六个模块的输出；
检测头模块的输入连接到颈部模块三种分辨率的输出，该模块包括三种检测头作为对目标的检测输出，从上之下，分别表示对大目标、中等目标以及小目标的检测。每个检测头都是由基础特征提取单元构成。
实际上，每个卷积模块都是一个基础特征提取单元，参见图4，每个卷积模块是由三个卷积层(CONV_1,CONV_2以及CONV_3)、Bottleneck、CAT以及BN/Leaky_relu组成，其中CONV_1、Bottleneck、CONV_2依次连接，CAT的输入包括CONV_1的输入和CONV_2的输出，CAT的输出连接BN/Leaky_relu的输入，BN/Leaky_relu的输出连接CONV_3的输入-。其中，Bottleneck是由两个卷积为3×3的卷积构成，CAT表示特征向量拼接，BN和Leaky_relu分别表示批归一化和激活函数。空间金字塔池化模块可以有效地捕捉不同尺度下的表征信息，为此实施例采用空间金字塔池化模块来增加模型的鲁棒性，该模块所在位置参加图3SPP模块。
空间金字塔池化模块SPP参见图5，是由三个不同的全局最大池化层(池化核POOL大小分别为5,9,13)对输入特征图全局最大池化，得到三种不同尺度的特征图Featuremaps，大小分别为5×5、9×9、13×13；然后对这三种特征图进行上采样以及特征向量拼接等方法操作得到输出特征图。实施例采用了空间金字塔池化的方法来提取在不同尺度(感受野)下的特征信息，通过三个检测头来实现目标检测任务，参见图5中的SPP模块。
步骤3，模型训练设置，包括对输入影像的预处理、训练实施详情。
由于输入的影像尺寸大小不一致，无法实现批量化加载数据到网络模型进行训练，以及考虑到硬件设备GPU内存的限制。为此，实施例对输入的影像进行统一缩放和裁剪成480×480大小。本步骤采用步骤1所得训练集和验证集进行模型训练，训练集用于模型参数更新和训练；验证集是边训练边验证，验证的结果最好那一次训练，保存训练参数。
模型在训练时，需要Ubuntu 16.04LTS系统，系统环境需要Pytorch 1.6,Python3.6以上。硬件平台需要RTX2080Ti显卡作为主要计算平台，同时CPU内存不低于8G，固态硬盘不小于256G。实施例在进行模型训练时采用的优选设置为，总共训练300个epochs(批次，一个epochs＝150次迭代次数)，每次加载32张图像到模型中进行批量训练，初始学习率设置为0.01，并且每50个epochs降低一次学习率，每次降低到原来的1/10。
步骤4，基于步骤1所得测试集进行测试，包括对已经优化好的模型在创建的数据集上进行测试。
本发明实施例是基于高分辨率的遥感影像进行目标检测任务，通过嵌入式连接获取在不同分辨率下的语义特征，并利用跳跃连接来实现多种特征的整合，从而增强模型的特征表征能力，提升模型的检测性能。
增强型遥感影像目标检测步骤如下:(以下部分是测试步骤，在模型训练完成之后开始进行)
(1)影像处理与裁剪
大部分遥感影像的尺寸大小都超过10000×10000，直接对其进行缩放到480×480会导致大部分信息的丢失。本发明针对所述问题，采用滑动窗口的形式，对大尺寸影像进行分块裁剪，同时保证25％的重叠区域。所裁影像为1000×1000大小，然后进行缩放到480×480大小进行目标检测任务。
(2)分块输入到模型检测
根据上述裁剪的影像，分块输入到设计的增强型目标检测模型中进行检测，并输出检测结果。
(3)非极大值抑制重复边框
由于步骤(1)对大尺度影像进行了25％的重叠裁剪操作，导致重叠部分的目标同时出现在两张影像中，为防止被预测为两个目标。本发明实例采用非极大值抑制的方法来过滤重复预测的目标框，对于任意两个目标框的交并比超过一定阈值的，则判定为重复预测的边框，并进行删除。
(4)输出结果
在经过步骤(3)后，重复预测的边框会被有效地过滤掉，对剩下的目标检测框进行输出，并在原始影像上进行标注出目标信息。
为便于理解本发明的技术效果，提供本发明和传统方法的应用对比如下：
表1性能对比
Figure BDA0003226553580000091
表1是在本发明自行创建的数据集上进行了实验对比，可以看到本发明提供的方法表现出更好的性能。相比与二阶目标检测网络模型Fater RCNN,本发明提供的方法可以有效地将mAP从72.1％提升到97.5％，相比于CNN-SOSF的方法，mAP提升了16.4％。
表2在开源数据集上的性能对比
Figure BDA0003226553580000092
为了进一步验证本发明方法的有效性，采用了国际上开源的数据集进行了对比。表2展示了对比结果，可以看到本发明提供的方法mAP获得了最高的分数，同时对于每一个目标的性能都有一定的提升。
表3检测速度对比
Figure BDA0003226553580000101
表3展示了在输入影像为10000×10000的检测速度对比，可以看到，本发明提供的方法可有效提升模型的性能，同时检测时间在允许范围内，满足星上在轨环境下的目标检测任务。
通过上述两个数据集的对比，采用本发明提供的增强型目标检测网络具有更强的检测性能，同时满足星上在轨环境下的目标实时检测任务。
具体实施时，本发明技术方案提出的方法可由本领域技术人员采用计算机软件技术实现自动运行流程，实现方法的系统装置例如存储本发明技术方案相应计算机程序的计算机可读存储介质以及包括运行相应计算机程序的计算机设备，也应当在本发明的保护范围内。
在一些可能的实施例中，提供一种增强型遥感影像目标检测系统，包括以下模块，
第一模块，用于输入带标注的高分辨率影像数据集；
第二模块，用于设置增强型目标检测模型，包括利用嵌入式连接和跳跃连接的形式来构建一种增强型目标检测模型，通过嵌入式连接来实现不同空间分辨率的特征上采样过程，同时利用跳跃连接来补充丢失的细节信息，实现增强模型特征表征的能力，从而提供一阶目标检测框架实现高分辨率遥感影像目标检测任务；
第三模块，用于模型训练，包括对第二模块所得增强型目标检测模型的训练；
第四模块，用于输出结果，根据第三模块训练后的模型对输入影像进行目标检测所得结果。
在一些可能的实施例中，提供一种增强型遥感影像目标检测系统，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种增强型遥感影像目标检测方法。
在一些可能的实施例中，提供一种增强型遥感影像目标检测系统，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种增强型遥感影像目标检测方法。
在一些可能的实施例中，提供一种增强型遥感影像目标检测系统，包括软件环境、中央处理器、存储器、图形图像处理器，软件环境用于配置系统执行的基本模块以及依赖环境，存储器用于存储所需数据集，图形图像处理器用于执行如上所述增强型遥感影像目标检测方法。
本发明提供的增强型遥感影像目标检测方法不仅可以有效地改进传统方法的性能，还可以应用于星上受限环境下的在轨目标实时检测任务。
本文中所描述的具体实例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (9)

1.一种增强型遥感影像目标检测方法，其特征在于，包括以下步骤：
步骤1，输入带标注的高分辨率影像数据集；
步骤2，设置增强型目标检测模型，包括利用嵌入式连接和跳跃连接的形式来构建一种增强型目标检测模型，通过嵌入式连接来实现不同空间分辨率的特征上采样过程，同时利用跳跃连接来补充丢失的细节信息，实现增强模型特征表征的能力，从而提供一阶目标检测框架实现高分辨率遥感影像目标检测任务；
步骤3，模型训练，包括对步骤2所得增强型目标检测模型的训练；
步骤4，输出结果，根据步骤3训练后的模型对输入影像进行目标检测所得结果。
2.根据权利要求1所述增强型遥感影像目标检测方法，其特征在于：步骤1中采用了我国高分二号卫星和GoogleEarth上的高分辨率遥感影像作为数据源，并通过人工标注目标的形式构建了高分辨率遥感影像目标检测数据集。
3.根据权利要求1所述增强型遥感影像目标检测方法，其特征在于：所述增强型目标检测模型中，设给定的输入图像为X，Ci W×H(·)表示卷积运算，其中W和H分别表示特征图的宽度和高度大小，i用于表示卷积层块的级别，则有
Figure FDA0003226553570000011
Figure FDA0003226553570000012
Figure FDA0003226553570000013
Figure FDA0003226553570000014
Figure FDA0003226553570000015
其中，
Figure FDA0003226553570000016
表示降采样运算，Δ表示上采样运算，
Figure FDA0003226553570000017
表示特征图拼接运算，χi,i∈[0,9]表示输入特征图，fspp表示空间金字塔池化层输出的特征图；
不同空间分辨率的特征图经过上采样或者下采样成相同空间分辨率的特征，并进行特征图拼接的方法叫作嵌入式连接结构，对于相同空间分辨率的特征图之间的拼接，叫作跳跃连接。
4.根据权利要求1所述增强型遥感影像目标检测方法，其特征在于：步骤3中模型训练时，总共训练300个epochs，每次加载32张图像到模型中进行批量训练，初始学习率设置为0.01，并且每50个epochs降低一次学习率，每次降低到原来的1/10。
5.根据权利要求1所述增强型遥感影像目标检测方法，其特征在于：将步骤3中的训练结果进行展示，通过输入高分辨遥感影像，输出检测到的目标类别以及目标被包围的边界框坐标。
6.根据权利要求1或2或3或4或5所述增强型遥感影像目标检测方法，其特征在于：用于星上受限环境下的在轨目标实时检测任务。
7.一种增强型遥感影像目标检测系统，其特征在于：用于实现如权利要求1-6所述的一种增强型遥感影像目标检测方法。
8.根据权利要求7所述增强型遥感影像目标检测系统，其特征在于：包括以下模块，
第一模块，用于输入带标注的高分辨率影像数据集；
第二模块，用于设置增强型目标检测模型，包括利用嵌入式连接和跳跃连接的形式来构建一种增强型目标检测模型，通过嵌入式连接来实现不同空间分辨率的特征上采样过程，同时利用跳跃连接来补充丢失的细节信息，实现增强模型特征表征的能力，从而提供一阶目标检测框架实现高分辨率遥感影像目标检测任务；
第三模块，用于模型训练，包括对第二模块所得增强型目标检测模型的训练；
第四模块，用于输出结果，根据第三模块训练后的模型对输入影像进行目标检测所得结果。
9.根据权利要求7所述的增强型遥感影像目标检测系统，其特征在于：包括软件环境、中央处理器、存储器、图形图像处理器，软件环境用于配置系统执行的基本模块以及依赖环境，存储器用于存储所需数据集，图形图像处理器用于执行如权利要求1-6所述增强型遥感影像目标检测方法。
CN202110972902.1A 2021-08-24 2021-08-24 一种增强型遥感影像目标检测方法及系统 Pending CN113743487A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110972902.1A CN113743487A (zh) 2021-08-24 2021-08-24 一种增强型遥感影像目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110972902.1A CN113743487A (zh) 2021-08-24 2021-08-24 一种增强型遥感影像目标检测方法及系统

Publications (1)

Publication Number Publication Date
CN113743487A true CN113743487A (zh) 2021-12-03

Family

ID=78732459

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110972902.1A Pending CN113743487A (zh) 2021-08-24 2021-08-24 一种增强型遥感影像目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN113743487A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115641506A (zh) * 2022-11-04 2023-01-24 中咨数据有限公司 基于深度学习的拌合站遥感影像识别方法、系统及应用

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115641506A (zh) * 2022-11-04 2023-01-24 中咨数据有限公司 基于深度学习的拌合站遥感影像识别方法、系统及应用

Similar Documents

Publication Publication Date Title
CN110738207B (zh) 一种融合文字图像中文字区域边缘信息的文字检测方法
CN109960742B (zh) 局部信息的搜索方法及装置
CN111862126A (zh) 深度学习与几何算法结合的非合作目标相对位姿估计方法
CN111553247B (zh) 一种基于改进骨干网络的视频结构化系统、方法及介质
US20220156483A1 (en) Efficient three-dimensional object detection from point clouds
CN113052109A (zh) 一种3d目标检测系统及其3d目标检测方法
CN116188999B (zh) 一种基于可见光和红外图像数据融合的小目标检测方法
CN109977834B (zh) 从深度图像中分割人手与交互物体的方法和装置
CN113536963A (zh) 基于轻量化yolo网络的sar图像飞机目标检测方法
Chen et al. Object detection of optical remote sensing image based on improved faster RCNN
Yildirim et al. Ship detection in optical remote sensing images using YOLOv4 and Tiny YOLOv4
CN113743487A (zh) 一种增强型遥感影像目标检测方法及系统
CN112800851B (zh) 基于全卷积神经元网络的水体轮廓自动提取方法及系统
CN113537017A (zh) 基于级联型回归修正的光学遥感图像飞机检测方法和装置
CN108241869A (zh) 一种基于快速可变形模型和机器学习的图像目标识别方法
CN116704324A (zh) 基于水下图像的目标检测方法、系统、设备以及存储介质
CN114663654B (zh) 一种改进YOLOv4网络模型及小目标检测方法
Bolten et al. Evaluation of Deep Learning based 3D-Point-Cloud Processing Techniques for Semantic Segmentation of Neuromorphic Vision Sensor Event-streams.
CN113902744B (zh) 基于轻量级网络的图像检测方法、系统、设备和存储介质
Devyatkin et al. Neural network traffic signs detection system development
Yang et al. UAV Landmark Detection Based on Convolutional Neural Network
CN112116561B (zh) 基于图像处理融合网络权值的电网传输线检测方法及装置
CN113743346A (zh) 图像识别方法、装置、电子设备及存储介质
CN114627183A (zh) 一种激光点云3d目标检测方法
CN114330708A (zh) 基于点云数据的神经网络训练方法、系统、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination