CN114359709A

CN114359709A - 一种针对遥感图像的目标检测方法及装置

Info

Publication number: CN114359709A
Application number: CN202111484783.1A
Authority: CN
Inventors: 毕福昆; 孙宇; 郦丽; 后兴海; 侯正方
Original assignee: Beijing North Zhitu Information Technology Co ltd
Current assignee: Beijing North Zhitu Information Technology Co ltd
Priority date: 2021-12-07
Filing date: 2021-12-07
Publication date: 2022-04-15

Abstract

本发明提供一种针对遥感图像的目标检测方法及装置，包括：确定目标遥感影像；将目标遥感影像输入至目标检测模型，获取目标检测模型输出的目标检测结果；目标检测结果包括目标遥感影像中的目标种类和目标位置；目标检测模型是基于样本遥感影像，以及样本遥感影像中的目标种类样本和目标位置样本训练得到的，用于检测目标遥感影像中的目标种类和目标位置；目标检测模型是基于密集型特征金字塔网络构建的；密集型特征金字塔网络包括上采样特征金字塔网络和下采样特征金字塔网络。本发明提供的针对遥感图像的目标检测方法及装置，通过基于密集型特征金字塔网络构建目标检测模型，能够融合不同尺度目标的特征，进而提高不同尺度目标的检测准确率。

Description

一种针对遥感图像的目标检测方法及装置

技术领域

本发明涉及人工智能技术领域，尤其涉及一种针对遥感图像的目标检测方法及装置。

背景技术

随着卫星成像和深度学习的发展，遥感目标检测成为了计算机视觉研究中的热点问题，可广泛应用于导航、灾害预警、建筑物检测等领域。

在深度学习处理遥感目标检测的问题中，由于卷积神经网络具有很强的空间上下文信息挖掘能力，因此被广泛应用于遥感影像的目标检测。

现有的卷积神经网络并不能很好地对于遥感影像中尺度差异大的目标进行精准检测。

发明内容

针对现有技术存在的问题，本发明实施例提供一种针对遥感图像的目标检测方法及装置。

本发明提供一种针对遥感图像的目标检测方法，包括：确定目标遥感影像；

将所述目标遥感影像输入至目标检测模型，获取所述目标检测模型输出的目标检测结果；所述目标检测结果包括所述目标遥感影像中的目标种类和目标位置；

所述目标检测模型是基于样本遥感影像，以及所述样本遥感影像中的目标种类样本和目标位置样本训练得到的，所述目标检测模型用于检测所述目标遥感影像中的目标种类和目标位置；

所述目标检测模型是基于密集型特征金字塔网络构建的；所述密集型特征金字塔网络包括上采样特征金字塔网络和下采样特征金字塔网络。

根据本发明提供的针对遥感图像的目标检测方法，所述目标检测模型包括特征提取网络、所述密集型特征金字塔网络和检测网络；

所述将所述目标遥感影像输入至目标检测模型，获取所述目标检测模型输出的目标检测结果，包括：

将所述目标遥感影像输入至所述特征提取网络，获取所述特征提取网络输出的所述目标遥感影像的多个尺度的特征图像；

将每个特征图像分别输入至所述上采样特征金字塔网络中对应尺度的上采样尺度层，获取每个上采样尺度层输出的上采样输出特征；

将每个上采样输出特征分别输入至所述下采样特征金字塔网络中对应尺度的下采样尺度层，获取每个下采样尺度层输出的融合特征图；

将每个融合特征图输入至所述检测网络，以获取所述目标检测结果。

根据本发明提供的针对遥感图像的目标检测方法，所述将每个特征图像分别输入至所述上采样特征金字塔网络中对应尺度的上采样尺度层，获取每个上采样尺度层输出的上采样输出特征，包括：

将任一尺度的特征图像输入至所述上采样特征金字塔网络的对应尺度层中，由所述上采样特征金字塔网络的对应尺度层对所述任一尺度的特征图像与所述任一尺度的上一尺度的特征图像的上采样特征，以及所述上一尺度的尺度层输出的上采样输出特征进行融合，得到所述任一尺度的尺度层输出的上采样输出特征。

根据本发明提供的针对遥感图像的目标检测方法，所述将每个上采样输出特征分别输入至所述下采样特征金字塔网络中对应尺度的下采样尺度层，获取每个下采样尺度层输出的融合特征图，包括：

将任一尺度的上采样输出特征输入至所述下采样特征金字塔网络的对应尺度层中，由所述下采样特征金字塔网络的对应尺度层对所述任一尺度的特征图像与所述任一尺度的下一尺度的上采样输出特征的下采样特征，以及所述下一尺度的尺度层输出的融合特征图进行融合，得到所述任一尺度的尺度层输出的融合特征图。

根据本发明提供的针对遥感图像的目标检测方法，所述特征提取网络包括多个依次连接的残差模块；所述将所述目标遥感影像输入至所述特征提取网络，获取所述特征提取网络输出的所述目标遥感影像的多个尺度的特征图像，包括：

将所述目标遥感影像输入至所述特征提取网络，获取由所述特征提取网络中多个残差模块输出的所述多个尺度的特征图像；

所述特征提取网络中的每个残差模块中均包括注意力模块。

根据本发明提供的针对遥感图像的目标检测方法，所述确定目标遥感影像，包括：

获取初始遥感影像；

对所述初始遥感影像进行尺寸归一化处理，确定所述目标遥感影像。

本发明还提供一种针对遥感图像的目标检测装置，包括：

确定单元，用于确定目标遥感影像；

获取单元，用于将所述目标遥感影像输入至目标检测模型，获取所述目标检测模型输出的目标检测结果；所述目标检测结果包括所述目标遥感影像中的目标种类和目标位置；

根据本发明提供针对遥感图像的目标检测装置，还包括：

归一化模块，用于对初始遥感影像进行尺寸归一化处理，确定所述目标遥感影像。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述针对遥感图像的目标检测方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述针对遥感图像的目标检测方法的步骤。

本发明提供的针对遥感图像的目标检测方法及装置，通过基于密集型特征金字塔网络构建目标检测模型，能够融合不同尺度目标的特征，进而提高不同尺度目标的检测准确率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的针对遥感图像的目标检测方法的流程示意图；

图2是本发明提供的目标检测模型的结构示意图之一；

图3是本发明提供的目标检测模型的结构示意图之二；

图4是本发明提供的密集型金字塔网络的结构示意图；

图5是本发明提供的特征金字塔网络的结构示意图；

图6是本发明提供的基于SGE注意力的残差单元的结构示意图；

图7是本发明提供的SGE注意力模块的结构示意图；

图8是本发明提供的针对遥感图像的目标检测装置的结构示意图；

图9是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本发明实施例的描述中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

目标检测的主流神经网络，包括基于区域建议的神经网络和基于边界框回归的神经网络。

基于区域建议的神经网络大多数是二阶段网络，首先根据区域建议网络获取大致的目标位置，然后再精确预测目标的类别并回归出精确的预测框。这种循序渐进的学习策略使得网络的检测精度较高，但也导致了检测耗时较长，难以做到高效处理，并且对于输入图像尺寸较大的遥感影像训练时间过长，这类网络的典型代表如递归卷积神经网络(Region with Convolutional Neural Network feature)系列，包括Fast RCNN、FasterRCNN和Mask RCNN等。

基于边界框回归的神经网络大多是单阶段网络，将整个预测过程视为一个回归过程，过程的简化不仅没有丢失太多精度，还带来了速度的提高，这类网络的代表如：单发多框检测(Single Shot Detection，SSD)、单阶段的目标检测算法(YOLO系列)、EfficientDet等。

YOLO系列网络是典型的基于回归的神经网络，目前已经开发了YOLO、YOLOv2、YOLOv3和YOLOv4等多个版本。在这些版本中，YOLOv3、YOLOv4在面对传统目标检测应用需求时，速度和精度两方面都达到了较好的折衷，在能够满足实时应用需求的同时，并达到良好的精度。然而，将它们直接应用于遥感影像检测时，存在尺度差异大的目标的检测精度较低，同时在复杂场景中，常常会漏检小目标的问题。

如何针对遥感影像特性，有效地设计出鲁棒性和适应性强的高效目标检测算法是亟需解决的关键问题。

下面结合图1至图9描述本发明实施例所提供的针对遥感图像的目标检测方法及装置。

图1是本发明提供的针对遥感图像的目标检测方法的流程示意图，如图1所示，包括但不限于以下步骤：

首先，在步骤S1中，确定目标遥感影像。

具体地，选取待识别的初始遥感影像，对初始遥感影像进行去噪和图像增强处理，确定处理好的目标遥感影像。

进一步地，在步骤S2中，将所述目标遥感影像输入至目标检测模型，获取所述目标检测模型输出的目标检测结果；所述目标检测结果包括所述目标遥感影像中的目标种类和目标位置；

为了使输出的每个检测结果包含不同尺度目标的特征信息，相比于传统的特征金字塔只有自上而下的特征融合方式，密集型特征金字塔网络还加入了自下而上的特征融合，以及类似密集卷积网络(Densely connected convolutional Networks，DenseNet)跳跃连接的方式，更利于梯度的传播，最终输入的每个检测结果能深度包含不同尺度的目标信息，提高目标检测模型对不同尺度目标的检测性能。

基于密集型特征金字塔网络(Dense-Feature Pyramid Networks，Dense-FPN)构建目标检测模型，以实现对图像中多尺度目标的检测。

目标检测模型可以是利用带有目标种类标签和目标位置标签的遥感影像进行训练后得到的。

在目标检测模型中，首先，特征提取网络提取出4种尺寸的特征图像。

进一步地，通过密集型特征金字塔网络对4个特征图像进行融合，最终密集型特征金字塔网络的4个尺度的尺度层共输出4个经过特征融合后的融合特征图，每个尺度层各输出一个融合特征图。

进一步地，通过对4个融合后的特征图进行通道卷积，输出的4个检测结果。

进一步地，4个检测结果中的参数均包含了先验框修正参数和类别参数来进行目标的定位和分类，对4个检测结果的特征图进行先验框修正后，得到特征图中目标的相对位置。

进一步地，把相对位置映射回原始图像坐标后，用非极大值抑制对不同层间的重叠结果进行合并，得到最终的目标检测结果。

目标检测模型输出的检测结果包括目标种类和目标位置。其中目标种类可以包括：飞机、轮船等目标；目标位置可以为识别出的每个目标在目标遥感影像上的坐标位置。

本发明提供的针对遥感图像的目标检测方法，通过基于密集型特征金字塔网络构建目标检测模型，能够融合不同尺度目标的特征，进而提高不同尺度目标的检测准确率。

可选地，所述确定目标遥感影像，包括：

获取初始遥感影像；

具体地，选定需要进行目标检测的初始遥感影像，对初始遥感影像的尺寸归一化处理方法可以使用最近邻插值方法，也可以使用双线性插值方法，得到像素尺寸为416×416的目标遥感影像。

本发明提出的基于YOLO的密集型特征金字塔网络，即Dense-FPN-YOLO，能够针对性地解决大视场光学遥感影像中存在的场景复杂、目标尺度差异大、视场大而目标小的问题。

图2是本发明提供的目标检测模型的结构示意图之一，如图2所示，所述目标检测模型包括特征提取网络、密集型特征金字塔网络和检测网络；

图3是本发明提供的目标检测模型的结构示意图之二，图4是本发明提供的密集型金字塔网络的结构示意图，如图2至图4所示，密集型特征金字塔网络包括：第一尺度层、第二尺度层和第三尺度层，还包括第四尺度层(Scale 4for small object detection)。

所述第一尺度层包括依次连接的第一卷积块，第一连接块、第二连接块和第三连接块。在第一尺度层中，第一卷积块包括：5个卷积块(CBL)；第一连接块、第二连接块和第三连接块均包括：5个CBL和1个张量拼接层(concat)。

所述第二尺度层包括依次连接的第四连接块、第五连接块和第六连接块；在第二尺度层中，第四连接块、第五连接块和第六连接块均包括：5个CBL和1个concat。

所述第三尺度层包括依次连接的第七连接块、第八连接块和第九连接块；在第三尺度层中，第七连接块、第八连接块和第九连接块均包括：5个CBL和1个concat。

所述第四尺度层包括依次连接的第十连接块、第十一连接块、第一连接层、第二卷积块；在第四尺度层中，第十连接块和第十一连接块均包括：5个CBL和1个concat；第一连接层包括1个concat；第二卷积块包括5个CBL。

所述第一卷积块的输入端作为所述第一尺度层的输入端；

所述第三连接块的输出端作为所述第一尺度层的输出端；

所述第一卷积块的输出端连接所述第三连接块的输入端；

所述第一卷积块的输出端通过第一上采样模块连接所述第四连接块的输入端；

所述第四连接块的输入端作为所述第二尺度层的输入端；

所述第六连接块的输出端作为所述第二尺度层的输出端；

所述第二尺度层的输入端通过第二上采样模块连接所述第七连接块的输入端；

所述第四连接块的输出端通过第三上采样模块连接所述第八连接块的输入端；

所述第四连接块的输出端通过第一下采样模块连接所述第一连接块的输入端；

所述第四连接块的输出端还连接所述第六连接块的输入端；

所述第五连接块的输出端通过第二下采样模块连接所述第二连接块的输入端；

所述第六连接块的输出端通过第三下采样模块连接所述第三连接块的输入端；

所述第七连接块的输入端作为所述第三尺度层的输入端；

所述第九连接块的输出端作为所述第三尺度层的输出端；

所述第八连接块的输出端通过第四下采样模块连接所述第五连接块的输入端；

所述第九连接块的输出端通过第五下采样模块连接所述第六连接块的输入端。

所述第十连接块的输入端作为所述第四尺度层的输入端；

所述第二卷积块的输出端作为所述第四尺度层的输出端；

所述第三尺度层的输入端通过第四上采样模块连接所述第十连接块的输入端；

所述第七连接块的输出端通过第五上采样模块连接所述第十一连接块的输入端；

所述第八连接块的输出端通过第六上采样模块连接所述第一连接层的输入端；

所述第二卷积块的输出端通过第六下采样模块连接所述第九连接块的输入端。

第一上采样模块、第二上采样模块、第三上采样模块、第四上采样模块、第五上采样模块和第六上采样模块均包括：1个CBL和1个上采样(up sample)。

第一下采样模块、第二下采样模块、第三下采样模块、第四下采样模块、第五下采样模块和第六下采样模块均包括：1个下采样(down sample)。

可选地，所述将每个特征图像分别输入至所述上采样特征金字塔网络中对应尺度的上采样尺度层，获取每个上采样尺度层输出的上采样输出特征，包括：

可选地，所述将每个上采样输出特征分别输入至所述下采样特征金字塔网络中对应尺度的下采样尺度层，获取每个下采样尺度层输出的融合特征图，包括：

目标检测模型包括特征提取网络和密集型特征金字塔网络。经过特征提取网络对目标遥感影像进行特征提取后，得到了四个不同大小的特征图像。

图5是本发明提供的特征金字塔网络的结构示意图，如图5所示，在输入图像(Input Image)之后，YOLOv3原本只对后三个特征图像进行融合得到对应的三个检测结果(predict)，然而这样设计的网络对小目标检测效果并不理想，本发明提供的密集型特征金字塔网络在原有的三个检测结果的基础上，新增加了第四检测结果来融合小目标的特征信息，以提高小目标的检测性能。

YOLOv3针对大小不同的目标采用不同的检测结果进行检测，对于尺寸为416×416的输入图像，三个检测结果的大小分别为13×13、26×26、52×52，即三个检测结果的特征图分别向下采样8次、16次和32次，特征图的大小越小，输入图像中每个网格单元对应的区域就越大，相反，特征地图的大小越大，输入图像中每个网格单元对应的区域就越小。这意味着13×13检测结果适合检测大目标,而52×52的检测结果适合检测小目标检测，然而52×52的检测结果相比于原图下采样了8倍，即目标的大小小于8×8时，经过特征提取网络进行特征提取处理后，其在特征图所占的空间可能小于1个像素，这使得小目标很难被检测到。一般来说，遥感影像中包含大量的小目标，为了进一步提高遥感影像中小目标的检测性能，添加一层104×104的第四检测结果来检测小目标，改进后的网络结构加入了104×104×255的小目标检测结果。

检测网络，包括：第三卷积块、第四卷积块、第五卷积块和第六卷积块；

所述第一尺度层的输出端连接所述第三卷积块的输入端，所述第三卷积块的输出端用于输出第一检测结果P5；

所述第二尺度层的输出端连接所述第四卷积块的输入端，所述第四卷积块的输出端用于输出第二检测结果P4；

所述第三尺度层的输出端连接所述第五卷积块的输入端，所述第五卷积块的输出端用于输出第三检测结果P3；

所述第四尺度层的输出端连接所述第六卷积块的输入端，所述第六卷积块的输出端用于输出第四检测结果P2。

其中，第三卷积块、第四卷积块、第五卷积块和第六卷积块均包括：1个CBL和1个卷积层(Conv层)。其中，CBL包括依次连接的Conv、BN和Leaky relu函数。

每个检测结果中的参数均包含了先验框修正参数和类别参数来进行目标的定位和分类。根据大小不同的目标采用不同的检测结果进行检测，针对较小的目标，为了提高小目标的检测准确率，加入了一层更大的104×104分辨率的特征图像进行小目标的检测。

在增加了第四检测结果之后，Dense-FPN针对大小不同的目标采用不同的检测结果进行检测，四个检测结果的特征图分别向下采样4次、8次、16次和32次，其中下采样4次的特征图即是新加的小目标检测结果。特征图的大小越小，输入图像中每个网格单元对应的区域就越大，相反，特征地图的大小越大，输入图像中每个网格单元对应的区域就越小。一般来说，遥感影像中包含大量的小目标，为了进一步提高遥感影像中小目标的检测性能，使用下采样4次的检测结果来检测小目标。

原本的YOLOv3中使用了特征金字塔网络的结构来横向融合采样前后的语义信息，然而，简单的横向连接并不能很好的融合采样前的语义信息，因此本发明提出的密集型特征金字塔网络(Dense-FPN)，为了解决大视场下小目标难以检测的问题，在原有YOLOv3的三个检测结果的基础上加入更大的第四检测结果，使密集型特征金字塔网络达到了四层的深度，通过不断的上下采样与特征融合使得最终生成的四个检测结果都能深度融合不同尺度目标的特征信息，以保留较小目标的特征信息，提高了对不同尺度目标尤其是小目标的检测精度和检测能力。

由于深度学习类的算法能力和其训练时提取到的特征表达息息相关，不同于传统光学图像，遥感影像数据集的背景相对复杂。因此在光学遥感影像的处理领域，直接采用卷积神经网络进行特征提取的效果相对较差。本专利通过在特征提取网络中加入注意力机制，提高特征提取网络提取特征的能力来提升网络检测性能。

可选地，所述特征提取网络包括多个依次连接的残差模块；所述将所述目标遥感影像输入至所述特征提取网络，获取所述特征提取网络输出的所述目标遥感影像的多个尺度的特征图像，包括：

所述特征提取网络中的每个残差模块中均包括注意力模块。

在图2和图3中，所述特征提取网络包括依次连接的第一残差模块，第二残差模块、第三残差模块、第四残差模块和第五残差模块；

第一残差模块的输出端连接所述第一连接层的输入端；

所述第二残差模块的输出端同时连接所述第四尺度层的输入端和所述第八连接块的输入端；

所述第三残差模块的输出端连接所述第三尺度层的输入端；

所述第四残差模块的输出端连接所述第二尺度层的输入端；

所述第五残差模块的输出端连接所述第一尺度层的输入端。

在特征提取网络中，第一残差模块包括：1个CBL和1个残差单元(SGERes1)；第二残差模块包括：1个残差单元(SGERes2)；第三残差模块包括：1个残差单元(SGERes8)；第四残差模块包括：1个残差单元(SGERes8)；第五残差模块包括：1个残差单元(SGERes4)。注意力机制(Spatial Group-wise Enhance，SGE)模块是一个轻量化的注意力模块，该模块在几乎不增加参数量和计算量的情况下也能让分类与检测性能得到极强的增益。

如图2所示，SGEResX残差模块包括依次连接的CBL和X个SGERes unit。

SGERes unit包括依次连接的CBL和CBSL。

CBSL包括依次连接的Conv、归一化层(BN)、SGE和Leaky relu函数的组合。

图6是本发明提供的基于SGE注意力的残差单元的结构示意图，如图6所示，1个SGEResN残差模块包括CBL，以及N个依次连接的CBL、Conv、归一化层(BN)、SGE和Leaky relu函数的组合。

特征提取网络是基于骨干网络Darknet53构建的，由大量残差单元组成，得益于这些残差结构，Darknet堆叠到53层也能够被有效的训练到，不会出现梯度爆炸或是梯度消失的问题。但是，单独残差模块中的分层连接使感受野仅仅捕获到了细节信息，丧失了全局特性，使得在复杂场景中每一层中的特征没有得到充分有效的提取。

光学遥感影像的背景复杂，目标特征不明显，会导致卷积神经网络检测精度较低，为提高网络在复杂场景中提取有效特征的能力，本发明在残差单元中加入了SGE模块，SGE模块的轻量化和针对高阶语义特征的有效性，SGE模块可以和Darknet53完美契合，通过提高特征提取网络的网络提取特征的能力来提升网络检测性能，使得特征提取网络能够在复杂场景中快速提取到目标关键的特征信息。

图7是本发明提供的SGE注意力模块的结构示意图，如图7所示，由于一个完整的特征是由许多子特征组成的，并且这些子特征会以组的形式分布在每一层的特征里，但是这些子特征会经由相同方式处理，都会有背景噪声影响，这样会导致错误的识别和定位结果。所以SGE模块的加入能够在每个组里生成注意力因子，这样就能得到每个子特征的重要性，每个特征组也可以有针对性的学习和抑制噪声。具体步骤如下：

将特征图(feature map)按通道维度分为G个组；对每个组单独进行注意力学习；对组进行全局平均池化(Global average pooling)得到向量g；进行池化之后的g与原特征组进行元素对应点乘(Position-wise Dot Product)；归一化(Normalization)后再使用Sigmoid函数(激活赋予权重)进行激活；最后与原特征组进行元素对应点乘。

在图2中，原始的目标遥感影像经过不断卷积后得到的特征图按照通道维度经过SGE模块，得到每组特征的注意力因子并映射到相应特征图的位置，最终输出语义特征增强后的特征图像。

经过骨干网络SGEDarknet53提取特征和为了小目标检测的第四尺度层的设计后，需要Dense-FPN对C2、C3、C4、C5层四个尺度上不同目标的特征图像进行不断的采样融合，其中，C3、C4、C5每一层的特征图像都要上采样与前一层进行特征融合，融合后的特征图再上采样与前一层融合，直到到达顶层C2层，从而产生了中间的隐层H2、H3、H4、H5。

进一步地，中间的隐层H2、H3、H4每一层的特征图都要下采样与下一层进行特征融合，融合后的特征图再次下采样与下一层融合，直到到达底层H5层，得到4个融合特征图，再对4个融合特征图进行通道卷积，生成P2、P3、P4、P5共4个检测结果，并且通过跳跃连接所有层进行通道合并，最终根据最后的四层检测结果生成检测结果，实现特性重用，这种连接的方式更利于梯度的反向传播，可以更好地利用特征信息，提高层间信息的传递效率。

可以使用K均值算法为4个检测结果生成相应的锚框，通过K均值算法生成的锚框和标注框具有较大的交并比，更有利于网络的收敛，步骤如下。

步骤1，从数据中选择k个样本作为初始聚类中心：(W_i,H_i),i∈{1,2,…k}，其中，(W_i,H_i)代表锚框的宽高；

步骤2，计算每个真实框到聚类中心的距离；

步骤3，再次计算每个聚类中心(W_i’,H_i’),i∈{1,2,…k}，具体为：

步骤4，重复步骤2至步骤3步直到聚类收敛，获取锚框。

利用K均值算法，最终为四个检测结果生成了4种不同尺度的先验框，共计12个锚框：(21，25)、(25，31)、(33，39)、(44，51)、(59，81)、(84，95)、(104，116)、(119，148)、(161，184)、(221，201)、(246，213)、(259，278)。

其中，(21，25)、(25，31)、(33，39)三个锚框为添加的104×104大小的第四检测结果而设计的，它们可以用来检测遥感影像中的小目标，例如直升机、汽车等，通常这些小目标只有几个像素的大小。

进一步地，通过对预设的先验框的修正，检测结果输出预测结果。具体的，利用4种不同尺度的先验框对检测结果进行预测，根据先验框的包含物体情况，神经网络的前向传播和反向传播会矫正先验框的坐标参数，输出修正后的结果，其最终的数据结果为修正后的锚框坐标。该操作通过对生成的先验锚框进行中心点的偏移和宽高的放缩以使生成的先验锚框能够对输入图像中的目标进行定位。

进一步地，将不同尺度检测结果的修正结果坐标映射回原始图像坐标后，产生同一目标的多个预测边框，因此使用非极大值抑制对不同层间的重叠结果进行合并，以得到原始大视场光学遥感影像的最终的目标检测结果。

进一步地，在融合后的四层检测结果上输出检测结果，并通过非极大值抑制进行合并以得到最终的目标检测结果。

根据本发明提供的针对遥感图像的目标检测方法，目标检测模型具有较强的鲁棒性和适应性。

图8是本发明提供的针对遥感图像的目标检测装置的结构示意图，如图8所示，包括：

确定单元801，用于确定目标遥感影像；

获取单元802，用于将所述目标遥感影像输入至目标检测模型，获取所述目标检测模型输出的目标检测结果；所述目标检测结果包括所述目标遥感影像中的目标种类和目标位置；

首先，确定单元801确定目标遥感影像。

进一步地，获取单元802将所述目标遥感影像输入至目标检测模型，获取所述目标检测模型输出的目标检测结果；所述目标检测结果包括所述目标遥感影像中的目标种类和目标位置；所述目标检测模型是基于样本遥感影像，以及所述样本遥感影像中的目标种类样本和目标位置样本训练得到的，所述目标检测模型用于检测所述目标遥感影像中的目标种类和目标位置；所述目标检测模型是基于密集型特征金字塔网络构建的；所述密集型特征金字塔网络包括上采样特征金字塔网络和下采样特征金字塔网络。

为了使输出的每个检测结果包含不同尺度目标的特征信息，相比于传统的特征金字塔网络只有自上而下的特征融合方式，密集型特征金字塔网络还加入了自下而上的特征融合，以及类似DenseNet跳跃连接的方式，更利于梯度的传播，最终输入的每个检测结果能深度包含不同尺度的目标信息，提高目标检测模型对不同尺度目标的检测性能。

基于Dense-FPN构建目标检测模型，以实现对图像中多尺度目标的检测。

本发明提供的针对遥感图像的目标检测装置，通过基于密集型特征金字塔网络构建目标检测模型，能够融合不同尺度目标的特征，进而提高不同尺度目标的检测准确率。

可选地，针对遥感图像的目标检测装置还包括：归一化模块，用于对初始遥感影像进行尺寸归一化处理，确定所述目标遥感影像。

具体地，归一化模块选定需要进行目标检测的初始遥感影像，对初始遥感影像的尺寸归一化处理方法可以使用最近邻插值方法，也可以使用双线性插值方法，得到像素尺寸为416×416的目标遥感影像。

需要说明的是，本发明实施例提供的针对遥感图像的目标检测装置，在具体执行时，可以基于上述任一实施例所述的针对遥感图像的目标检测方法来实现，对此本实施例不作赘述。

图9是本发明提供的电子设备的结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行针对遥感图像的目标检测方法，该方法包括：确定目标遥感影像；将目标遥感影像输入至目标检测模型，获取目标检测模型输出的目标检测结果；目标检测结果包括目标遥感影像中的目标种类和目标位置；目标检测模型是基于样本遥感影像，以及样本遥感影像中的目标种类样本和目标位置样本训练得到的，目标检测模型用于检测目标遥感影像中的目标种类和目标位置；目标检测模型是基于密集型特征金字塔网络构建的；密集型特征金字塔网络包括上采样特征金字塔网络和下采样特征金字塔网络。

此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的针对遥感图像的目标检测方法，该方法包括：确定目标遥感影像；将目标遥感影像输入至目标检测模型，获取目标检测模型输出的目标检测结果；目标检测结果包括目标遥感影像中的目标种类和目标位置；目标检测模型是基于样本遥感影像，以及样本遥感影像中的目标种类样本和目标位置样本训练得到的，目标检测模型用于检测目标遥感影像中的目标种类和目标位置；目标检测模型是基于密集型特征金字塔网络构建的；密集型特征金字塔网络包括上采样特征金字塔网络和下采样特征金字塔网络。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的针对遥感图像的目标检测方法，该方法包括：确定目标遥感影像；将目标遥感影像输入至目标检测模型，获取目标检测模型输出的目标检测结果；目标检测结果包括目标遥感影像中的目标种类和目标位置；目标检测模型是基于样本遥感影像，以及样本遥感影像中的目标种类样本和目标位置样本训练得到的，目标检测模型用于检测目标遥感影像中的目标种类和目标位置；目标检测模型是基于密集型特征金字塔网络构建的；密集型特征金字塔网络包括上采样特征金字塔网络和下采样特征金字塔网络。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种针对遥感图像的目标检测方法，其特征在于，包括：

确定目标遥感影像；

2.根据权利要求1所述的针对遥感图像的目标检测方法，其特征在于，所述目标检测模型包括特征提取网络、所述密集型特征金字塔网络和检测网络；

将每个融合特征图输入至所述检测网络，获取所述检测网络输出的所述目标检测结果。

3.根据权利要求2所述的针对遥感图像的目标检测方法，其特征在于，所述将每个特征图像分别输入至所述上采样特征金字塔网络中对应尺度的上采样尺度层，获取每个上采样尺度层输出的上采样输出特征，包括：

4.根据权利要求2所述的针对遥感图像的目标检测方法，其特征在于，所述将每个上采样输出特征分别输入至所述下采样特征金字塔网络中对应尺度的下采样尺度层，获取每个下采样尺度层输出的融合特征图，包括：

5.根据权利要求2所述的针对遥感图像的目标检测方法，其特征在于，所述特征提取网络包括多个依次连接的残差模块；所述将所述目标遥感影像输入至所述特征提取网络，获取所述特征提取网络输出的所述目标遥感影像的多个尺度的特征图像，包括：

所述特征提取网络中的每个残差模块中均包括注意力模块。

6.根据权利要求1至5中任一项所述的针对遥感图像的目标检测方法，其特征在于，所述确定目标遥感影像，包括：

获取初始遥感影像；

7.一种针对遥感图像的目标检测装置，其特征在于，包括：

确定单元，用于确定目标遥感影像；

8.根据权利要求7所述的针对遥感图像的目标检测装置，其特征在于，还包括：

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述针对遥感图像的目标检测方法步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述针对遥感图像的目标检测方法步骤。