CN112446327A - 一种基于无锚框的遥感图像目标检测方法 - Google Patents

Abstract

本发明提供一种基于无锚框的遥感图像目标检测方法，包括以下：建立无锚框的遥感图像目标检测模型，包括：特征提取网络、特征金字塔和无锚框检测器；获取遥感图像，并进行滑动分区，分割得到小尺寸图像；将小尺寸图像输入到特征提取网络中，利用特征金字塔结构，得到三个不同尺度的特征图；将特征图分别输入到无锚框检测器中进行预测，得到目标预测结果；设计多指标融合的损失函数，利用目标预测结果和多指标融合的损失函数完成目标检测模型的训练，得到训练完成的目标检测模型；利用训练完成的目标检测模型进行遥感图像目标检测。本发明提供的有益效果是：建立了一个超参数量少、模型复杂度低、检测精度高的遥感图像目标检测模型。

Description

一种基于无锚框的遥感图像目标检测方法

技术领域

本发明涉及目标检测领域，尤其涉及一种基于无锚框的遥感图像目标检测方法。

背景技术

现有的遥感图像目标检测方法大多采用两种方式：

(1)利用锚框对遥感图像目标进行预测，将锚框与真实框进行匹配，选择匹配度最高的锚框作为最终的预测结果；

(2)利用水平框标记遥感图像的目标，其表现形式为中心点坐标和长宽。

现有的基于预先定义的锚框检测器主要是利用生成的锚框加上偏置量去匹配目标真实框，最后预测边界框结果为匹配度最高的锚框加上中心点的偏置量。但在遥感图像上，利用锚框检测目标需要在一个亿万像素的遥感图像上的每个像素点生成多个锚框，这样会增加大量与锚框相关的超参数，导致消耗大量的计算资源和内存资源，增加模型的训练时长。并且相对于遥感图像的大尺寸，其少量的目标意味着大量的锚框被认定为负样本，导致正负样本不均衡的问题，影响模型的整体性能。另外，目前大多数算法使用的水平框检测已经满足不了遥感图像目标检测的要求，因为在遥感图像中，大多数检测目标呈现出任意方向排列，对于横纵比大或者密集排列的目标，仅仅采用水平框检测将包含过多的冗余信息，影响检测效果。

发明内容

有鉴于此，本发明主要解决了遥感图像目标检测中与锚框相关超参数过多以及目标多方向的问题，提出了一种基于无锚框的遥感图像目标检测方法。首先，利用目标边界框关键点检测代替锚框匹配边界框，提出基于无锚框的遥感图像检测方法；然后，在该模型基础上，建立一个可输出一个旋转角度的检测分支，提出旋转框代替水平框检测目标；最后结合多尺度预测对遥感图像进行目标检测，建立一个超参数量少、模型复杂度低、检测精度高的遥感图像目标检测模型。

本发明提出的一种基于无锚框的遥感图像目标检测方法，具体包括以下步骤：

S101：建立无锚框的遥感图像目标检测模型；所述目标检测模型包括：特征提取网络、特征金字塔和无锚框检测器；

S102：获取遥感图像，并对遥感图像进行滑动分区，分割得到小尺寸图像；

S103：将所述小尺寸图像输入到所述特征提取网络中，利用所述特征金字塔结构，得到三个不同尺度的特征图；

S104：将三个不同尺度的特征图分别输入到无锚框检测器中进行预测，得到目标预测结果；

所述无锚框检测器包括四个预测分支，分别为目标中心点预测分支、长宽预测分支、偏置预测分支和角度预测分支；

所述目标预测结果包括：目标中心点坐标、类别、长宽、中心偏置和角度；

S105：设计多指标融合的损失函数，利用所述目标预测结果和所述多指标融合的损失函数完成所述目标检测模型的训练，得到训练完成的目标检测模型；

所述多指标融合的损失函数包括：类别损失函数L_class、位置损失函数L_loc、偏置损失函数L_off和角度损失函数L_ang；

S106：利用所述训练完成的目标检测模型进行遥感图像目标检测。

进一步地，步骤S102具体为：

获取遥感图像，并利用固定尺寸的滑动窗口将所述遥感图像进行滑动分区，设定不同分区之间的重叠率为a，得到分割之后的小尺寸图像。

进一步地，步骤S103具体为：

所述特征提取网络包括浅层、中间层和底层；所述三个不同尺度的特征图分别为浅层特征图、中间层特征图和底层特征图。

进一步地，步骤S104具体为：

将三个不同尺度的特征图分别输入至无锚框检测器的目标中心点预测分支中，得到不同特征图对应的热力图；利用所述热力图预测目标中心点，得到中心点所属目标的类别；

根据中心点的位置，将三个不同尺度的特征图分别输入至无锚框检测器的位置预测分支中，得到目标的长宽；

将三个不同尺度的特征图分别输入至无锚框检测器的偏置预测分支中，得到目标的偏置；

将三个不同尺度的特征图分别输入至无锚框检测器的角度预测分支中，得到目标角度值。

进一步地，所述类别损失函数，其计算公式如式(1)：

式(1)中α_t、γ都是超参数，N是一张遥感图片中关键点的总数量，p_t表示预测的类别概率；α_t表示每个类别的权重。

进一步地，所述位置损失函数，其计算公式如式(2)：

式(2)中，S为实际中心点位置，

为预测的中心点位置，当预测点与重新点重合时，损失函数为零。

进一步地，所述偏置损失函数，其计算公式如式(3)所示：

式(3)中，p是目标在原遥感图像上的位置，

是目标在不同尺度的特征图上预测的位置，R是原遥感图像到不同尺度的特征图的下采样倍数。

进一步地，所述角度损失函数，其计算公式如式(4)所示：

式(4)中，角度损失函数拟使用Smooth L1损失函数，θ为目标实际旋转角度，

为预测的旋转角度。

所述多指标融合的损失函数，其计算公式如式(5)：

L_total＝L_class+λ_locL_loc+λ_offL_off+λ_angL_ang (5)

式(5)中，λ_loc、λ_off、λ_ang为权重参数。

本发明提供的有益效果是：

(1)建立了一个基于关键点检测的遥感图像目标检测的模型，减少锚框相关超参数量，降低计算复杂度。

(2)针对水平框检测不能很好的贴合目标多角度以及高密度的问题，并且现有的旋转框检测方法存在一些特征不对齐和检测精度不高的问题。在深入研究目前已有方法不足的基础上，加以改进，通过特征对齐卷积等方式提高模型检测精度，并简化模型复杂度，提高该方法的整体优越性。

附图说明

图1是本发明一种基于无锚框的遥感图像目标检测方法流程图；

图2是小尺寸图像输入到特征提取网络的处理过程示意图；

图3是将一个尺度的特征输入至对应检测头的过程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。

请参考图1，一种基于无锚框的遥感图像目标检测方法，包括以下步骤：

S101：建立无锚框的遥感图像目标检测模型；所述目标检测模型包括：特征提取网络、特征金字塔和无锚框检测器；

所述特征提取网络，可选取hourglass104、dla34、resnet等卷积神经网络作为特征提取网络；所述特征提取网络，用于提取遥感图像的特征；

所述特征金字塔，对所述特征提取网络的浅层、中间层和底层的特征图进行特征融合、提高特征图的表征能力；

所述无锚框检测器，用于检测出目标信息；

S102：获取遥感图像，并对遥感图像进行滑动分区，分割得到小尺寸图像；

遥感图像一般至少具有1万*1万的像素，一些超高分辨率的遥感图像甚至达到了10万*10万的像素，面对如此大尺寸的遥感图像，不可能直接输入到模型中运行。

为了能够让模型兼容遥感图像的目标检测，本发明首先对遥感图像进行预处理，将任意大小的遥感图像利用固定尺寸的滑动窗口滑动分区，并设定重叠率为15％以保证所有目标被包含；其次将每个分区的中心点坐标以图片命名的方式记录，以保证坐标可以映射回原图坐标；接着将检测后的数据结果后处理，重叠率15％会导致目标被重复检测，通过非最大值抑制的方法来减少这种重复检测；

S103：将所述小尺寸图像输入到所述特征提取网络中，利用所述特征金字塔结构，得到三个不同尺度的特征图；

请参考图2，图2是小尺寸图像输入到特征提取网络的处理过程示意图；

本实施例中，以512*512的RGB小尺寸图像为例，将该小尺寸图像输入至所述特征提取网络，得到小尺寸图像的特征；

随后利用所述特征金字塔，将小尺寸的图像特征，分为三个不同的尺度，分别为浅层、中间层以及底层三个不同尺度的特征；对应图2中，即为64*64*512、128*128*256、256*256*128(长*宽*通道)，即256、128、64三个尺度；

S104：将三个不同尺度的特征图分别输入到无锚框检测器中进行预测，得到目标预测结果；

请参考图2，图2中的3个head，即为无锚框检测器的检测头；即共有三个检测头，分别对应检测3个不同尺度特征中的目标；

所述无锚框检测器的每个检测头，均包括四个预测分支，分别为目标中心点预测分支、长宽预测分支、偏置预测分支和角度预测分支；

所述目标预测结果包括：目标中心点坐标、类别、长宽、中心偏置和角度；

步骤S104具体为：

将三个不同尺度的特征图分别输入至无锚框检测器的目标中心点预测分支中，得到不同特征图对应的热力图；

请参考图3，图3是将一个尺度的特征输入至对应检测头的过程示意图；

图3中，以中间层128*128*256输入的特征图为例，利用所述热力图预测目标中心点，得到中心点所属目标的类别；图3中classes是所使用的数据集的目标总共的类别数；

根据中心点的位置，将三个不同尺度的特征图分别输入至无锚框检测器的位置预测分支中，得到目标的长宽；

将三个不同尺度的特征图分别输入至无锚框检测器的偏置预测分支中，得到目标的偏置；

将三个不同尺度的特征图分别输入至无锚框检测器的角度预测分支中，得到目标角度值。

S105：设计多指标融合的损失函数，利用所述目标预测结果和所述多指标融合的损失函数完成所述目标检测模型的训练，得到训练完成的目标检测模型；

所述多指标融合的损失函数包括：类别损失函数L_class、位置损失函数L_loc、偏置损失函数L_off和角度损失函数L_ang；

选择的类别损失函数Focal-Loss如下：

其中α_t、γ都是超参数，N是一张图片中关键点的总数量(下面函数的N含义一样)，p_t表示预测的类别概率。α_t表示每个类别的权重，α_t越大则对总损失贡献越小；γ用来控制正负样本不均衡的问题，由公式可知，当γ越大时，对难分样本的损失越大并抑制易分样本的损失。该损失函数一定程度上解决了正负样本不均衡的问题。

针对选取中心点为预测关键点，本发明借鉴CenterNet的思想，通过热力图预测中心点和类别，然后通过中心点回归目标尺寸，最后得到目标的最终位置。具体为将输出特征图的每个像素点当成目标中心点(与锚框检测有类似，只是这里将一个像素点当成一个锚框)，接着利用函数计算每个点的坐标与真实边界框中心点坐标之间的关系，如下：

x，y是目标真实边界框的中心点坐标，

与

是无锚框检测器预测的中心点坐标，σ_p是一个超参数，与下采样的倍数有关，当预测点与真实中心点重合时Y_x,y,z＝1，则该预测点的坐标为目标框中心点。

本发明设计一种基于中心点的位置损失函数，当预测点离真实边界框中心点越远时，惩罚越大，设计的损失函数如下：

S为中心点位置，

为网络预测点，当预测点与重新点重合时，损失函数为零。

当下采样的特征图映射会原图尺寸时会产生一定的精度误差，为了减少这种误差，需要预测一个偏置量

所有预测的关键点均共享这个偏置来抵消误差。并使用L1损失训练偏移量，即偏置损失函数如下：

p是原图位置，

是在输入特征图上预测的位置，R是原图到特征图的下采样倍数。至此，一个标准的无锚框检测器设计完成，该检测器可通过水平边界框检测物体。

在无锚框检测器的基础上，针对遥感图像目标方向多变和密集目标边界框重叠的问题，本发明将无锚框检测器中水平边界框改进为旋转边界框进行多角度目标检测，建立过程如下。

第一步，在无锚框检测器基础上建立角度预测分支，输入是与无锚框检测器相同的特征图，通过几层卷积后输出为角度；第二步，在角度预测分支的输入与输出之间的卷积层加入对齐卷积，缓解目标边界框旋转时特征不对齐的问题，提高检测精度；第三步，设计角度损失函数，保证角度能进行反向传播提高精度。

对齐卷积借鉴变形卷积的思想，利用输出角度值的先验知识将每个特征点加上一个偏置，再将偏置后的特征点作为输出与特征图进行对齐。

在标准卷积中，设Ω＝{0,1,...,H-1}×{0,1,...,W-1}为一个H*W的输入特征图，利用3*3的卷积核对特征图进行卷积操作，其中R＝{(-1,-1),(-1,0),...,(0,1),(1,1)}表示卷积核的相对位置，r∈R，W为权重，对于输出特征映射Y的每个p∈Ω位置，如下：

与标准卷积相比，对齐卷积为每个位置p增加了一个额外的偏移域Ο，即：

其中，对于每个r∈R，位置损失函数定义为：

k为卷积核的尺寸，S表示·该特征图的下采样倍数，R(θ)＝(cosθ,-sinθ:sinθ,conθ)^T为坐标旋转变换公式，θ为旋转角度，X为预测的中心点坐标。偏移域的定义与该损失有关，其在p的偏移位置Ο为：

本发明经过多次实验，使用对齐卷积的测试平均精度mAP值比标准卷积提升约3个点。得出结论，对齐后的特征对目标多角度的表征能力更强，模型的性能更优。

其中，角度损失函数拟使用Smooth L1损失函数，Smooth L1损失函数是在Fast R-CNN中提出的，L1损失的缺点是有折点，不光滑，Smooth L1则对L1做了光滑处理。故本发明的角度损失函数如下：

最终，无锚框的遥感图像目标检测模型的训练总损失定义如下：

L_total＝L_class+λ_locL_loc+λ_offL_off+λ_angL_ang (10)

这里，L_class、L_loc、L_off和L_ang分别为上述提到的类别损失、位置损失、偏置损失以及角度损失，λ_loc、λ_off和λ_ang是可调系数。我们的模型最终根据总损失L_total来训练。

S106：利用所述训练完成的目标检测模型进行遥感图像目标检测。

本发明通过无锚框检测器与角度预测分支结合建立一种基于无锚框的遥感图像多角度目标检测模型，该模型的总损失函数由分类损失函数、位置损失函数、角度损失函数确定，最后，测试模型，，通过实验改进和完善模型，并确定算法的有效性。

本发明提供的有益效果是：

(1)建立了一个基于关键点检测的遥感图像目标检测的模型，减少锚框相关超参数量，降低计算复杂度。

(2)针对水平框检测不能很好的贴合目标多角度以及高密度的问题，并且现有的旋转框检测方法存在一些特征不对齐和检测精度不高的问题。在深入研究目前已有方法不足的基础上，加以改进，通过特征对齐卷积等方式提高模型检测精度，并简化模型复杂度，提高该方法的整体优越性。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于无锚框的遥感图像目标检测方法，其特征在于：具体包括以下步骤：

S101：建立无锚框的遥感图像目标检测模型；所述目标检测模型包括：特征提取网络、特征金字塔和无锚框检测器；

S102：获取遥感图像，并对遥感图像进行滑动分区，分割得到小尺寸图像；

S103：将所述小尺寸图像输入到所述特征提取网络中，利用所述特征金字塔结构，得到三个不同尺度的特征图；

S104：将三个不同尺度的特征图分别输入到无锚框检测器中进行预测，得到目标预测结果；

所述无锚框检测器包括四个预测分支，分别为目标中心点预测分支、长宽预测分支、偏置预测分支和角度预测分支；

所述目标预测结果包括：目标中心点坐标、类别、长宽、中心偏置和角度；

S105：设计多指标融合的损失函数，利用所述目标预测结果和所述多指标融合的损失函数完成所述目标检测模型的训练，得到训练完成的目标检测模型；

所述多指标融合的损失函数包括：类别损失函数L_class、位置损失函数L_loc、偏置损失函数L_off和角度损失函数L_ang；

S106：利用所述训练完成的目标检测模型进行遥感图像目标检测。

2.如权利要求1所述的基于无锚框的遥感图像目标检测方法，其特征在于：步骤S102具体为：

获取遥感图像，并利用固定尺寸的滑动窗口将所述遥感图像进行滑动分区，设定不同分区之间的重叠率为a，得到分割之后的小尺寸图像。

3.如权利要求1所述的基于无锚框的遥感图像目标检测方法，其特征在于：步骤S103具体为：

所述特征提取网络包括浅层、中间层和底层；所述三个不同尺度的特征图分别为浅层特征图、中间层特征图和底层特征图。

4.如权利要求1所述的基于无锚框的遥感图像目标检测方法，其特征在于：步骤S104具体为：

将三个不同尺度的特征图分别输入至无锚框检测器的目标中心点预测分支中，得到不同特征图对应的热力图；利用所述热力图预测目标中心点，得到中心点所属目标的类别；

根据中心点的位置，将三个不同尺度的特征图分别输入至无锚框检测器的位置预测分支中，得到目标的长宽；

将三个不同尺度的特征图分别输入至无锚框检测器的偏置预测分支中，得到目标的偏置；

将三个不同尺度的特征图分别输入至无锚框检测器的角度预测分支中，得到目标角度值。

5.如权利要求1所述的基于无锚框的遥感图像目标检测方法，其特征在于：所述类别损失函数，其计算公式如式(1)：

式(1)中α_t、γ都是超参数，N是一张遥感图片中关键点的总数量，p_t表示预测的类别概率；α_t表示每个类别的权重。

6.如权利要求5所述的基于无锚框的遥感图像目标检测方法，其特征在于：所述位置损失函数，其计算公式如式(2)：

式(2)中，S为实际中心点位置，

为预测的中心点位置，当预测点与重新点重合时，损失函数为零。

7.如权利要求5所述的基于无锚框的遥感图像目标检测方法，其特征在于：所述偏置损失函数，其计算公式如式(3)所示：

式(3)中，p是目标在原遥感图像上的位置，

是目标在不同尺度的特征图上预测的位置，R是原遥感图像到不同尺度的特征图的下采样倍数。

8.如权利要求5所述的基于无锚框的遥感图像目标检测方法，其特征在于：所述角度损失函数，其计算公式如式(4)所示：

式(4)中，角度损失函数拟使用Smooth L1损失函数，θ为目标实际旋转角度，

为预测的旋转角度。

9.如权利要求1所述的基于无锚框的遥感图像目标检测方法，其特征在于：所述多指标融合的损失函数，其计算公式如式(5)：

L_total＝L_class+λ_locL_loc+λ_offL_off+λ_angL_ang (5)

式(5)中，λ_loc、λ_off、λ_ang为权重参数。

Images