CN113011528B - 一种基于上下文和级联结构的遥感图像小目标检测方法 - Google Patents

Abstract

本发明公开了一种基于上下文和级联结构的遥感图像小目标检测方法，属于图像处理技术领域。其步骤为：1)获取训练样本和测试样本；2)构建遥感图像小目标检测网络模型；3)对遥感图像小目标检测网络模型进行训练；4)获取遥感图像小目标检测结果。本发明通过引入上下文模块框，使目标区域用于上下文感知能力，有效改善了小目标定位难问题，再通过级联结构提高预测边界框质量，实现了更高的检测精度，可用于资源勘探、自然灾害预警、城市规划和无人机目标识别等领域。

Description

一种基于上下文和级联结构的遥感图像小目标检测方法

技术领域

本发明属于图像处理技术领域，特别是指一种基于上下文和级联结构的遥感图像小目标检测方法，可用于资源勘探、自然灾害预警、城市规划、无人机目标识别等应用场景。

背景技术

目标检测包括目标分类与边界框回归两大任务。目标分类是指将目标与背景区分开，并给目标划分到正确的类别；边界框回归则是借助回归函数给目标分配正确的边界框，以表示目标的位置。遥感图像是以卫星为平台，通过卫星上装载的对地观测遥感仪器对地球表面进行观测获得。遥感图像小目标检测中存在小目标难识别和难定位等问题，又因为遥感图像的复杂性，如何准确定位目标以及分配正确的边界框成为了遥感图像小目标检测关注的主要问题。

例如，中国专利CN 109800755A公开了“一种基于多尺度特征的遥感影像小目标检测方法”，其通过深度神经网络对遥感影像进行特征提取，利用多尺度特征进行候选框提取选出建议候选框，并对提取出来的建议候选框进行分类和边框回归，能够更有效检测小目标。该方法的优点在于，基于多尺度特征进行候选框提取可以更有效地检测小目标。但是，该方法仅使用了多尺度特征，并未融合上下文信息也并未对检测出的预测框质量进行进一步优化，其检测精度还可以进一步提升。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种基于上下文和级联结构的遥感图像小目标检测方法，旨在改善遥感图像小目标定位难问题，并提高遥感图像小目标检测精度。

为实现上述目的，本发明采取的技术方案为：

一种基于上下文和级联结构的遥感图像小目标检测方法，包括如下步骤：

(1)获取训练样本和测试样本：

(1a)从公开的遥感图像数据集中获取训练集数据和测试集数据，并采用窗口大小为m×m像素，步长为c像素的滑窗，对训练集数据和测试集数据中的每幅遥感图像进行裁剪，得到训练集图像和测试集图像，m≥800,c≥0.2×m；

(1b)对训练集图像和测试集图像中的每一幅裁剪后的遥感图像进行重新命名，得到训练样本图像集和测试样本图像集，并将测试样本图像集作为测试样本；

(1c)对每幅训练样本图像创建与其名称相同的空文本文件，并判断每幅训练样本图像中是否包含有目标，若是，将目标的坐标标签和类别标签按行添加到目标所在训练样本图像对应的空文本文件中，得到由所有目标的训练样本坐标标签和训练样本类别标签组成的训练样本标签文本集，否则，剔除未包含目标的训练样本图像及其对应的空文本文件；

(1d)对每个训练样本坐标标签对应的目标制作标签，得到训练样本标签集，并将训练样本标签集、每幅包含目标的训练样本图像，以及训练样本标签文本集组合成训练样本；

(2)构建遥感图像小目标检测网络模型：

构建遥感图像小目标检测网络模型，该模型包括主干网络、上下文信息转移模块、区域候选网络和级联结构检测网络，损失函数为L；其中：

所述主干网络包括ResNet-101网络和FPN网络；

所述上下文信息转移模块，通过对特征图进行平均池化操作获取上下文信息，然后通过元素相加的操作融合上下文信息与局部信息，使特征图拥有上下文感知能力；

所述区域候选网络为RPN网络；

所述级联结构检测网络包括T个级联的回归器，T≥3，每个回归器包括一个检测子网络，除了第一个检测网络基于RPN网络生成的候选框进行边界框回归以外，之后的每一个检测网络都基于前一个检测网络预测的边界框进行回归；

(3)对遥感图像小目标检测网络模型进行训练：

(3a)设迭代次数为n，n的初始值为0，最大迭代次数为N,N≥90000；

(3b)将训练样本作为遥感图像旋转目标检测网络模型的输入，进行迭代训练，并判断n＝N是否成立，若是，得到训练好的遥感图像旋转目标检测网络模型，否则，执行步骤(3c)；

(3c)采用损失函数L，并通过当前遥感图像小目标检测网络模型所输出的目标预测类别、目标预测边界框坐标，计算当前遥感图像小目标检测网络模型的损失值l，并通过l对当前遥感图像小目标检测网络模型的权重进行调整，令n＝n+1，返回步骤(3b)；

(4)获取遥感图像小目标检测结果：

(4a)将测试样本作为训练好的遥感图像小目标检测网络模型的输入，获取所有目标的预测类别和预测边界框坐标；

(4b)根据每一个目标的预测边界框坐标绘制该目标所在区域的最小外接矩形，即目标预测边界框，得到遥感图像小目标的检测结果。

进一步的，步骤(2)中所述的T个级联的回归器，定义如下：

其中，T是级联阶段数目，f_t表示第t阶段的回归器，并对t-1阶段预测得到的边界框为基准进行优化，t阶段得到的边界框表示为b^t＝f_t-1(x^t-1,b^t-1)，b⁰表示基于RPN网络生成的候选框。

进一步的，步骤(2)中损失函数L的表达式为：

L＝L_cls(h_t(x^t),y^t)+λ[y^t≥1]L_loc(f_t(x^t,b^t),g)

其中，λ[y^t≥1]、L_loc(·)分别表示平衡参数和网络定位损失，L_cls(·)为分类损失函数，L_cls(h(x),y)＝-∑h(x)logy；

对于预测框x，其类别y由下式计算：

其中，g_y表示标签框g的类别，IoU(x,g)表示x与g的交并比，u表示预先设定的IoU阈值。

本发明与现有技术相比，具有以下优点：

1、本发明提出了一个上下文信息转移模块，将上下文信息传递给目标，使目标信息中包含周围环境信息，利用周围环境信息辅助小目标定位，有效改善了小目标定位难的问题。

2、本发明通过构造级联检测网络，对边界框进行回归，每一阶段的检测子网络都旨在寻找一组更好的基准边界框用于训练下一阶段，以确保边界框的质量越来越高，有效提高了检测精度。

附图说明

图1为本发明实施例中小目标检测方法的流程图。

图2为本发明实施例的整体网络架构图。

图3为本发明实施例中上下文信息转移模块的结构示意图。

图4为本发明实施例中级联检测网络的结构示意图。

图5为本发明实施例的检测结果图。

具体实施方式

以下结合附图和具体实施例，对本发明作进一步的详细描述。

参照图1，一种基于上下文和级联结构的遥感图像小目标检测方法，其包括如下步骤：

(1)获取训练样本和测试样本：

(1a)从公开的遥感图像数据集中获取训练集数据和测试集数据，并采用窗口大小m×m像素，步长为c像素的滑窗，对训练集数据和测试集数据中的每幅遥感图像进行裁剪，得到训练集图像和测试集图像，m≥800,c≥0.2×m；

(1b)对训练集图像和测试集图像中的每一幅裁剪后的遥感图像进行重新命名，得到训练样本图像集和测试样本图像集，并将测试样本图像集作为测试样本；

(1c)对每幅训练样本图像创建与其名称相同的空文本文件，并判断每幅训练样本图像中是否包含有目标，若是，将目标的坐标标签和类别标签按行添加到目标所在训练样本图像对应的空文本文件中，得到由所有目标的训练样本坐标标签和训练样本类别标签组成的训练样本标签文本集，否则，剔除未包含目标的训练样本图像及其对应的空文本文件；

(1d)对每个训练样本坐标标签对应的目标制作标签，得到训练样本标签集，并将训练样本标签集、每幅包含目标的训练样本图像，以及训练样本标签文本集组合成训练样本；

(2)构建遥感图像小目标检测网络模型：

构建包括主干网络、上下文信息转移模块、区域候选网络和级联结构检测网络，损失函数为L的遥感图像小目标检测网络模型，其中：

所述主干网络包括ResNet-101网络和FPN网络；

所述上下文信息转移模块，通过对特征图进行平均池化操作获取上下文信息，然后通过元素相加的操作融合上下文信息与局部信息，使特征图拥有上下文感知能力。

所述区域候选网络为RPN网络；

所述级联结构检测网络包括T个级联的回归器，T≥3，其定义如下：

其中，T是级联阶段数目，f_t表示第t阶段的回归器，并对t-1阶段预测得到的边界框为基准进行优化，因此t阶段得到的边界框可以表示为b^t＝f_t-1(x^t-1,b^t-1)，b⁰表示基于RPN网络生成的候选框。

每个回归器包括一个检测子网络，除了第一个检测网络基于RPN网络生成的候选框进行边界框回归以外，之后的每一个检测网络都基于前一个检测网络预测的边界框进行回归；

(4)对遥感图像小目标检测网络模型进行训练：

(3a)设迭代次数为n，n的初值为0，最大迭代次数为N,N≥90000；

(3b)将训练样本作为遥感图像旋转目标检测网络模型的输入，进行迭代训练，并判断n＝N是否成立，若是，得到训练好的遥感图像旋转目标检测网络模型，否则，执行步骤(3c)；

(3c)设定损失函数L：

L＝L_cls(h_t(x^t),y^t)+λ[y^t≥1]L_loc(f_t(x^t,b^t),g)

其中，λ[y^t≥1]、L_loc(·)分别表示平衡参数和网络定位损失，L_cls(·)为分类损失函数，L_cls(h(x),y)＝-∑h(x)logy；

对于预测框x，其类别y可以由下式计算：

其中，g_y表示标签框g的类别，u表示预先设定的IoU阈值。

通过当前遥感图像小目标检测网络模型所输出的目标预测类别、目标预测边界框坐标，利用损失函数计算当前遥感图像小目标检测网络模型的损失值l，并通过l对当前遥感图像小目标检测网络模型的权重进行调整，令n＝n+1，返回步骤(3b)；

(4)获取遥感图像小目标检测结果：

(4a)将测试样本作为训练好的遥感图像小目标检测网络模型的输入，获取所有目标的预测类别和预测边界框坐标；

(4b)根据每一个目标的预测边界框坐标绘制该目标所在区域的最小外接矩形，即目标预测边界框，得到遥感图像小目标的检测结果。

以下通过仿真实验来对本方法的效果作进一步说明：

1.仿真条件及内容：

本实验所使用的软硬件环境如表1所示：

表1实验环境设置表

本仿真实验中采用的对比技术Faster-RCNN和FPN，分别采用本方法和对比技术对遥感图像小目标数据集进行目标检测，比较其对不同类别目标的检测精度和平均精度如表2所示：

表2

方法	主干网络	小型车辆	船	储油罐	大型车辆	平均精度
							Faster-RCNN	ResNet-101	81.22	80.38	87.87	73.57	80.76
FPN	ResNet-101	83.15	80.74	88.03	74.75	81.67
							本方法	ResNet-101	84.99	89.22	88.09	74.93	84.31

2.仿真实验结果分析：

以上仿真实验表明：本方法的平均检测精度均值为84.31％，现有技术Faster-RCNN和FPN的平均检测精度均值为80.76％和81.67％，同时每一类别的检测精度也要高于现有技术，说明本方法对遥感图像小目标的检测效果要优于现有技术，有效地改善了遥感图像小目标检测难的问题。

Claims (3)

1.一种基于上下文和级联结构的遥感图像小目标检测方法，其特征在于，包括如下步骤：

(1)获取训练样本和测试样本：

(1a)从公开的遥感图像数据集中获取训练集数据和测试集数据，并采用窗口大小为m×m像素，步长为c像素的滑窗，对训练集数据和测试集数据中的每幅遥感图像进行裁剪，得到训练集图像和测试集图像，m≥800,c≥0.2×m；

(1b)对训练集图像和测试集图像中的每一幅裁剪后的遥感图像进行重新命名，得到训练样本图像集和测试样本图像集，并将测试样本图像集作为测试样本；

(1c)对每幅训练样本图像创建与其名称相同的空文本文件，并判断每幅训练样本图像中是否包含有目标，若是，将目标的坐标标签和类别标签按行添加到目标所在训练样本图像对应的空文本文件中，得到由所有目标的训练样本坐标标签和训练样本类别标签组成的训练样本标签文本集，否则，剔除未包含目标的训练样本图像及其对应的空文本文件；

(1d)对每个训练样本坐标标签对应的目标制作标签，得到训练样本标签集，并将训练样本标签集、每幅包含目标的训练样本图像，以及训练样本标签文本集组合成训练样本；

(2)构建遥感图像小目标检测网络模型：

构建遥感图像小目标检测网络模型，该模型包括主干网络、区域候选网络、上下文信息转移模块和级联结构检测网络，损失函数为L；其中：

所述主干网络包括ResNet-101网络和FPN网络；

所述区域候选网络为RPN网络；

所述上下文信息转移模块，通过对特征图进行平均池化操作获取上下文信息，然后通过元素相加的操作融合上下文信息与局部信息，使特征图拥有上下文感知能力；上下文信息转移模块为RPN网络生成的每个感兴趣区域引入相应的上下文信息；

所述级联结构检测网络包括T个级联的回归器，T≥3，每个回归器包括一个检测子网络，除了第一个检测网络基于RPN网络生成的候选框进行边界框回归以外，之后的每一个检测网络都基于前一个检测网络预测的边界框进行回归；

(3)对遥感图像小目标检测网络模型进行训练：

(3a)设迭代次数为n，n的初始值为0，最大迭代次数为N,N≥90000；

(3b)将训练样本作为遥感图像小目标检测网络模型的输入，进行迭代训练，并判断n＝N是否成立，若是，得到训练好的遥感图像旋转目标检测网络模型，否则，执行步骤(3c)；

(3c)采用损失函数L，并通过当前遥感图像小目标检测网络模型所输出的目标预测类别、目标预测边界框坐标，计算当前遥感图像小目标检测网络模型的损失值l，并通过l对当前遥感图像小目标检测网络模型的权重进行调整，令n＝n+1，返回步骤(3b)；

(4)获取遥感图像小目标检测结果：

(4a)将测试样本作为训练好的遥感图像小目标检测网络模型的输入，获取所有目标的预测类别和预测边界框坐标；

(4b)根据每一个目标的预测边界框坐标绘制该目标所在区域的最小外接矩形，即目标预测边界框，得到遥感图像小目标的检测结果。

2.根据权利要求1所述的一种基于上下文和级联结构的遥感图像小目标检测方法，其特征在于，步骤(2)中所述的T个级联的回归器，定义如下：

其中，T是级联阶段数目，f_t表示第t阶段的回归器，并对t-1阶段预测得到的边界框为基准进行优化，t阶段得到的边界框表示为b^t＝f_t-1(x^t-1,b^t-1)，b⁰表示基于RPN网络生成的候选框。

3.根据权利要求2所述的一种基于上下文和级联结构的遥感图像小目标检测方法，其特征在于，步骤(2)中损失函数L的表达式为：

L＝L_cls(h_t(x^t),y^t)+λ[y^t≥1]L_loc(f_t(x^t,b^t),g)

其中，λ[y^t≥1]、L_loc(·)分别表示平衡参数和网络定位损失，L_cls(·)为分类损失函数，L_cls(h(x),y)＝-∑h(x)logy；

对于预测框x，其类别y由下式计算：

其中，g_y表示标签框g的类别，IoU(x,g)表示x与g的交并比，u表示预先设定的IoU阈值。

Images