CN113327253A - 一种基于星载红外遥感影像的弱小目标检测方法 - Google Patents

Abstract

本发明公开了一种基于星载红外遥感影像的弱小目标检测方法，包括获取样本数据、构建数据集、扩增数据集、粗检目标以及精检目标共五个步骤。该方法通过粗检与精检结合检测的方式，先利用浅层粗检神经网络初步判定弱小目标所在区域，然后利用深层精检神经网络精准定位目标位置，提高了检测效率，可以实现红外遥感影像中复杂海陆背景下，弱小目标的迅速、精准检测，解决了现有的红外遥感影像目标检测算法存在的目标定位速度慢、检测效率低等问题。

Description

一种基于星载红外遥感影像的弱小目标检测方法

技术领域

本发明涉及遥感影像目标检测技术领域，更具体的说是涉及一种基于星载红外遥感影像的弱小目标检测方法。

背景技术

目前，随着各国对海洋资源的日益重视，对海面重要目标的监测与跟踪成为近年的研究热点。不同于SAR(Synthetic Aperture Radar，合成孔径雷达)与可见光遥感，红外遥感可全天时工作，不受光照影响，且作用距离远、不易被敌方发现。基于此，基于红外遥感影像实现弱小目标检测在军事和民用海洋目标侦察领域有着重要作用。

传统的红外遥感影像目标检测算法一般使用滑动窗口分块探测，主要包括以下三个步骤：

首先，利用不同尺寸的滑动窗口选取图像一部分作为候选区域；

其次，提取候选区域相关的视觉特征，比如目标检测常用的HOG特征等；

最后，利用分类器进行识别，比如常用的SVM模型。

但是，上述方法在检测过程中需要产生候选框，目标定位速度慢，导致目标检测效率低，难以满足实际需求。

因此，如何提供一种目标检测效率高、精确可靠的基于星载红外遥感影像的弱小目标检测方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于星载红外遥感影像的弱小目标检测方法，解决了现有的红外遥感影像目标检测算法存在的目标定位速度慢、检测效率低等问题。

为了实现上述目的，本发明采用如下技术方案：

一种基于星载红外遥感影像的弱小目标检测方法，该方法包括：

获取样本数据：获取宽幅红外遥感影像，并对目标区域进行弱小目标标注，分别对所述宽幅红外遥感影像和标注后得到的标签进行切割，得到一一对应的红外图像切块和标签切块；

构建数据集：基于所述红外图像切块和所述标签切块，构建粗检红外遥感数据集和精检红外遥感数据集；

扩增数据集：分别对所述粗检红外遥感数据集和所述精检红外遥感数据集进行数据扩增，得到粗检红外扩增数据集和精检红外扩增数据集；

粗检目标：构建浅层粗检神经网络，并通过所述粗检红外扩增数据集对所述浅层粗检神经网络进行训练，将待检测图像输入训练好的浅层粗检神经网络，得到包含待检测弱小目标的红外图像切块；

精检目标：构建深层精检神经网络，并通过所述精检红外扩增数据集对所述深层精检神经网络进行训练，将所述包含待检测弱小目标的红外图像切块输入训练好的深层精检神经网络，得到待检测弱小目标的位置与类别信息。

进一步地，所述获取样本数据的过程，具体包括：

获取宽幅红外遥感影像，并对所述宽幅红外遥感影像进行图像拉伸，拉伸后可以将过明过暗的宽幅红外遥感图像处理为明暗分布均匀、细节清晰的红外遥感图像；

通过标注工具对拉伸后的宽幅红外遥感影像进行弱小目标矩形框标注，得到对应的标签；

通过滑动窗口对拉伸后的宽幅红外遥感影像和标签进行有重合区域的切割裁剪，得到红外图像切块和标签切块。

更进一步地，所述有重合区域的切割剪裁，具体包括：

通过预设尺寸的滑动窗口，在所述宽幅红外遥感影像中上、下、左、右四个方向重合预设长度并进行切割，得到红外图像切块；

将标签中弱小目标的位置坐标减去滑动窗口左上点坐标，切割得到标签切块。

进一步地，所述构建数据集的过程，具体包括：

判断各个所述标签切块中是否包含待检测弱小目标；

将包含待检测弱小目标的标签切块对应的红外图像切块作为正样本，将不包含待检测弱小目标的标签切块对应的红外图像切块作为负样本，构建粗检红外遥感数据集；

挑选出正样本以及正样本对应的标签切块，构建精检红外遥感数据集。

本发明提供的方法将粗检与精检红外遥感数据集通过不同角度的旋转操作进行数据扩增后，粗检红外扩增数据集与精检红外扩增数据集还分别按7:3的比例划分为训练集与测试集，训练集用于对目标神经网络进行训练，测试集用于评估目标神经网络的性能。

进一步地，所述粗检目标的过程，具体包括：

构建浅层粗检神经网络，并将粗检红外扩增数据集中的数据输入所述浅层粗检神经网络，进行正负样本分类预测，得到粗检预测结果；

计算所述粗检预测结果与所述标签中弱小目标的真实信息之间的误差值，并根据所述误差值更新所述浅层粗检神经网络中的权重参数；

直至所述误差值不再减少时，保存并加载对应的所述浅层粗检神经网络中的权重参数；

将待检测图像输入权重参数加载完毕后的所述浅层粗检神经网络中，得到对应的正负样本预测结果。

更进一步地，所述浅层粗检神经网络包括卷积层、最大池化层、平均池化层以及全连接层；

所述卷积层用于提取红外图像特征，所述最大池化层用于通过预设步长的滑动窗口压缩所述红外图像特征，所述平均池化层用于将每张红外图像压缩为一个参数，所述全连接层用于将所述红外图像特征映射为两个参数，其中两个参数中最大值所在位置用于预测正负样本类别。

更进一步地，所述粗检预测结果与所述标签中弱小目标的真实信息之间的误差值通过交叉熵损失函数计算得到，计算公式为：

其中，

是浅层粗检神经网络输出的粗检预测结果为正样本的概率，y是样本标签，若为正样本，取值为1，若为负样本，取值为0。

进一步地，所述精检目标的过程，具体包括：

构建深层精检神经网络，并将所述精检红外扩增数据集输入所述深层精检神经网络，进行弱小目标位置与类别预测，得到精检预测结果；

计算所述精检预测结果与所述标签中弱小目标的真实信息之间的误差值，并根据所述误差值更新所述深层精检神经网络中的权重参数；

直至所述误差值不再减少时，保存并加载对应的所述深层精检神经网络中的权重参数；

将包含待检测弱小目标的红外图像切块输入训练好的深层精检神经网络中，得到待检测弱小目标的位置与类别预测结果。

更进一步地，所述深层精检神经网络通过3×3卷积层和5×5卷积层提取输入的包含待检测弱小目标的红外图像切块的图像特征，并通过前端的concat层进行图像特征的融合，融合后的图像特征依次经过多层深度可分离卷积层、平均池化层与reshape层后，得到多个分支结构特征，通过末端的concat层进行多尺度特征融合，输出待检测弱小目标的位置与类别预测结果。

深层精检神经网络通过减少网络下采样次数、增加输入特征图尺度信息，提高了弱小目标的检测精度，同时，深层精检神经网络利用多分支结构，融合高维细节信息与低维语义信息，提高了弱小目标的定位精度。

深层精检神经网络还利用深度可分离卷积优化卷积操作，减少权重参数数量，减少网络计算量，提高了检测效率，为后续算法硬件实现顺利开展做准备。

更进一步地，所述精检预测结果与所述标签中弱小目标的真实信息之间的误差值的计算公式为：

其中，S表示最后一层卷积层输出特征图大小，即预测栅格个数为S×S；B表示每个珊格预测边框个数；λ_coord表示为坐标误差；λ_obj与λ_noobj分别为正样本类别误差、负样本类别误差；λ_class表示置信度预测的权重系数；第i个珊格中第j个预测框为正样本时，

第i个珊格中第j个预测框为负样本时，

x_i、y_i、w_i、h_i、C_i和p_i为预测结果；

和

为标签切块的实际信息。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于星载红外遥感影像的弱小目标检测方法，该方法通过粗检与精检结合检测的方式，先利用浅层粗检神经网络初步判定弱小目标所在区域，然后利用深层精检神经网络精准定位目标位置，提高了检测效率，可以实现红外遥感影像中复杂海陆背景下，弱小目标的迅速、精准检测。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明提供的一种基于星载红外遥感影像的弱小目标检测方法的实现流程示意图；

图2为本发明实施例中获取样本数据实现过程的流程示意图；

图3为本发明实施例中粗检目标实现过程的流程示意图；

图4为本发明实施例中精检目标实现过程的流程示意图；

图5为本发明实施例中浅层粗检神经网络的结构示意图；

图6为本发明实施例中深层精检神经网络的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见附图1，本发明实施例公开了一种基于星载红外遥感影像的弱小目标检测方法，该方法包括：

S1：获取样本数据：获取宽幅红外遥感影像，并对目标区域进行弱小目标(如舰船)标注，分别对宽幅红外遥感影像和标注后得到的标签进行切割，得到一一对应的红外图像切块和标签切块。

参见附图2，上述S1，具体可以通过以下步骤实现：

S11：基于过明过暗的宽幅红外遥感图像，利用图像拉伸技术，得到明暗分布均匀、细节清晰的红外遥感图像；

S12：基于细节清晰的宽幅红外遥感图像，利用labelme或labellmg等标注工具进行弱小目标矩形框标注，得到宽幅红外遥感图像对应的标签文件；

S13：基于细节清晰的宽幅红外遥感图像与对应的标签，利用滑动窗口进行有重合区域的切割裁剪，得到红外图像切块与标签切块。

本实施例中提到的宽幅是一个相对概念，星载红外图像由三十多片CCD采集得到，图像幅宽值大。

其中，在S13中，有重合区域的切割裁，具体利用所需图像切块大小的滑动窗口在原始宽幅红外图像中上、下、左、右四个方向重合gap长度切割，得到图像切块，一个图像切块对应一个标签切块。具体地，记数据集中目标长度为w，则重合长度gap满足1.5w≤gap≤2w，由于标签内存储有图像中弱小目标位置类别信息，图像进行了切块处理，对应的标签切块里目标的坐标信息会发生改变，将标签中弱小目标位置减去滑窗左上点坐标，即减去图像切块在图像左上角的坐标，得到标签切块。

S2：构建数据集：基于红外图像切块和标签切块，构建粗检红外遥感数据集和精检红外遥感数据集。

构建粗检红外遥感数据集利用细节清晰的宽幅红外遥感图像与对应的标签，根据标签切块中是否包含待检测弱小目标，区分正负样本，其中，包含待检测目标的红外图像切块为正样本，反之为负样本，得到包含正负样本的粗检红外遥感数据集。构建精检红外遥感数据集是利用上一步得到的正样本，挑选标签切块中正样本标签切块，得到精检红外遥感数据集。

S3：扩增数据集：分别对粗检红外遥感数据集和精检红外遥感数据集进行数据扩增，得到粗检红外扩增数据集和精检红外扩增数据集。

本实施例中基于不同角度的旋转操作，构建粗检与精检红外扩增数据集，粗检与精检红外扩增数据集分别按7：3的比例划分训练集与测试集，训练集用于目标检测神经网络的训练，测试集用于评估目标检测神经网络的性能。

S4：粗检目标：构建浅层粗检神经网络，并通过粗检红外扩增数据集对浅层粗检神经网络进行训练，将待检测图像输入训练好的浅层粗检神经网络，得到包含待检测弱小目标的红外图像切块。

参见附图3，在S4中，基于粗检红外扩增数据集对浅层粗检神经网络进行训练的过程，包含如下步骤：

S41：基于浅层粗检神经网络，利用粗检红外扩增数据集内训练集中的红外遥感图像，进行正负样本分类预测。

S42：根据预测结果与标签中弱小目标的真实信息之间的误差值，更新浅层粗检神经网络中的权重参数，其中，权重参数更新是指优化器根据真实与预测信息之间误差值反向传播来实现参数更新；

具体地，S42中粗检预测结果与标签中弱小目标真实信息之间的误差值由交叉熵损失函数计算得到，计算公式如下：

其中，

是粗检神经网络模型预测为正样本概率，y是样本标签，若为正样本，取值为1，否则取值为0。

S43：实际训练过程中，误差值会随训练时间波动，但大方向会逐渐减小直至不再减少，当误差值不再减少时，保存粗检神经网络的权重参数，加载网络中权重参数。

S44：利用参数加载完毕的浅层粗检神经网络预测待检测图像，得到样本正、负预测结果。

参见附图5，浅层粗检神经网络共7层网络结构，包括4个卷积层、1个最大池化层、1个平均池化层、1个全连接层。卷积层中操作包含卷积、BN融合与非线性变换。卷积层用来提取红外图像特征，最大池化层利用步长为2的滑动窗口压缩图像特征，平均池化层将每张特征图压缩为1个参数，128×2的全连接层将图像特征映射为2个参数，其中最大值所在位置可以预测正负类别，例如最后映射出的2个参数中第一个参数大则为正样本，第二个参数大为负样本。

S5：精检目标：构建深层精检神经网络，并通过精检红外扩增数据集对深层精检神经网络进行训练，将包含待检测弱小目标的红外图像切块输入训练好的深层精检神经网络，得到待检测弱小目标的位置与类别信息。

参见附图4，基于精检红外扩增数据集对深层精检神经网络进行训练的过程，包括如下步骤：

S51：基于深层精检神经网络，利用精检红外扩增训练集中的红外图像，预测图像中弱小目标位置与类别。

S52：根据预测结果与标签中弱小目标真实信息之间的误差值，更新深层精检神经网络中的权重参数。

在S52中，精检预测结果与标签中弱小目标真实信息之间的误差值包含类别误差与坐标位置误差，具体计算公式如下：

其中，S表示最后一层卷积层输出特征图大小，即预测栅格个数为S×S；B表示每个珊格预测边框个数；λ_coord表示为坐标误差；λ_obj与λ_noobj分别为正样本类别误差、负样本类别误差；λ_class表示置信度预测的权重系数；第i个珊格中第j个预测框为正样本时，

反之，预测框为负样本时，

x_i、y_i、w_i、h_i、C_i和p_i为预测结果；

和

为标签切块实际信息。

S53：当误差值不再减少时，保存深层精检神经网络的权重参数，并加载网络中权重参数。

S54：利用参数加载完毕的深层精检神经网络进一步对待检测图像中弱小目标位置进行预测，超出置信度阈值的预测框利用非极大值抑制算法(Non-maximumsuppression，简称NMS)消除交叉重复窗口后，得到弱小目标的类别与坐标位置预测结果。

具体地，精检阶段会通过深层神经网络结构得到大量的预测框，预测框框出的东西为算法预测的弱小目标(例如船只)位置，所有预测框有它对应的预测置信度，置信度越高说明为该弱小目标的可能性越高。通过设置置信度阈值，只输出大于阈值的预测框，从而得到可能性更高的预测框。

参照图6，在本实施例中，深层精检神经网络共23层网络结构，4条分支结构。深层精检神经网络基于深度可分离卷积技术，降低精检网络模型参数量与计算量，实现卷积层优化。深度可分离卷积层能够依次实现6种操作，分别为：3×3深度卷积、BN融合、非线性变换、1×1逐点卷积、BN融合、非线性变换。该深层精检神经网络输入红外图像经过3×3与5×5两种尺寸的标准卷积提取图像特征并利用concat层实现特征融合。融合特征经过多层深度可分离卷积、平均池化与reshape操作，得到4个分支结构特征，concat层融合所有高维与低维特征，实现多尺度特征融合，得到更精准的预测结果。

综上所述，本发明实施例公开的上述方法，与现有技术相比，具有如下优点：

1)该方法给出了完整的红外遥感影像中弱小目标的检测方案，包括原始宽幅红外影像标注切割、粗检与精检网络数据集制作、粗检与精检网络训练与测试，均给出了具体的操作流程。同时，该方法提出粗检与精简结合的检测方案，利用检测效率高的浅层粗检神经网络初判弱小目标区域，然后利用深层精检神经网络精准定位目标区域，提高了检测效率。

2)该方法中，深层精检神经网络通过减少网络下采样次数、增加输入特征图尺度信息提高弱小目标检测精度。同时，深层精检神经网络利用多分支结构，融合高维细节信息与低维语义信息，提高了弱小目标的定位精度。

3)深层检测精检网络利用深度可分离卷积优化卷积操作，减少了权重参数数量，减少了网络计算量，提高了检测效率，能够为后续算法硬件实现顺利开展做准备。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于星载红外遥感影像的弱小目标检测方法，其特征在于，包括：

获取样本数据：获取宽幅红外遥感影像，并对目标区域进行弱小目标标注，分别对所述宽幅红外遥感影像和标注后得到的标签进行切割，得到一一对应的红外图像切块和标签切块；

构建数据集：基于所述红外图像切块和所述标签切块，构建粗检红外遥感数据集和精检红外遥感数据集；

扩增数据集：分别对所述粗检红外遥感数据集和所述精检红外遥感数据集进行数据扩增，得到粗检红外扩增数据集和精检红外扩增数据集；

粗检目标：构建浅层粗检神经网络，并通过所述粗检红外扩增数据集对所述浅层粗检神经网络进行训练，将待检测图像输入训练好的浅层粗检神经网络，得到包含待检测弱小目标的红外图像切块；

精检目标：构建深层精检神经网络，并通过所述精检红外扩增数据集对所述深层精检神经网络进行训练，将所述包含待检测弱小目标的红外图像切块输入训练好的深层精检神经网络，得到待检测弱小目标的位置与类别信息。

2.根据权利要求1所述的一种基于星载红外遥感影像的弱小目标检测方法，其特征在于，所述获取样本数据的过程，具体包括：

获取宽幅红外遥感影像，并对所述宽幅红外遥感影像进行图像拉伸；

通过标注工具对拉伸后的宽幅红外遥感影像进行弱小目标矩形框标注，得到对应的标签；

通过滑动窗口对拉伸后的宽幅红外遥感影像和标签进行有重合区域的切割裁剪，得到红外图像切块和标签切块。

3.根据权利要求2所述的一种基于星载红外遥感影像的弱小目标检测方法，其特征在于，所述有重合区域的切割剪裁，具体包括：

通过预设尺寸的滑动窗口，在所述宽幅红外遥感影像中上、下、左、右四个方向重合预设长度并进行切割，得到红外图像切块；

将标签中弱小目标的位置坐标减去滑动窗口左上点坐标，切割得到标签切块。

4.根据权利要求1所述的一种基于星载红外遥感影像的弱小目标检测方法，其特征在于，所述构建数据集的过程，具体包括：

判断各个所述标签切块中是否包含待检测弱小目标；

将包含待检测弱小目标的标签切块对应的红外图像切块作为正样本，将不包含待检测弱小目标的标签切块对应的红外图像切块作为负样本，构建粗检红外遥感数据集；

挑选出正样本以及正样本对应的标签切块，构建精检红外遥感数据集。

5.根据权利要求4所述的一种基于星载红外遥感影像的弱小目标检测方法，其特征在于，所述粗检目标的过程，具体包括：

构建浅层粗检神经网络，并将粗检红外扩增数据集中的数据输入所述浅层粗检神经网络，进行正负样本分类预测，得到粗检预测结果；

计算所述粗检预测结果与所述标签中弱小目标的真实信息之间的误差值，并根据所述误差值更新所述浅层粗检神经网络中的权重参数；

直至所述误差值不再减少时，保存并加载对应的所述浅层粗检神经网络中的权重参数；

将待检测图像输入权重参数加载完毕后的所述浅层粗检神经网络中，得到对应的正负样本预测结果。

6.根据权利要求5所述的一种基于星载红外遥感影像的弱小目标检测方法，其特征在于，所述浅层粗检神经网络包括卷积层、最大池化层、平均池化层以及全连接层；

所述卷积层用于提取红外图像特征，所述最大池化层用于通过预设步长的滑动窗口压缩所述红外图像特征，所述平均池化层用于将每张红外图像压缩为一个参数，所述全连接层用于将所述红外图像特征映射为两个参数，其中两个参数中最大值所在位置用于预测正负样本类别。

7.根据权利要求5所述的一种基于星载红外遥感影像的弱小目标检测方法，其特征在于，所述粗检预测结果与所述标签中弱小目标的真实信息之间的误差值通过交叉熵损失函数计算得到，计算公式为：

其中，

是浅层粗检神经网络输出的粗检预测结果为正样本的概率；y是样本标签，若为正样本，取值为1，若为负样本，取值为0。

8.根据权利要求1所述的一种基于星载红外遥感影像的弱小目标检测方法，其特征在于，所述精检目标的过程，具体包括：

构建深层精检神经网络，并将所述精检红外扩增数据集输入所述深层精检神经网络，进行弱小目标位置与类别预测，得到精检预测结果；

计算所述精检预测结果与所述标签中弱小目标的真实信息之间的误差值，并根据所述误差值更新所述深层精检神经网络中的权重参数；

直至所述误差值不再减少时，保存并加载对应的所述深层精检神经网络中的权重参数；

将包含待检测弱小目标的红外图像切块输入训练好的深层精检神经网络中，得到待检测弱小目标的位置与类别预测结果。

9.根据权利要求8所述的一种基于星载红外遥感影像的弱小目标检测方法，其特征在于，所述深层精检神经网络通过3×3卷积层和5×5卷积层提取输入的包含待检测弱小目标的红外图像切块的图像特征，并通过前端的concat层进行图像特征的融合，融合后的图像特征依次经过多层深度可分离卷积层、平均池化层与reshape层后，得到多个分支结构特征，通过末端的concat层进行多尺度特征融合，输出待检测弱小目标的位置与类别预测结果。

10.根据权利要求8所述的一种基于星载红外遥感影像的弱小目标检测方法，其特征在于，所述精检预测结果与所述标签中弱小目标的真实信息之间的误差值的计算公式为：

其中，S表示最后一层卷积层输出特征图大小，即预测栅格个数为S×S；B表示每个珊格预测边框个数；λ_coord表示为坐标误差；λ_obj与λ_noobj分别为正样本类别误差、负样本类别误差；λ_class表示置信度预测的权重系数；第i个珊格中第j个预测框为正样本时，

第i个珊格中第j个预测框为负样本时，

x_i、y_i、w_i、h_i、C_i和p_i为预测结果；

和

为标签切块的实际信息。

Images