CN110889399B - 基于深度学习的高分辨率遥感影像弱小目标检测方法 - Google Patents

Abstract

本发明实施例公开一种基于深度学习的高分辨率遥感影像弱小目标检测方法及装置。该方法包括：获取待处理遥感影像；将待处理遥感影像输入预先训练得到的卷积神经网络中，通过卷积神经网络对待处理遥感影像分别进行4倍下采样、8倍下采样、和16倍下采样，得到待处理遥感影像对应的不同大小的先验框，识别目标类别置信度大于预设阈值的目标先验框，并根据每个目标先验框的坐标信息，通过预设聚类算法确定待处理遥感影像中包括的目标的坐标信息；其中，卷积神经网络的第一层包括一个残差组件，第二层、第三层、和第四层均包括四个残差组件，每个残差组件均包括两个卷积层和一个快捷链路。应用本发明实施例提供的方案，能够提高弱小目标检测精度。

Description

基于深度学习的高分辨率遥感影像弱小目标检测方法

技术领域

本发明涉及遥感影像处理技术领域，具体而言，涉及一种基于深度学习的高分辨率遥感影像弱小目标检测方法。

背景技术

随着遥感技术的发展，遥感影像得到了越来越广泛的应用。例如，可以通过对遥感影像中的目标进行检测，得到目标所在坐标信息、目标属性信息等。

已知的目标检测方法，主要为根据先验信息，结合人工设计出的单个或多个特征来进行目标的检测。而对于遥感影像中的弱小目标(如分辨率小于32*32、64*64、16*16等)来说，由于其具有较少的信息量和较低的对比度，且占据的像素数目较少从而可利用的特征较少，且高分辨率遥感影像相对较大，使得基于传统的方法进行检测时会出现精度低的问题，很难对弱小目标进行准确的检测。因此，为了提高弱小目标检测的精度，亟需一种弱小目标检测方法。

发明内容

本发明提供了一种基于深度学习的高分辨率遥感影像弱小目标检测方法及装置，以提高弱小目标检测精度。具体的技术方案如下。

第一方面，本发明实施例提供一种基于深度学习的高分辨率遥感影像弱小目标检测方法，所述方法包括：

获取待处理遥感影像；

将所述待处理遥感影像输入预先训练得到的卷积神经网络中，通过所述卷积神经网络对所述待处理遥感影像分别进行4倍下采样、8倍下采样、和16倍下采样，得到所述待处理遥感影像对应的不同大小的先验框，每个所述先验框包含坐标信息和目标类别置信度，识别目标类别置信度大于预设阈值的目标先验框，并根据每个所述目标先验框的坐标信息，通过预设聚类算法确定所述待处理遥感影像中包括的目标的坐标信息；

其中，所述卷积神经网络的第一层包括一个残差组件，第二层、第三层、和第四层均包括四个残差组件，每个所述残差组件均包括两个卷积层和一个快捷链路；所述卷积神经网络为根据对各样本图像进行真值边界框和真值类别标注后的目标样本图像训练得到的。

可选的，每个所述先验框的坐标信息包括先验框中心点坐标、先验框宽度值、以及先验框高度值；所述根据每个所述目标先验框的坐标信息，通过预设聚类算法确定所述待处理遥感影像中包括的目标的坐标信息的步骤包括：

在所述目标先验框中确定原始中心目标先验框，并将各所述原始中心目标先验框的中心点作为当前质心；

根据各所述当前质心的坐标，以及剩余目标先验框的中心点坐标，计算各所述剩余目标先验框的中心点至每个所述当前质心的距离，并将每个所述剩余目标先验框加入与该剩余目标先验框的中心点距离最近的当前质心所在的簇，得到多个先验框簇；

针对每个所述先验框簇，计算该先验框簇的质心，并确定每个所述质心是否均为对应先验框簇的当前质心；

如果是，将各所述先验框簇的边框坐标确定为所述待处理遥感影像中包括的目标的坐标信息；

如果否，将各所述先验框簇的质心作为当前质心，返回执行所述根据各所述当前质心的坐标，以及剩余目标先验框的中心点坐标，计算各所述剩余目标先验框的中心点至每个所述当前质心的距离的步骤。

可选的，所述针对每个所述先验框簇，计算该先验框簇的质心的步骤包括：

将以下公式取值最小时各c_i值作为各先验框簇的质心：

其中，k表示先验框簇质心的总数量，c_i表示第几个质心，x表示各剩余目标先验框的中心，dist表示欧几里得距离，ω表示根据中心x对应的剩余目标先验框和质心c_i对应的先验框的交并比确定的权值。

可选的，所述卷积神经网络的训练过程包括：

构建初始卷积神经网络；所述初始卷积神经网络的第一层包括一个残差组件，第二层、第三层、和第四层均包括四个残差组件，每个所述残差组件均包括两个卷积层和一个快捷链路；

获取样本图像，并对各所述样本图像进行真值边界框和真值类别标注，得到各目标样本图像；

将各所述目标样本图像输入所述初始卷积神经网络，所述初始卷积神经网络对所述目标样本图像进行目标检测，得到各目标的预测边界框和预测类别置信度，根据所述各目标的预测边界框和所述目标样本图像中标注的对应目标的真值边界框进行对比，得到各目标的目标定位偏移量损失，根据所述各目标的预测类别置信度和所述目标样本图像中标注的对应目标的真值类别进行对比，得到各目标的目标置信度损失和目标分类损失，根据各所述目标的目标定位偏移量损失、目标置信度损失和目标分类损失计算预设损失函数的取值，当所述损失函数的取值不变时，将当前的初始卷积神经网络作为所述卷积神经网络。

可选的，所述根据所述各目标的预测边界框和所述目标样本图像中标注的对应目标的真值边界框进行对比，得到各目标的目标定位偏移量损失的步骤包括：

根据以下公式，计算各目标的目标定位偏移量损失：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

其中(c_x，c_y)为所述预测边界框的中心坐标，p_w为所述预测边界框的的宽度，p_h为所述预测边界框的高度；(b_x，b_y)为所述真值边界框的中心坐标，b_w为所述真值边界框的的宽度，b_h为所述真值边界框的高度；(t_x，t_y)为目标定位偏移量损失中的边界框中心偏移量，(t_w，t_h)为目标定位偏移量损失中的宽高缩放比。

第二方面，本发明实施例提供一种基于深度学习的高分辨率遥感影像弱小目标检测装置，所述装置包括：

影像获取模块，用于获取待处理遥感影像；

目标检测模块，用于将所述待处理遥感影像输入预先训练得到的卷积神经网络中，通过所述卷积神经网络对所述待处理遥感影像分别进行4倍下采样、8倍下采样、和16倍下采样，得到所述待处理遥感影像对应的不同大小的先验框，每个所述先验框包含坐标信息和目标类别置信度，识别目标类别置信度大于预设阈值的目标先验框，并根据每个所述目标先验框的坐标信息，通过预设聚类算法确定所述待处理遥感影像中包括的目标的坐标信息；

其中，所述卷积神经网络的第一层包括一个残差组件，第二层、第三层、和第四层均包括四个残差组件，每个所述残差组件均包括两个卷积层和一个快捷链路；所述卷积神经网络为根据对各样本图像进行真值边界框和真值类别标注后的目标样本图像训练得到的。

可选的，每个所述先验框的坐标信息包括先验框中心点坐标、先验框宽度值、以及先验框高度值；所述目标检测模块包括：

质心确定子模块，用于在所述目标先验框中确定原始中心目标先验框，并将各所述原始中心目标先验框的中心点作为当前质心；

先验框簇确定子模块，用于根据各所述当前质心的坐标，以及剩余目标先验框的中心点坐标，计算各所述剩余目标先验框的中心点至每个所述当前质心的距离，并将每个所述剩余目标先验框加入与该剩余目标先验框的中心点距离最近的当前质心所在的簇，得到多个先验框簇；

质心对比子模块，用于针对每个所述先验框簇，计算该先验框簇的质心，并确定每个所述质心是否均为对应先验框簇的当前质心；如果是，触发坐标确定子模块，如果否，触发质心更新子模块；

所述坐标确定子模块，用于将各所述先验框簇的边框坐标确定为所述待处理遥感影像中包括的目标的坐标信息；

所述质心更新子模块，用于将各所述先验框簇的质心作为当前质心，触发所述先验框簇确定子模块。

可选的，所述质心对比子模块，具体用于：

将以下公式取值最小时各c_i值作为各先验框簇的质心：

其中，k表示先验框簇质心的总数量，c_i表示第几个质心，x表示各剩余目标先验框的中心，dist表示欧几里得距离，ω表示根据中心x对应的剩余目标先验框和质心c_i对应的先验框的交并比确定的权值。

可选的，所述装置还包括：

初始网络构建模块，用于构建初始卷积神经网络；所述初始卷积神经网络的第一层包括一个残差组件，第二层、第三层、和第四层均包括四个残差组件，每个所述残差组件均包括两个卷积层和一个快捷链路；

样本获取模块，用于获取样本图像，并对各所述样本图像进行真值边界框和真值类别标注，得到各目标样本图像；

网络训练模块，用于将各所述目标样本图像输入所述初始卷积神经网络，所述初始卷积神经网络对所述目标样本图像进行目标检测，得到各目标的预测边界框和预测类别置信度，根据所述各目标的预测边界框和所述目标样本图像中标注的对应目标的真值边界框进行对比，得到各目标的目标定位偏移量损失，根据所述各目标的预测类别置信度和所述目标样本图像中标注的对应目标的真值类别进行对比，得到各目标的目标置信度损失和目标分类损失，根据各所述目标的目标定位偏移量损失、目标置信度损失和目标分类损失计算预设损失函数的取值，当所述损失函数的取值不变时，将当前的初始卷积神经网络作为所述卷积神经网络。

可选的，所述网络训练模块，具体用于：

根据以下公式，计算各目标的目标定位偏移量损失：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

其中(c_x，c_y)为所述预测边界框的中心坐标，p_w为所述预测边界框的的宽度，p_h为所述预测边界框的高度；(b_x，b_y)为所述真值边界框的中心坐标，b_w为所述真值边界框的的宽度，b_h为所述真值边界框的高度；(t_x，t_y)为目标定位偏移量损失中的边界框中心偏移量，(t_w，t_h)为目标定位偏移量损失中的宽高缩放比。

由上述内容可知，本发明实施例提供的一种基于深度学习的高分辨率遥感影像弱小目标检测方法及装置，能够基于卷积神经网络对遥感影像中的目标进行检测，本发明实施例中的卷积神经网络结构简洁，通过减少卷积层的个数，使得弱小目标的特征没有过度损失，从而保留了弱小目标较多的特征，增加了其与周边环境的可区分性，提高了弱小目标检测的精度。并且，通过对待处理遥感影像分别进行不同倍数的下采样，能够将特征图进行多尺度特征融合，从而增强对不同尺度弱小目标的适用性。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

本发明实施例的创新点包括：

1、基于卷积神经网络对遥感影像中的目标进行检测，本发明实施例中的卷积神经网络结构简洁，通过减少卷积层的个数，使得弱小目标的特征没有过度损失，从而保留了弱小目标较多的特征，增加了其与周边环境的可区分性，提高了弱小目标检测的精度。并且，通过对待处理遥感影像分别进行不同倍数的下采样，能够将特征图进行多尺度特征融合，从而增强对不同尺度弱小目标的适用性。

2、通过样本图像训练得到包含较少卷积层卷积神经网络，从而基于卷积神经网络在对遥感影像进行目标检测时，弱小目标的特征没有过度损失，保留了弱小目标较多的特征，增加了其与周边环境的可区分性，能够提高弱小目标检测的精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的基于深度学习的高分辨率遥感影像弱小目标检测方法的一种流程示意图；

图2为本发明实施例中卷积神经网络对待处理遥感影像进行目标检测的流程示意图；

图3为本发明实施例的基于深度学习的高分辨率遥感影像弱小目标检测方法的另一种流程示意图；

图4为本发明实施例的基于深度学习的高分辨率遥感影像弱小目标检测方法的另一种流程示意图；

图5为本发明实施例的目标边界框预测示意图；

图6为本发明实施例的基于深度学习的高分辨率遥感影像弱小目标检测装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

针对高分辨率遥感图像中的弱小目标数量多、变化快，人工识别难度大、花费时间长等问题，本发明实施例公开了一种基于深度学习的高分辨率遥感影像弱小目标检测方法，能够在高分辨率遥感图像中识别出车辆、帐篷之类的地面弱小目标，统计出图像中目标的数量和信息，为下一步的决策提供依据。下面对本发明实施例进行详细说明。

图1为本发明实施例提供的基于深度学习的高分辨率遥感影像弱小目标检测方法的一种流程示意图。该方法应用于电子设备。该方法具体包括以下步骤。

S110：获取待处理遥感影像。

待处理遥感影像可以为遥感卫星采集的高分辨率遥感影像。或者，上述遥感影像也可以为航空平台采集的高分辨率遥感影像。并且，在本发明实施例中，为了提高待处理遥感影像的图像质量，进而提高弱小目标的检测精度，遥感影像采集后可以经过基础的预处理后，将其作为待处理遥感影像，对其中的弱小目标进行检测。

S120：将待处理遥感影像输入预先训练得到的卷积神经网络中，通过卷积神经网络对待处理遥感影像分别进行4倍下采样、8倍下采样、和16倍下采样，得到待处理遥感影像对应的不同大小的先验框，每个先验框包含坐标信息和目标类别置信度，识别目标类别置信度大于预设阈值的目标先验框，并根据每个目标先验框的坐标信息，通过预设聚类算法确定待处理遥感影像中包括的目标的坐标信息；其中，卷积神经网络的第一层包括一个残差组件，第二层、第三层、和第四层均包括四个残差组件，每个残差组件均包括两个卷积层和一个快捷链路；卷积神经网络为根据对各样本图像进行真值边界框和真值类别标注后的目标样本图像训练得到的。

在本发明实施例中，为了对待处理遥感影像中的弱小目标进行有效检测，可以预先训练得到卷积神经网络。其中，为了避免弱小目标在处理过程中特征的损失，该卷积神经网络的结构可以包含较少的卷积层。

上述卷积神经网络主要由3x3和1x1的滤波器组成，前层的特征图会对后一层的特征图进行上采样，使得高阶特征和低阶特征有机地结合在一起。具体的，该卷积神经网络可以包括4层。其中，第一层可以包括一个残差组件，第二层、第三层、和第四层均包括四个残差组件，每个残差组件均包括两个卷积层和一个快捷链路。

可以看出，与现有的YOLO3模型相比，本发明实施例中的卷积神经网络少了一个卷积层。并且，在本发明实施例中，可以相应的对各层的参数进行调整，以减少弱小目标在处理过程中的特征损失，提高弱小目标的检出率。并且，可以结合多尺度特征融合的方法，即可以对待处理遥感影像进行不同倍数的下采样，使该卷积神经网络更适用于弱小目标的检测。

上述卷积神经网络可以根据对各样本图像进行真值边界框和真值类别标注后的目标样本图像训练得到。其中，该卷积神经网络的检测原理可以为，首先将输入的待处理遥感影像分成若干网格，对于待处理遥感影像中所含有的目标，该目标实际边框的中心落在哪个网格内，就由该网格负责预测该对象(设置该先验框的置信度为1)，所有其他先验框都不负责预测该对象(置信度＝0)。同时，在先验框对应的输出向量中，将边框位置设置为对象的实际边框，并将该对象类型设置为1。

在本发明实施例中，将待处理遥感影像输入卷积神经网络后，该卷积神经网络可以对待处理遥感影像分别进行4倍下采样、8倍下采样、和16倍下采样，得到待处理遥感影像对应的不同大小的先验框，每个先验框包含坐标信息和目标类别置信度。

图2示出了本发明实施例中卷积神经网络对待处理遥感影像进行目标检测的流程示意图。如图2所示，将416*416*3的待处理遥感影像输入卷积神经网络后，经过CNN卷积处理，再分别对待处理遥感影像进行4倍下采样、8倍下采样、和16倍下采样。经过4倍下采样后，得到104x104x3个网格数；经过8倍下采样后，得到52x52x3个网格数；经过16倍下采样后，得到26x26x3个网格数，一共会输出26x26x3+52x52x3+104x104x3＝42588个网格数。上述网格数也即先验框的个数。输出向量中，包含4维的坐标信息，1维边框置信度，以及5维的对象类别数。对象类别数的维度可以依实际情况而定，本发明实施例对此不作限定。

得到先验框后，可以识别目标类别置信度大于预设阈值(如80％、90％、95％等)的目标先验框，也即明显包含目标的目标先验框。进而可以根据目标先验框的坐标信息，通过预设聚类算法确定待处理遥感影像中包括的目标的坐标信息。

在一种实现方式中，每个先验框的坐标信息包括先验框中心点坐标、先验框宽度值、以及先验框高度值。根据每个目标先验框的坐标信息，通过预设聚类算法确定待处理遥感影像中包括的目标的坐标信息时，可以采用聚类算法来计算。例如，可以首先选择K个点作为初始质心，将剩余每个点指派到最近的质心，形成K个簇；然后重新计算每个簇的质心，直到簇不发生变化或达到最大迭代次数。

具体的，如图3所示，根据每个目标先验框的坐标信息，通过预设聚类算法确定待处理遥感影像中包括的目标的坐标信息可以包括以下步骤。

S310：在目标先验框中确定原始中心目标先验框，并将各原始中心目标先验框的中心点作为当前质心。

例如，可以在目标先验框中随机选择一定数量的目标先验框，作为原始中心目标先验框。

S320：根据各当前质心的坐标，以及剩余目标先验框的中心点坐标，计算各剩余目标先验框的中心点至每个当前质心的距离，并将每个剩余目标先验框加入与该剩余目标先验框的中心点距离最近的当前质心所在的簇，得到多个先验框簇。

也就是说，可以将当前质心之外的剩余目标先验框的中心点，加入距离其最近的质心所在的簇，得到多个先验框簇。

S330：针对每个先验框簇，计算该先验框簇的质心，并确定每个质心是否均为对应先验框簇的当前质心；如果是，执行步骤S340，如果否，执行步骤S350。

在一种实现方式中，针对每个先验框簇，计算该先验框簇的质心时，可以将SSE(Sum of the Squared Error，误差平方和)作为目标函数。

具体的，可以将以下公式取值最小时各c_i值作为各先验框簇的质心：

其中，k表示先验框簇质心的总数量，ci表示第几个质心，x表示各剩余目标先验框的中心，dist表示欧几里得距离，ω表示根据中心x对应的剩余目标先验框和质心c_i对应的先验框的交并比确定的权值。

S340：将各先验框簇的边框坐标确定为待处理遥感影像中包括的弱小目标的坐标信息。

当每个质心均为对应先验框簇的当前质心时，表明簇不再发生变化，聚类完成，这种情况下，可以将各先验框簇的边框坐标确定为待处理遥感影像中包括的目标的坐标信息。

S350：将各先验框簇的质心作为当前质心，返回执行步骤S320，即根据各当前质心的坐标，以及剩余目标先验框的中心点坐标，计算各剩余目标先验框的中心点至每个当前质心的距离的步骤。

当没有达到每个质心均为对应先验框簇的当前质心时，表明簇发生变化了，聚类未完成。这种情况下，可以将各先验框簇的质心作为当前质心，返回执行步骤S320，重新进行聚类，直到簇不再变化，得到待处理遥感影像中包括的目标的坐标信息。

由上述内容可知，本发明实施例能够基于卷积神经网络对遥感影像中的目标进行检测，本发明实施例中的卷积神经网络结构简洁，通过减少卷积层的个数，使得弱小目标的特征没有过度损失，从而保留了弱小目标较多的特征，增加了其与周边环境的可区分性，提高了弱小目标检测的精度。并且，通过对待处理遥感影像分别进行不同倍数的下采样，能够将特征图进行多尺度特征融合，从而增强对不同尺度弱小目标的适用性。

作为本发明实施例的一种实施方式，如图4所示，上述卷积神经网络的训练过程可以包括以下步骤。

S410：构建初始卷积神经网络；初始卷积神经网络的第一层包括一个残差组件，第二层、第三层、和第四层均包括四个残差组件，每个残差组件均包括两个卷积层和一个快捷链路。

在本发明实施例中，为了对待处理遥感影像中的弱小目标进行有效检测，避免弱小目标在处理过程中特征的损失，该初始卷积神经网络的结构可以包含较少的卷积层。

S420：获取样本图像，并对各样本图像进行真值边界框和真值类别标注，得到各目标样本图像。

上述样本图像可以为遥感卫星采集的遥感影像。对样本图像进行标注时，可以通过人工的方式进行标注，或者通过现有的其他标注方法进行标注，本发明实施例对此不作限定。

S430：将各目标样本图像输入初始卷积神经网络，初始卷积神经网络对目标样本图像进行目标检测，得到各目标的预测边界框和预测类别置信度，根据各目标的预测边界框和目标样本图像中标注的对应目标的真值边界框进行对比，得到各目标的目标定位偏移量损失，根据各目标的预测类别置信度和目标样本图像中标注的对应目标的真值类别进行对比，得到各目标的目标置信度损失和目标分类损失，根据各目标的目标定位偏移量损失、目标置信度损失和目标分类损失计算预设损失函数的取值，当损失函数的取值不变时，将当前的初始卷积神经网络作为卷积神经网络。

损失函数主要包括三个部分：目标定位偏移量损失、目标置信度损失、以及目标分类损失。在本发明实施例中，可以将IOU(Intersection-over-Union，交并比)最大的那个先验框的置信度设为1，其它先验框的置信度都设置成0。

如图5所示，(c_x，c_y)为预测边界框的中心坐标，p_w为预测边界框的的宽度，p_h为预测边界框的高度；(b_x，b_y)为真值边界框的中心坐标，b_w为真值边界框的的宽度，b_h为真值边界框的高度；(t_x，t_y)为目标定位偏移量损失中的边界框中心偏移量，(t_w，t_h)为目标定位偏移量损失中的宽高缩放比，则有：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

根据上述公式，即可计算得到目标定位偏移量损失。

根据各目标的目标定位偏移量损失、目标置信度损失和目标分类损失计算预设损失函数的取值时，可以将目标定位偏移量损失、目标置信度损失和目标分类损失，根据预先设定的权重进行加权计算，得到损失函数的取值。

通过样本图像训练得到包含较少卷积层的卷积神经网络，从而基于卷积神经网络在对遥感影像进行目标检测时，弱小目标的特征没有过度损失，保留了弱小目标较多的特征，增加了其与周边环境的可区分性，能够提高弱小目标检测的精度。

图6示出了本发明实施例中一种基于深度学习的高分辨率遥感影像弱小目标检测装置的结构示意图，该装置包括：

影像获取模块610，用于获取待处理遥感影像；

目标检测模块620，用于将所述待处理遥感影像输入预先训练得到的卷积神经网络中，通过所述卷积神经网络对所述待处理遥感影像分别进行4倍下采样、8倍下采样、和16倍下采样，得到所述待处理遥感影像对应的不同大小的先验框，每个所述先验框包含坐标信息和目标类别置信度，识别目标类别置信度大于预设阈值的目标先验框，并根据每个所述目标先验框的坐标信息，通过预设聚类算法确定所述待处理遥感影像中包括的目标的坐标信息；

其中，所述卷积神经网络的第一层包括一个残差组件，第二层、第三层、和第四层均包括四个残差组件，每个所述残差组件均包括两个卷积层和一个快捷链路；所述卷积神经网络为根据对各样本图像进行真值边界框和真值类别标注后的目标样本图像训练得到的。

由上述内容可知，本发明实施例能够基于卷积神经网络对遥感影像中的目标进行检测，本发明实施例中的卷积神经网络结构简洁，通过减少卷积层的个数，使得弱小目标的特征没有过度损失，从而保留了弱小目标较多的特征，增加了其与周边环境的可区分性，提高了弱小目标检测的精度。并且，通过对待处理遥感影像分别进行不同倍数的下采样，能够将特征图进行多尺度特征融合，从而增强对不同尺度弱小目标的适用性。

作为本发明实施例的一种实施方式，每个所述先验框的坐标信息包括先验框中心点坐标、先验框宽度值、以及先验框高度值；所述目标检测模块包括：

质心确定子模块，用于在所述目标先验框中确定原始中心目标先验框，并将各所述原始中心目标先验框的中心点作为当前质心；

先验框簇确定子模块，用于根据各所述当前质心的坐标，以及剩余目标先验框的中心点坐标，计算各所述剩余目标先验框的中心点至每个所述当前质心的距离，并将每个所述剩余目标先验框加入与该剩余目标先验框的中心点距离最近的当前质心所在的簇，得到多个先验框簇；

质心对比子模块，用于针对每个所述先验框簇，计算该先验框簇的质心，并确定每个所述质心是否均为对应先验框簇的当前质心；如果是，触发坐标确定子模块，如果否，触发质心更新子模块；

所述坐标确定子模块，用于将各所述先验框簇的边框坐标确定为所述待处理遥感影像中包括的目标的坐标信息；

所述质心更新子模块，用于将各所述先验框簇的质心作为当前质心，触发所述先验框簇确定子模块。

作为本发明实施例的一种实施方式，所述质心对比子模块，具体用于：

将以下公式取值最小时各c_i值作为各先验框簇的质心：

其中，k表示先验框簇质心的总数量，c_i表示第几个质心，x表示各剩余目标先验框的中心，dist表示欧几里得距离，ω表示根据中心x对应的剩余目标先验框和质心c_i对应的先验框的交并比确定的权值。

作为本发明实施例的一种实施方式，所述装置还包括：

初始网络构建模块，用于构建初始卷积神经网络；所述初始卷积神经网络的第一层包括一个残差组件，第二层、第三层、和第四层均包括四个残差组件，每个所述残差组件均包括两个卷积层和一个快捷链路；

样本获取模块，用于获取样本图像，并对各所述样本图像进行真值边界框和真值类别标注，得到各目标样本图像；

网络训练模块，用于将各所述目标样本图像输入所述初始卷积神经网络，所述初始卷积神经网络对所述目标样本图像进行目标检测，得到各目标的预测边界框和预测类别置信度，根据所述各目标的预测边界框和所述目标样本图像中标注的对应目标的真值边界框进行对比，得到各目标的目标定位偏移量损失，根据所述各目标的预测类别置信度和所述目标样本图像中标注的对应目标的真值类别进行对比，得到各目标的目标置信度损失和目标分类损失，根据各所述目标的目标定位偏移量损失、目标置信度损失和目标分类损失计算预设损失函数的取值，当所述损失函数的取值不变时，将当前的初始卷积神经网络作为所述卷积神经网络。

作为本发明实施例的一种实施方式，所述网络训练模块，具体用于：

根据以下公式，计算各目标的目标定位偏移量损失：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

其中(c_x，c_y)为所述预测边界框的中心坐标，p_w为所述预测边界框的的宽度，p_h为所述预测边界框的高度；(b_x，b_y)为所述真值边界框的中心坐标，b_w为所述真值边界框的的宽度，b_h为所述真值边界框的高度；(t_x，t_y)为目标定位偏移量损失中的边界框中心偏移量，(t_w，t_h)为目标定位偏移量损失中的宽高缩放比。

上述装置实施例与方法实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。

Claims (6)

1.一种基于深度学习的高分辨率遥感影像弱小目标检测方法，其特征在于，所述方法包括：

获取待处理遥感影像；

将所述待处理遥感影像输入预先训练得到的卷积神经网络中，通过所述卷积神经网络对所述待处理遥感影像分别进行4倍下采样、8倍下采样、和16倍下采样，得到所述待处理遥感影像对应的不同大小的先验框，每个所述先验框包含坐标信息和目标类别置信度，识别目标类别置信度大于预设阈值的目标先验框，并根据每个所述目标先验框的坐标信息，通过预设聚类算法确定所述待处理遥感影像中包括的目标的坐标信息；

其中，所述卷积神经网络包括4层，所述卷积神经网络的第一层包括一个残差组件，第二层、第三层、和第四层均包括四个残差组件，每个所述残差组件均包括两个卷积层和一个快捷链路；所述卷积神经网络为根据对各样本图像进行真值边界框和真值类别标注后的目标样本图像训练得到的；

每个所述先验框的坐标信息包括先验框中心点坐标、先验框宽度值、以及先验框高度值；所述根据每个所述目标先验框的坐标信息，通过预设聚类算法确定所述待处理遥感影像中包括的目标的坐标信息的步骤包括：

在所述目标先验框中确定原始中心目标先验框，并将各所述原始中心目标先验框的中心点作为当前质心；

根据各所述当前质心的坐标，以及剩余目标先验框的中心点坐标，计算各所述剩余目标先验框的中心点至每个所述当前质心的距离，并将每个所述剩余目标先验框加入与该剩余目标先验框的中心点距离最近的当前质心所在的簇，得到多个先验框簇；

针对每个所述先验框簇，计算该先验框簇的质心，并确定每个所述质心是否均为对应先验框簇的当前质心；

如果是，将各所述先验框簇的边框坐标确定为所述待处理遥感影像中包括的目标的坐标信息；

如果否，将各所述先验框簇的质心作为当前质心，返回执行所述根据各所述当前质心的坐标，以及剩余目标先验框的中心点坐标，计算各所述剩余目标先验框的中心点至每个所述当前质心的距离的步骤；

所述针对每个所述先验框簇，计算该先验框簇的质心的步骤包括：

将以下公式取值最小时各c_i值作为各先验框簇的质心：

其中，k表示先验框簇质心的总数量，c_i表示第几个质心，x表示各剩余目标先验框的中心，dist表示欧几里得距离，ω表示根据中心x对应的剩余目标先验框和质心c_i对应的先验框的交并比确定的权值。

2.根据权利要求1所述的方法，其特征在于，所述卷积神经网络的训练过程包括：

构建初始卷积神经网络；所述初始卷积神经网络的第一层包括一个残差组件，第二层、第三层、和第四层均包括四个残差组件，每个所述残差组件均包括两个卷积层和一个快捷链路；

获取样本图像，并对各所述样本图像进行真值边界框和真值类别标注，得到各目标样本图像；

将各所述目标样本图像输入所述初始卷积神经网络，所述初始卷积神经网络对所述目标样本图像进行目标检测，得到各目标的预测边界框和预测类别置信度，根据所述各目标的预测边界框和所述目标样本图像中标注的对应目标的真值边界框进行对比，得到各目标的目标定位偏移量损失，根据所述各目标的预测类别置信度和所述目标样本图像中标注的对应目标的真值类别进行对比，得到各目标的目标置信度损失和目标分类损失，根据各所述目标的目标定位偏移量损失、目标置信度损失和目标分类损失计算预设损失函数的取值，当所述损失函数的取值不变时，将当前的初始卷积神经网络作为所述卷积神经网络。

3.根据权利要求2所述的方法，其特征在于，所述根据所述各目标的预测边界框和所述目标样本图像中标注的对应目标的真值边界框进行对比，得到各目标的目标定位偏移量损失的步骤包括：

根据以下公式，计算各目标的目标定位偏移量损失：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

其中(c_x，c_y)为所述预测边界框的中心坐标，p_w为所述预测边界框的的宽度，p_h为所述预测边界框的高度；(b_x，b_y)为所述真值边界框的中心坐标，b_w为所述真值边界框的的宽度，b_h为所述真值边界框的高度；(t_x，t_y)为目标定位偏移量损失中的边界框中心偏移量，(t_w，t_h)为目标定位偏移量损失中的宽高缩放比。

4.一种基于深度学习的高分辨率遥感影像弱小目标检测装置，其特征在于，所述装置包括：

影像获取模块，用于获取待处理遥感影像；

目标检测模块，用于将所述待处理遥感影像输入预先训练得到的卷积神经网络中，通过所述卷积神经网络对所述待处理遥感影像分别进行4倍下采样、8倍下采样、和16倍下采样，得到所述待处理遥感影像对应的不同大小的先验框，每个所述先验框包含坐标信息和目标类别置信度，识别目标类别置信度大于预设阈值的目标先验框，并根据每个所述目标先验框的坐标信息，通过预设聚类算法确定所述待处理遥感影像中包括的目标的坐标信息；

其中，所述卷积神经网络包括4层，所述卷积神经网络的第一层包括一个残差组件，第二层、第三层、和第四层均包括四个残差组件，每个所述残差组件均包括两个卷积层和一个快捷链路；所述卷积神经网络为根据对各样本图像进行真值边界框和真值类别标注后的目标样本图像训练得到的；

每个所述先验框的坐标信息包括先验框中心点坐标、先验框宽度值、以及先验框高度值；所述目标检测模块包括：

质心确定子模块，用于在所述目标先验框中确定原始中心目标先验框，并将各所述原始中心目标先验框的中心点作为当前质心；

先验框簇确定子模块，用于根据各所述当前质心的坐标，以及剩余目标先验框的中心点坐标，计算各所述剩余目标先验框的中心点至每个所述当前质心的距离，并将每个所述剩余目标先验框加入与该剩余目标先验框的中心点距离最近的当前质心所在的簇，得到多个先验框簇；

质心对比子模块，用于针对每个所述先验框簇，计算该先验框簇的质心，并确定每个所述质心是否均为对应先验框簇的当前质心；如果是，触发坐标确定子模块，如果否，触发质心更新子模块；

所述坐标确定子模块，用于将各所述先验框簇的边框坐标确定为所述待处理遥感影像中包括的目标的坐标信息；

所述质心更新子模块，用于将各所述先验框簇的质心作为当前质心，触发所述先验框簇确定子模块；

所述质心对比子模块，具体用于：

将以下公式取值最小时各c_i值作为各先验框簇的质心：

其中，k表示先验框簇质心的总数量，c_i表示第几个质心，x表示各剩余目标先验框的中心，dist表示欧几里得距离，ω表示根据中心x对应的剩余目标先验框和质心c_i对应的先验框的交并比确定的权值。

5.根据权利要求4所述的装置，其特征在于，所述装置还包括：

初始网络构建模块，用于构建初始卷积神经网络；所述初始卷积神经网络的第一层包括一个残差组件，第二层、第三层、和第四层均包括四个残差组件，每个所述残差组件均包括两个卷积层和一个快捷链路；

样本获取模块，用于获取样本图像，并对各所述样本图像进行真值边界框和真值类别标注，得到各目标样本图像；

网络训练模块，用于将各所述目标样本图像输入所述初始卷积神经网络，所述初始卷积神经网络对所述目标样本图像进行目标检测，得到各目标的预测边界框和预测类别置信度，根据所述各目标的预测边界框和所述目标样本图像中标注的对应目标的真值边界框进行对比，得到各目标的目标定位偏移量损失，根据所述各目标的预测类别置信度和所述目标样本图像中标注的对应目标的真值类别进行对比，得到各目标的目标置信度损失和目标分类损失，根据各所述目标的目标定位偏移量损失、目标置信度损失和目标分类损失计算预设损失函数的取值，当所述损失函数的取值不变时，将当前的初始卷积神经网络作为所述卷积神经网络。

6.根据权利要求5所述的装置，其特征在于，所述网络训练模块，具体用于：

根据以下公式，计算各目标的目标定位偏移量损失：

b_x＝σ(t_x)+c_x

b_y＝σ(t_y)+c_y

其中(c_x，c_y)为所述预测边界框的中心坐标，p_w为所述预测边界框的的宽度，p_h为所述预测边界框的高度；(b_x，b_y)为所述真值边界框的中心坐标，b_w为所述真值边界框的的宽度，b_h为所述真值边界框的高度；(t_x，t_y)为目标定位偏移量损失中的边界框中心偏移量，(t_w，t_h)为目标定位偏移量损失中的宽高缩放比。

Images