CN114005028A - 一种抗干扰的遥感图像目标检测轻量模型及其方法 - Google Patents

Abstract

本发明公开了一种抗干扰的遥感图像目标检测轻量模型及其方法，模型包括：轻量多尺度特征提取网络、特征像素修正模块和多方向检测模块并依次连接；其方法包括：对输入图片进行特征提取；根据特征图分别获取不同位置上像素值的权重，通过学习到的权重值，矫正特征图中的像素值，获取矫正后的特征图；根据矫正后的特征图预测出输入图片中目标的位置和类别。本发明检测速度快精度高，模型参数量少、计算量小，兼容性高，能有效抵制光学干扰对目标检测识别的影响，防止误检。

Description

一种抗干扰的遥感图像目标检测轻量模型及其方法

技术领域

本发明涉及数字图像处理技术领域，更具体的说是涉及一种抗干扰的遥感图像目标检测轻量模型及其方法。

背景技术

近些年来，深度学习技术得到了飞速的发展，得益于大量数据的支撑，各种深度学习技术在很多方面都超越了传统机器学习算法。深度卷积神经网络的发展，促进了目标识别、目标分割、目标检测等技术的发展。当前绝大多数目标检测算法都是基于深度卷积神经网络模型，这些算法大致可以划分为基于锚框(anchor)的检测模型和不基于锚框(anchor-free)的检测模型。基于锚框的检测算法，首先需要人为设置各种目标的锚框尺寸和长宽比例，然后通过网路学习输入图像中目标相对锚框的偏差来完成目标的定位和分类。不基于锚框的检测算法，通过深度卷积网络直接回归目标的位置信息和类别信息，从而完成目标的检测识别。当前绝大多数目标检测模型都需要特定的硬件平台支撑其运行，比如需要高性能的GPU、较大的内存、较大的显存等。除了对训练数据的过分依赖，对硬件平台的依赖严重阻碍了深度学习检测识别模型在现实环境中的部署。

各种遥感技术如今已经深入我们生活的方方面面，给地物观测、感兴趣区域监控、遥感目标检测识别等方面提供了有效的手段。遥感图像中的目标检测识别不同于自然图像中的目标检测识别，主要的原因在于待检测识别的目标往往由从上往下的角度拍摄，或者具有一定的俯视角度，其成像中的目标是多方向的、多尺度的、多姿态的。此外，由于距离、天气、光照、温度等因素的影响，待检测的环境往往存在各种各样的干扰，这些干扰直接增加了检测模型的负担，在各种干扰环境中成功实现目标的检测与识别是当前算法研究的热点和难题。

因此，如何提出一种计算量小、准确率高、检测速度快以及兼容性高的抗干扰的遥感图像目标检测轻量模型及其方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种抗干扰的遥感图像目标检测轻量模型及其方法，具有计算量小、准确率高、检测速度快以及兼容性高的特点。

为了实现上述目的，本发明采用如下技术方案：

一种抗干扰的遥感图像目标检测轻量模型，包括：轻量多尺度特征提取网络、特征像素修正模块和多方向检测模块并依次连接；

所述轻量多尺度特征提取网络包括6层深度可分离卷积层并依次连接，其中，将第三层深度可分离卷积层的输出，通过最近邻插值算法进行长宽分别二倍形式的放大，并将放大尺度后的特征与网络第六层深度可分离卷积层的输出进行通道处的融合，完成特征提取；

所述特征像素修正网络模块，用于对当前深度特征像素值重要程度进行预测，从而通过预测得到的数值与原始的像素数值相乘，完成对所述轻量多尺度特征提取网络提取到的特征进行矫正；所述特征像素修正模块包括2层深度可分离卷积层和2层标准卷积层并依次连接，其中，2层深度可分离卷积层设置于2层标准卷积层的前端；

所述多方向检测模块用于根据矫正后的深度特征预测出输入图片中目标的位置和类别。

优选的，所述轻量多尺度特征提取网络中每层深度可分离卷积层的通道数依次分别为：48、96、192、384、512和256；

所述轻量多尺度特征提取网络还包括池化层、通道权重矫正单元和ReLu6激活函数；

前四层深度可分离卷积层之间均分别设置有所述池化层，所述池化层用于进行下采样；

所述通道权重矫正单元包括全局池化层、第一卷积核和第二卷积核并依次连接，所述全局池化层用于获取输入图片的一维表示，所述第一卷积核大小为3*1，用于获取每个通道的权重并修正每个通道特征的权重，所述第二卷积核大小为1*1，用于完成维度的减少；

所述ReLu6激活函数分别设置于每层深度可分离卷积层之后。

优选的，所述特征像素修正模块中的前两层深度可分离卷积层输入的通道数均为128，后两层的标准卷积通道数目分别为64和1。

优选的，所述多方向检测模块包括：网络类别预测模块cls、定位预测模块loc、目标左右朝向模块ort以及预测精度偏差模块offset；每个模块均包括2层深度可分离卷积层和2层标准卷积层并依次连接；

其中，所述网络类别预测模块cls用于完成图像中目标类别的预测；所述网络类别预测模块cls中前三层卷积层的通道数分别为192，128和64，最后一层标准卷积层的通道数为待识别目标的种类数；

所述定位预测模块loc用于完成目标的位置信息的预测，所述定位预测模块loc中四个卷积层的通道数分别为192，128，64和8；

所述目标左右朝向模块ort用于完成目标左右朝向的预测，所述目标左右朝向模块ort中四个卷积层的通道数分别为192，128，64和2；

所述数据精度损失模块offset用于预测网络预测目标的位置精度偏差，从而提升网络目标定位的准确性；所述预测精度偏差模块offset中四个卷积层的通道数分别为192，128，64和2。

一种抗干扰的遥感图像目标检测方法，包括以下步骤：

S1.对输入图片进行特征提取，对于第一个池化层后的特征与第三个卷积层特征采用特征分辨率重组融合的方式将它们分别与第二个池化层的特征和第五层卷积层的特征进行融合，来尽可能多的保留浅层网络特征的细节信息，将第三层卷积层提取的特征与第六层卷积层提取的特征进行融合来获取网络对输入图片的深度特征的提取；

S2.根据深度特征分别获取不同位置上像素值的权重，通过学习到的权重值，矫正特征图中的像素值，获取矫正后的特征图；

S3.根据矫正后的特征图预测出输入图片中目标的位置和类别。

优选的，S1还包括以下内容：

使用浅层特征的迁移操作对浅层特征分辨率重新组合，采用特征分辨率重组融合的方式，将第一个池化层后的特征与第三个卷积层特征对应分别与第二个池化层的特征和第五层卷积层的特征进行融合，其中，特征分辨率重组具体为将一个大尺度的特征图转换为4个小尺度的特征图；

将第三层卷积层提取的特征与第六层卷积层提取的特征进行融合来获取网络对输入图片的深度特征的提取，将最终特征通过全局池化后获取一维向量，通过对一维向量进行3*1卷积操作，获取每个通道的权重，从而修正每个通道特征的权重，对修正权重后的特征通过1*1卷积完成维度的减少。

优选的，S2包括以下内容：

通过卷积运算学习当前特征图的显著图；

根据标注数据中目标的坐标信息，制作与标注图片对应尺寸的二值图；当前二值图中背景位置处的数值为0，目标所在位置的数值为1；

将原始的目标尺度标注信息的边界大小均扩大s倍，形成新的标注信息来完成二值图的生成；

在训练阶段，通过对像素特征修正网络的输出结果与对应的二值图进行交叉熵计算，通过梯度反向传播指导像素特征修正网络模块的学习；经过训练学习后，将深度特征输入特征修正网络，并执行Softmax操作，将Softmax产生的值与当前深度特征图相乘获取新的信息特征图。

优选的，S3中通过回归中心点距离四边中心点的偏差完成目标的定位，从而学习当前目标的方向和潜在的长宽比例。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种抗干扰的遥感图像目标检测轻量模型及其方法，具有以下有益效果：

本发明中的该模型及其算法，基于深度可分离卷积算子，整个特征提取网络及特征提取的方法均具有较少的参数量和计算量，检测速度快，对运行平台硬件条件要求低；针对检测识别过程中目标多尺度、目标弱小问题，通过特征分辨率重组融合的机制以及深层浅层特征图融合的机制来提升网络对小尺度目标的敏感性，其中的轻量多尺度特征提取网络及其方法提取的特征一方面可以有效地获取输入图像的高层语义信息，一方面可以较好地保留浅层特征的细节信息，很大程度提升了特征提取网络的有效性；并通过特征像素修正模块及其修正方法可以有效抵制各种光学干扰对目标检测识别的影响，防止误检，有效提高了该识别模型及其方法的准确性；另外，本发明中还设置有多方向检测模块，有效解决了遥感图像中目标多方向的问题，能够适应目标多角度的特征，一方面，通过多任务学习提升算法性能，一方面为检测识别结果的近一步处理提供了有效的指导信息。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1附图为本发明提供的一种抗干扰的遥感图像目标检测轻量模型中的特征提取网络结构示意图；

图2附图为本发明提供的一种抗干扰的遥感图像目标检测方法中特征分辨率重组的示意图和网络融合示意图；

图3附图为本发明提供的一种抗干扰的遥感图像目标检测轻量模型中特征融合精炼网络框架图；

图4附图为本发明提供的一种抗干扰的遥感图像目标检测轻量模型是多方向检测模块的结构示意图；

图5附图为本发明提供的一种抗干扰的遥感图像目标检测轻量模型是多方向检测模块各网络分支的工作原理示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种抗干扰的遥感图像目标检测轻量模型及其方法：

1.轻量多尺度特征提取网络

为了更好地方便深度网络模型嵌入硬件环境，在保证检测识别性能的情况下，极大的提升网络模型的推理速度是很重要的。常见的减少网络计算量，提升网络推理速度的方案有：更小的输入尺度、更小的卷积核、更少的通道运算等。因此在整个网络模型中，本实施例使用了较小的输入(160*128)、较小的卷积核(3*3、1*1)以及深度可分离卷积(depthwise separableconvolution)。基于深度可分离卷积，整个backbone网络可以划分6层，每层的通道数分别为：48、96、192、384、512、256。

池化层有利于网络获取更大的感受野和高层语义信息的获取，但是它也会造成特征信息的大量损失。本发明采用两种手段来保留浅层特征的细节信息和高层特征的语义信息。首先，本实施例使用浅层特征的迁移操作对浅层特征分辨率重新组合，通过网络跳连操作来提升高层特征的细节信息量，如图2所示，其中图(a)为卷积网络特征图分辨率重组示意图，图(b)为特征图的点加融合示意图，图(c)为特征图的通道连接融合示意图。

此外，设计了一种浅层特征和深层特征融合方法，通过融合方案提升网络对定位和分类任务的性能。由于浅层特征和深层特征采用通道处的连接，而非点加方式的如何，通道数会将增加1.5倍，这会增加很多计算量，同时不利于后期检测网络的使用。因此，本发明设计了一种通道权重矫正算法。融合后的特征首先通过全局池化获取其一维表示，通过对一维向量进行3*1卷积操作，获取每个通道的权重，从而修正每个通道特征的权重。修正后的特征，再通过1*1卷积完成维度的减少。

当前网络是轻量的、高效的。整个特征提取网络共六层，它具有较小的输入，在保证推理速度的情况下，极大地保证了充足的感受野。在每一层深度可分离卷积后，本实施例均增加了ReLu6激活函数，激活函数的使用可以使得神经网络可以捕获更多有效的信息。

2.基于监督像素修正网络模块的特征修正

噪声和干扰的存在会使网络提取的特征图存在大量的噪声，这些噪声会和目标一样在特征图上产生积极的响应，这直接加重了接下来检测识别网络的负担，使得网络产生大量的误检。为了更好地突显目标所在位置的特征，一种基于监督学习的网络用来完成特征图的特征值更新。

为了保持原有网络结构的简洁性不引入过于复杂的网络结构。此监督网络结构主要是由四层卷积神经网络组成。前两层分别是由深度可分离卷积神经网络组成，输入的通道数均为128，第三层和第四层由标准卷积构成，通道数目为64和1。通过卷积运算学习当前输入图片的显著性图(显著性数值用来衡量当前像素点属于前景的权重)。然后在显著图上执行Softmax操作，并将其与当前的特征图相乘便可以获取新的信息特征图。值得注意的是softmax处理的显著图的数值在[0,1]之间，它可以减少噪声并相对增强对象信息。由于显著性图是连续的，因此不会完全消除非对象信息，这对于保留某些上下文信息并提高鲁棒性是有利的。为了指导网络学习此过程，本实施例采用了监督学习方法。首先，根据标注数据中目标的坐标信息，制作和标注图片对应尺寸的二值图。该二值图中背景位置处的数值为0，目标所在位置的数值为1。此外，为了使目标区域保留更多的语义信息，将原始的目标尺度标注信息的边界大小均扩大s倍，形成新的标注信息来完成二值图的生成。

此方法的实施有利于保持足够的目标特征，有利于接下来的目标检测识别，本实施例算法中将s设置为1.5。之所以保留目标所在位置一定范围的背景，它可以给当前目标特征的描述提供一些上下文信息，这些背景信息可以有效提升目标的定位的准确性和分类的准确性。特征修正网络模块的学习采用二进制交叉熵损失，完成该网络参数的更新。

3.基于关键点的多方向目标检测识别网络

由于遥感图像中的目标都是由俯视角度拍摄的，它们往往是多角度、多方向的。常见的通过额外网络分支回归目标角度的方式，存在一些缺陷：(1)角度的回归预测与当前目标属性的预测相互分离，比如角度与中心点、角度与长宽等，这不利于网络的快速回归，训练损失函数的稳定；(2)角度的回归值存在很高的敏感性，细小的差别，由于目标尺度的不同造成的负面影响很大。

因此，本实施例中采用了如下的回归策略，在兼顾目标属性的同时，完成了多方向目标的定位以及目标左右朝向的预测。通过简单的4层卷积(前两层为深度可分离卷积，后两层是标准卷积)回归中心点距离四边中心点的偏差完成目标的定位，从而学习了当前目标的方向和潜在的长宽比例，同时使得当前检测算法具备一定程度抗击遮挡的能力。因为整个回归有关目标定位的设计是基于相对位置关系的，在以中心点为基准的情况下可以有效地学习目标地潜在长宽比列，因此可以间接抵挡一定程度的遮挡影响。此方案不同于常见的锚框(anchors)的设计思路，它具有简单的结构和易操作的优势，但也具备锚框的优势。

如图4-5所示，整个多方向检测模块一共由四个网络分支组成，每个网络分支由四层网络组成，前两层由深度可分离卷积组成，后两层由标准卷积构成。这四个网络分支可以命名为网络类别预测模块cls，定位预测模块loc，目标左右朝向模块ort以及预测精度偏差模块offset。cls模块每层网络的通道数为192，128，64，class_num。其中class_num表示待识别目标的种类。loc网络模块的通道数为192，128，64，8。ort网络模块的通道数为192，128，64，2。offset网络模块的通道数为192，128，64，2。

4.轻量高效的遥感图像检测识别

整个网络框架的训练，对不同的模块采用不同的损失函数设置。

通过Focal损失函数则用来解决正负样本不平衡问题；假设真值y取值为±1，其中1代表前景，-1代表背景，网络模型的预测概率值p的取值范围为[0,1]；当y＝1时，交叉熵的值为-log(p)，便于表示定义p_t为：

此时，交叉熵可以表示为CE(p_t)＝-log(p_t)；则分类损失loss_cls可以描述为：

loss_cls＝-α_t×(1-p_t)^γlog(p_t)

其中γ是调制系数，一般取为大于1的数，用来增加当前loss对难分样本的注意力，比如当一个样本被错分时，其对应的类别概率p_t很小时，(1-p_t)^γ接近于1，loss不受影响。相反，当p_t→1时，(1-p_t)^γ接近于0，则易分样本的损失权重被降低。α_t被用来平衡正负样本的比例，因为网络往往更倾向于学习样本多的类别，而忽略样本相对少的类别。通常，网络在训练的起始阶段，存在大量预测结果为负样本的情况以及难易样本区分性不大的情况，所以α_t和γ都应该设置小一些，随着网络迭代次数的变多，这两个值应该进行增大处理。

定位损失loss_loc和偏差损失loss_off，使用Smooth_L1损失，其大致可以描述为：

x表示两个点之间的L1距离。该损失函数的优势在于对离群点更加鲁棒，因为x的波动的范围不容易过大或者过小，从而保证网络训练过程中的梯度爆炸情况，使得训练更加平稳。

对于目标左右朝向loss_ort的设计，本实施例使用了简单的二分类任务交叉熵损失：

其中，y表示ort网络分支的预测结果，

表示当前目标在真实标注信息中的左右朝向，ort网络是一个简单的二分类算法。

至此，整个检测头部网络损失函数的设计大致如下：

loss＝α×loss_cls+β×loss_loc+γloss_off×+ρ×loss_ort

其中α，β，γ，ρ表示各部分损失函数的权重，分别为1，1，1，0.5。

本发明所提供的轻量高效的遥感图像目标检测识别算法主要为解决2～5米可见光或者近红外的目标检测识别。但本发明也适用于其它分辨率下遥感图像中的目标检测和其它应用场景中的目标检测识别，针对可见光其它分辨率或者其它应用场景中的数据，只需要重新训练网络模型，更新相应的权重文件即可完成该应用场景中的目标检测识别。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种抗干扰的遥感图像目标检测轻量模型，其特征在于，包括：轻量多尺度特征提取网络、特征像素修正模块和多方向检测模块并依次连接；

所述轻量多尺度特征提取网络包括6层深度可分离卷积层并依次连接，其中，将第三层深度可分离卷积层的输出，通过最近邻插值算法进行长宽分别二倍形式的放大，并将放大尺度后的特征与网络第六层深度可分离卷积层的输出进行通道处的融合，完成特征提取；

所述特征像素修正网络模块，用于对当前深度特征像素值重要程度进行预测，从而通过预测得到的数值与原始的像素数值相乘，完成对所述轻量多尺度特征提取网络提取到的特征进行矫正；所述特征像素修正模块包括2层深度可分离卷积层和2层标准卷积层并依次连接，其中，2层深度可分离卷积层设置于2层标准卷积层的前端；

所述多方向检测模块用于根据矫正后的深度特征预测出输入图片中目标的位置和类别。

2.根据权利要求1所述的一种抗干扰的遥感图像目标检测轻量模型，其特征在于，所述轻量多尺度特征提取网络中每层深度可分离卷积层的通道数依次分别为：48、96、192、384、512和256；

所述轻量多尺度特征提取网络还包括池化层、通道权重矫正单元和ReLu6激活函数；

前四层深度可分离卷积层之间均分别设置有所述池化层，所述池化层用于进行下采样；

所述通道权重矫正单元包括全局池化层、第一卷积核和第二卷积核并依次连接，所述全局池化层用于获取输入图片的一维表示，所述第一卷积核大小为3*1，用于获取每个通道的权重并修正每个通道特征的权重，所述第二卷积核大小为1*1，用于完成维度的减少；

所述ReLu6激活函数分别设置于每层深度可分离卷积层之后。

3.根据权利要求1所述的一种抗干扰的遥感图像目标检测轻量模型，其特征在于，所述特征像素修正模块中的前两层深度可分离卷积层输入的通道数均为128，后两层的标准卷积通道数目分别为64和1。

4.根据权利要求1所述的一种抗干扰的遥感图像目标检测轻量模型，其特征在于，所述多方向检测模块包括：网络类别预测模块cls、定位预测模块loc、目标左右朝向模块ort以及预测精度偏差模块offset；每个模块均包括2层深度可分离卷积层和2层标准卷积层并依次连接；

其中，所述网络类别预测模块cls用于完成图像中目标类别的预测；所述网络类别预测模块cls中前三层卷积层的通道数分别为192，128和64，最后一层标准卷积层的通道数为待识别目标的种类数；

所述定位预测模块loc用于完成目标的位置信息的预测，所述定位预测模块loc中四个卷积层的通道数分别为192，128，64和8；

所述目标左右朝向模块ort用于完成目标左右朝向的预测，所述目标左右朝向模块ort中四个卷积层的通道数分别为192，128，64和2；

所述数据精度损失模块offset用于预测网络预测目标的位置精度偏差，从而提升网络目标定位的准确性；所述预测精度偏差模块offset中四个卷积层的通道数分别为192，128，64和2。

5.一种抗干扰的遥感图像目标检测方法，其特征在于，包括以下步骤：

S1.对输入图片进行特征提取，对于第一个池化层后的特征与第三个卷积层特征采用特征分辨率重组融合的方式将它们分别与第二个池化层的特征和第五层卷积层的特征进行融合，将第三层卷积层提取的特征与第六层卷积层提取的特征进行融合来获取网络对输入图片的深度特征的提取；

S2.根据深度特征分别获取不同位置上像素值的权重，通过学习到的权重值，矫正特征图中的像素值，获取矫正后的特征图；

S3.根据矫正后的特征图预测出输入图片中目标的位置和类别。

6.根据权利要求5所述的一种抗干扰的遥感图像目标检测方法，其特征在于，S1还包括以下内容：

使用浅层特征的迁移操作对浅层特征分辨率重新组合，采用特征分辨率重组融合的方式，将第一个池化层后的特征与第三个卷积层特征对应分别与第二个池化层的特征和第五层卷积层的特征进行融合，其中，特征分辨率重组具体为将一个大尺度的特征图转换为4个小尺度的特征图；

将第三层卷积层提取的特征与第六层卷积层提取的特征进行融合来获取网络对输入图片的深度特征的提取，将最终特征通过全局池化后获取一维向量，通过对一维向量进行3*1卷积操作，获取每个通道的权重，从而修正每个通道特征的权重，对修正权重后的特征通过1*1卷积完成维度的减少。

7.根据权利要求5所述的一种抗干扰的遥感图像目标检测方法，其特征在于，S2包括以下内容：

通过卷积运算学习当前特征图的显著图；

根据标注数据中目标的坐标信息，制作与标注图片对应尺寸的二值图；当前二值图中背景位置处的数值为0，目标所在位置的数值为1；

将原始的目标尺度标注信息的边界大小均扩大s倍，形成新的标注信息来完成二值图的生成；

在训练阶段，通过对像素特征修正网络的输出结果与对应的二值图进行交叉熵计算，通过梯度反向传播指导像素特征修正网络模块的学习；经过训练学习后，将深度特征输入特征修正网络，并执行Softmax操作，并将Softmax后产生的值与当前深度特征图相乘获取新的信息特征图。

8.根据权利要求5所述的一种抗干扰的遥感图像目标检测方法，其特征在于，S3中通过回归中心点距离四边中心点的偏差完成目标的定位，从而学习当前目标的方向和潜在的长宽比例。

Images