CN111160249A

CN111160249A - 基于跨尺度特征融合的光学遥感图像多类目标检测方法

Info

Publication number: CN111160249A
Application number: CN201911388638.6A
Authority: CN
Inventors: 程塨; 司永洁; 姚西文; 韩军伟; 郭雷
Original assignee: Northwestern Polytechnical University; Shenzhen Institute of Northwestern Polytechnical University
Current assignee: Northwestern Polytechnical University; Shenzhen Institute of Northwestern Polytechnical University
Priority date: 2019-12-30
Filing date: 2019-12-30
Publication date: 2020-05-15

Abstract

本发明涉及一种基于跨尺度特征融合的光学遥感图像多类目标检测方法，以训练数据作为卷积神经网络的输入来提取图像特征，从不同卷积层的输出处得到多尺度特征图，在最顶层特征处添加挤压‑激励模块对顶层特征的通道信息进行重新建模；然后对得到的特征图进行跨尺度特征融合操作，接着在这些多尺度特征图上训练区域建议网络，从训练好的区域建议网络中得到用于后续任务的建议框，再送到分类网络和回归网络进行训练；最后经过非极大值抑制等后处理操作实现对光学遥感图像多类目标在多尺度特征图上的精确检测。利用本发明方法，可以从复杂背景下的光学遥感图像中检测出多种类型的目标。本发明具有较高的检测识别精度和较快的速度。

Description

基于跨尺度特征融合的光学遥感图像多类目标检测方法

技术领域

本发明属于基于光学遥感图像的多类目标检测方法，涉及一种基于跨尺度特征融合的光学遥感图像多类目标检测方法，实现了特征的跨尺度融合，可以应用于复杂背景光学遥感图像的多种类型目标检测任务。

背景技术

随着航空遥感技术的迅速发展，从高空获取大量遥感数据已经变得越来越容易。与此同时，各种基于遥感图像的任务层出不穷，如目标检测、场景分类、数据压缩等。作为遥感图像处理技术的一个应用，复杂背景光学遥感图像的目标检测是图像处理领域的一项关键技术，也一直是该领域的研究热点和难点问题，受到人们越来越多的关注。光学遥感图像中目标检测的核心任务是找到图像中所有感兴趣的目标，并确定其具体的类别、位置和大小。

目前，目标检测任务的实现主要采用以下两类方法：一类是单阶段的目标检测方法，比较具有代表性的工作是由Ross Girshick等人在《IEEE Conference on ComputerVision and Pattern Recognition 2016》上发表的“You Only Look Once:Unified,Real-Time Object Detection”，该方法是把目标检测任务视为一个回归任务，这类方法的优点是检测速度快，缺点是检测精度与两阶段的目标检测方法相比低一些；另一类是两阶段的目标检测方法，这种方法首先在图像中生成一系列锚框，这些锚框的长宽、比例、数量可以根据任务需求进行设定，通过训练区域建议网络(Region Proposal Network，RPN)来解决锚点内目标是前景或背景的二分类问题，并对原始的锚框坐标进行一个粗略的回归，接着进行分类和回归任务，该类方法的优点是检测精度高，缺点是速度较慢，任务推断过程中花费的时间略长。然而，遥感图像与自然场景图像相比存在较大的差异，由于成像平台和成像方式的不同，光学遥感图像中的目标存在不同程度的变形、遮挡、尺度变化和方向多样性，对于那些尺度较小的目标，其特征信息往往被复杂的周边场景所淹没，有些类别的目标排列过于密集，部分类别的目标在颜色、外观形状上具有较高的相似性，这些问题都为光学遥感图像目标检测任务增加了难度。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于跨尺度特征融合的光学遥感图像多类目标检测方法，改进现阶段目标检测方法在解决光学遥感图像目标的类间相似性和目标尺度相差较大问题。

技术方案

一种基于跨尺度特征融合的光学遥感图像多类目标检测方法，其特征在于步骤如下：

步骤1、数据预处理：计算实验数据库中每张图片的RGB分量均值R_ave,G_ave,B_ave和标准差R_var,G_var,B_var，并将图片长宽调整为M×M；

步骤2、特征提取：将处理完的图片数据作为特征金字塔网络模型的输入，从特征提取网络的不同卷积层处得到5个尺度的特征图{F_A1,F_A2,F_A3,F_A4,F_A5}，五组特征图的通道数保持一致，它们的长宽依次为

其中

为向上取整操作；

步骤3、添加SE block挤压-激励模块：对多尺度特征图{F_A1,F_A2,F_A3,F_A4,F_A5}，在最顶层特征图上以残差连接的方式添加SE block挤压-激励模块，实现对特征通道权重的重新标定，得到一组新的特征图，然后在这组新的特征图的每个尺度上分别添加一组1*1的卷积，实现特征通道数的降低，得到多尺度特征图{F_B1,F_B2,F_B3,F_B4,F_B5}，它们的特征通道数保持一致；

步骤4、跨尺度特征融合：在多尺度特征图{F_B1,F_B2,F_B3,F_B4,F_B5}中选择任意一个尺度的特征图分别与其它四个尺度的特征图进行跨尺度特征融合，得到另外一组多尺度特征图{F_C1,F_C2,F_C3,F_C4,F_C5}；

步骤5、用区域建议网络生成感兴趣的区域Region of Interests，RoIs：在多尺度特征图{F_C1,F_C2,F_C3,F_C4,F_C5}上，采用RPN方法设定锚点，根据锚点与ground-truth之间的交并比Intersection over Union，IoU确定每个锚点的标签，包括正样例、负样例和忽略样例，选择符合条件的锚点来训练区域建议网络；

步骤6、对网络进行端到端的训练：区域建议网络训练好之后，会根据学习到的网络参数输出每个锚点属于前景、背景的得分，然后选择得分较高的K个锚点作为感兴趣区域提供给Faster R-CNN部分，最终选择M个候选框训练该部分网络参数；其中分类任务采用交叉熵损失Cross Entropy Loss函数，回归任务采用SmoothL1损失函数；

步骤7、目标检测：利用训练好的网络模型预测测试集中目标的类别和位置，采用非极大值抑制NMS的方法来过滤掉冗余的检测框，给出每张图片最终的检测结果。

所述RPN方法见文章S.Ren,R.Girshick,R.Girshick,and J.Sun,"Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks，"IEEETransactions on Pattern Analysis&Machine Intelligence,vol.39,no.6,pp.1137-1149,2017.。

所述Faster R-CNN方法见文章S.Ren,R.Girshick,R.Girshick,and J.Sun,"Faster R-CNN:Towards Real-Time Object Detection with Region ProposalNetworks，"IEEE Transactions on Pattern Analysis&Machine Intelligence,vol.39,no.6,pp.1137-1149,2017.7.。

有益效果

本发明提出的一种基于跨尺度特征融合的光学遥感图像多类目标检测方法，首先对训练数据进行初始化操作，把它们作为卷积神经网络的输入来提取图像特征，从不同卷积层的输出处得到多尺度特征图，在最顶层特征处添加挤压-激励模块对顶层特征的通道信息进行重新建模；然后对得到的特征图进行跨尺度特征融合操作，接着在这些多尺度特征图上训练区域建议网络，从训练好的区域建议网络中得到用于后续任务的建议框，在此基础上完成建议框与多尺度特征的匹配，再将这些匹配好的特征送到分类网络和回归网络进行训练；最后经过非极大值抑制(Non Maximum Suppression，NMS)等后处理操作实现对光学遥感图像多类目标在多尺度特征图上的精确检测。

本发明可以在遥感图像数据库中实现较高的准确率和召回率。实践证明，该方法具有较高的检测精度和较好的鲁棒性。

附图说明

图1：本发明方法的基本流程框图

图2：本发明方法所使用的数据库部分图像示例

图3：本发明方法所使用的跨尺度特征融合模块的实现示意图

图4：本发明方法所使用的挤压-激励模块示意图

图5：本发明方法的检测结果示例

具体实施方式

现结合实施例、附图对本发明作进一步描述：

用于实施的硬件环境是：Intel(R)Core(TM)i3-8100CPU计算机、8.0GB内存，运行的软件环境是：Pycharm2016和Ubuntu16.04.5LTS。本实验使用公开数据库DIOR Dataset，该数据集共有23463幅图像，包含了192472个实例，总共有20个类别，每幅图像大小为800×800。为了验证上述提出方案的有效性，从数据集中选择11725幅图像用于训练阶段，将剩余的11738幅图像作为测试集。

本发明具体实施如下：

1.数据预处理：针对用于实验的遥感图像数据集DIOR，统计用于训练的11725幅图片的RGB三个通道的均值和标准差，它们分别为R_ave,G_ave,B_ave和R_std,G_std,B_std，下面以R_ave、R_std的计算方法为例，说明具体的计算公式：

其中N＝11725，M＝800，R_ij代表一幅图片当前位置(i,j)处的R分量值，R_ave，R_var分别代表R分量的均值和标准差，关于G,B两种分量的均值与方差计算方法同上。图像数据初始化的方法如下：

mean＝(R_ave,G_ave,B_ave)

std＝(R_std,G_std,B_std)

其中img_ori代表未处理的原始图像数据，img_after代表每一幅图片中的各个像素点通过减去均值再除以方差后得到的图像数据结果，mean代表数据集的RGB分量均值，std代表数据集的RGB分量方差。

2.特征提取：把上述经过处理后的图片数据作为检测网络的输入，以Resnet-101作为特征提取骨干网络，从conv2_3，conv3_4，conv4_23，conv5_3处输出4组长宽依次递减、通道数不断增加的特征图，经过特征金字塔网络(FPN)得到一组新的特征图{F_A1,F_A2,F_A3,F_A4}，对F_A4进行stride＝2的最大值池化操作(max pooling)得到最顶层的特征图F_A5，由此得到5个尺度的特征图，该多尺度特征图的长宽依次为{200*200,100*100,50*50,25*25,13*13}，，它们的特征通道数均为256。

所述的Resnet-101网络结构见文章K.He,X.Zhang,S.Ren,and J.Sun,"Deepresidual learning for image recognition,"in Proceedings of the IEEEconference on computer vision and pattern recognition,2016,pp.770-778.

所述的FPN方法见文章T.-Y.Lin,P.Dollár,R.Girshick,K.He,B.Hariharan,andS.Belongie,"Feature pyramid networks for object detection,"in Proceedings ofthe IEEE conference on computer vision and pattern recognition,2017,pp.2117-2125

3.添加SE block：在上述步骤2中得到特征图{F_A1,F_A2,F_A3,F_A4,F_A5}，在最顶层特征图{F_A5}处以残差连接的方式添加SE block，得到新的特征图{F'_A5}，实现对该层通道权重的重新标定，在特征图{F_A1,F_A2,F_A3,F_A4,F'_A5}上分别添加一组1*1的卷积实现特征通道数的降低，得到新的多尺度特征图{F_B1,F_B2,F_B3,F_B4,F_B5}，它们的特征通道数均为64。

所述的SE block方法见文章J.Hu,L.Shen,and G.Sun,"Squeeze-and-excitationnetworks,"in Proceedings of the IEEE conference on computer vision andpattern recognition,2018,pp.7132-7141

4.跨尺度特征融合：以最终输出的F_C3层特征信息为例，为了保证特征图的长、宽、特征通道数在特征融合的过程中相匹配，依次进行以下操作：针对长宽为

特征通道数为64的F_B1进行4倍的下采样；针对长宽为

特征通道数为64的F_B2进行2倍下采样；针对长宽为

特征通道数为64的F_B4进行2倍上采样；针对长宽为

特征通道数为64的F_B5进行4倍上采样，得到了4组长宽均为

的特征图，通过调用torch.cat(·)函数实现特征图的通道拼接，产生一个长宽为

特征通道数为256的新特征图

该特征图融合了除当前层以外其余所有层的语义特征信息。F_A3是长宽为

特征通道数为256的原始特征图，再用element-wise相加的方法融合

和F_A3的特征信息，然后在每个尺度的特征图上加入一组3*3的卷积核来消除通道混叠效应，得到用于最终检测任务的特征图F_C3，其余层的输出特征图按照上述规则进行相应的特征融合操作即可。

5.用区域建议网络生成感兴趣的区域：在上述得到的多尺度特征图{F_C1,F_C2,F_C3,F_C4,F_C5}中，采用区域建议网络(Region Proposal Network,RPN)方法把每个点映射到原图上生成对应的锚点，当锚点与ground-truth之间的IoU大于0.7时，标记该锚点为正样例，当锚点与ground-truth之间的IoU小于0.3时，标记该锚点为负样例，超出图像边界的框以及0.3≤IoU≤0.7的标记为不参与训练过程的忽略样例。在每个尺度的特征图上设置3种比例的锚点，设置的比例依次为{1:2,1:1,2:1}，选择符合条件的256个锚点进行区域建议网络的训练，其中正负样例的采样比例是1:1，在正、负样例中各自随机挑选128个锚点。

所述的RPN方法见文章S.Ren,R.Girshick,R.Girshick,and J.Sun,"Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks,"IEEETransactions on Pattern Analysis&Machine Intelligence,vol.39,no.6,pp.1137-1149,2017.

6.对网络进行端到端的训练：训练总共设置12个epoch，初始学习率设置为0.01，学习率在epoch为8-11时开始下降，下降速率为0.1，到第12个epoch时，学习率降低为0.0001。利用训练好的区域建议网络生成相应的候选框，选择得分较高的2000个候选框作为感兴趣区域提供给Faster R-CNN部分，最终选择512个候选框训练该部分网络参数，正负样例的采样比例为1:3。根据分类损失函数和回归损失函数对网络参数进行优化，其目标损失函数定义为：

L_cls＝-log[p_i ^*p_i+(1-p_i ^*)(1-p_i)]

其中i为mini-batch中第i个锚点的索引，分类项的归一化值N_cls为mini-batch的大小，p_i代表预测的目标类别概率，p_i ^*是ground-truth的标签信息，其值为一个指示函数

回归项的归一化值N_reg为锚点位置的数量，这两类损失函数的计算由一个平衡参数λ进行加权，这里取λ＝10。在计算回归损失的时候只有正样例会产生loss，t_i代表检测网络预测的偏移量，t_i ^*代表ground-truth的坐标信息与锚点坐标之间的偏移量，其中x＝t_i-t_i ^*。

所述的Faster R-CNN方法见文章S.Ren,R.Girshick,R.Girshick,and J.Sun,"Faster R-CNN:Towards Real-Time Object Detection with Region ProposalNetworks,"IEEE Transactions on Pattern Analysis&Machine Intelligence,vol.39,no.6,pp.1137-1149,2017.7.

目标检测：训练好的网络会为每一幅输入图片生成目标的类别得分和回归框，设置得分阈值为0.3，使用NMS＝0.5过滤掉针对同一目标产生的冗余检测框，得到最终的检测结果。选用mAP对本发明的有效性进行评估，其中mAP定义为：

N代表数据集中的目标类别总数，i代表其中一种目标类别，AP_i代表该类目标的平均精度值。将本发明所得的检测结果与基于Faster R-CNN+FPN的目标检测算法进行了对比，对比结果如表1所示，目标检测精度表明了本发明方法的有效性。

表1检测结果评价

Claims

1.一种基于跨尺度特征融合的光学遥感图像多类目标检测方法，其特征在于步骤如下：

其中

为向上取整操作；

2.根据权利要求1所述基于跨尺度特征融合的光学遥感图像多类目标检测方法，其特征在于：所述RPN方法见文章S.Ren,R.Girshick,R.Girshick,and J.Sun,"Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks，"IEEETransactions on Pattern Analysis&Machine Intelligence,vol.39,no.6,pp.1137-1149,2017.。

3.根据权利要求1所述基于跨尺度特征融合的光学遥感图像多类目标检测方法，其特征在于：所述Faster R-CNN方法见文章S.Ren,R.Girshick,R.Girshick,and J.Sun,"Faster R-CNN:Towards Real-Time Object Detection with Region ProposalNetworks，"IEEE Transactions on Pattern Analysis&Machine Intelligence,vol.39,no.6,pp.1137-1149,2017.7.。